続けて問い、そして多数の木
決定木は、特徴量についての「はい／いいえ」の質問を連ねます（たとえばモメンタムがある値を超えるか）。最後の葉は、そこに届いた学習行の平均（または多数派クラス）を予測します。各質問は貪欲に選びます。すべての特徴量と分割点のうち、2つの子グループを最も純粋にするものを採ります。クラスの純度はジニ不純度 1−∑pk2 で測り、純粋なグループでは 0 です。分割の利得は、親の不純度から、子の不純度をサイズで重み付けした値を引いたものです。木は何にでも合わせられるので、深い木は学習行のノイズを暗記します。
G=1−k∑pk2,ΔG=Gparent−(nnLGL+nnRGR),Var(fˉ)=ρσ2+B1−ρσ2(1) ランダムフォレストは多数の木を平均します。各木は行のブートストラップ標本で育ち、分割のたびに特徴量のランダムな部分集合だけを見るので、木同士は異なります。B 本の木が分散 σ2、木同士の相関 ρ をもつと、平均の分散は ρσ2+(1−ρ)σ2/B になります。平均は木ごとに独立な部分を消し、共通の部分だけを残します。したがってフォレストは深い1本の木より過学習しにくいものの、リターンのように真のシグナルが弱いときはノイズに合わせてしまいます。常に後の時期のデータで評価してください。
手計算の分割と実際のフォレストあるノードに上昇日が
6、下落日が
4 あり、
G=1−0.62−0.42=0.48 です。分割で
[5 上昇,1 下落] が左へ行き
G=1−(5/6)2−(1/6)2=0.278、
[1,3] が右へ行き
G=0.375 です。重み付き不純度は
0.6×0.278+0.4×0.375=0.317 なので、利得は
0.48−0.317=0.163 です。
ρ=0.3、
σ2=1、
B=100 本のフォレストの分散は
0.3+0.7/100=0.307 で、どれだけ木を増やしても超えられない下限
0.3 をわずかに上回るだけです。実際の月次株式パネルで、深さ8の木40本のフォレストは標本内の情報係数が
0.102 ですが、ウォークフォワードでは
−0.008 にすぎず、リッジ回帰の
+0.033 に及びません。
- 貪欲な純度：各分割はその時点で不純度を最も下げるもの。
- 平均は分散を減らす：木をいくつ足しても、フォレストには共通部分 ρσ2 が残る。
- 柔軟なモデルは弱いシグナルを過学習する：標本内の実力があっても標本外ではゼロになりうる。
ラボ：採点される内容
- ノードの不純度10点
- 子ノードの不純度10点
- 重み付き不純度15点
- 分割の利得15点
- フォレストの分散15点
- なぜ木の平均が役立つのか10点
- 用語を結び付ける10点
- 標本内では良く、後では悪い15点
