特徴量の重要度と置換

モデルはどの特徴量を使ったか

当てはめた後は、モデルがどの特徴量に頼っているかを知りたくなります。理屈が通っているか確かめ、不要なものを落とすためです。木のモデルは不純度重要度を出します。各特徴量が生んだ分割の利得の合計を、全特徴量の合計で割ったものです。計算は無料ですが、異なる値の多い特徴量に有利に偏り、学習データで測るため、ノイズの特徴量が重要に見えることがあります。置換重要度のほうが誠実です。当てはめたモデルと取り置いたデータを使い、1つの特徴量の値をシャッフルして目的変数との関係を壊し、得点がどれだけ下がるかを記録します。$\text{重要度}_j=s_{\text{base}}-s_{\text{shuffled},j}$。シャッフルを何度か繰り返して平均します。

注意点が2つあります。第一に、相関する特徴量は功績を分け合います。2つの列が同じ情報を持つなら、片方をシャッフルしてももう片方が働くので、どちらも重要でなく見えます。そうした特徴量はまとめるか、片方を落とします。第二に、重要度はモデルについてのもので、世界についてのものではありません。悪いモデルにとって重要な特徴量が、リターンの原因になるわけではありません。クロスセクションのデータでは、特徴量を各月の中でシャッフルします。そうすれば月の水準は保たれ、銘柄間の順位だけが壊れます。繰り返しのばらつきも報告します。小さな重要度でばらつきがそれより大きければノイズです。

• シャッフルして採点：重要度は、特徴量をシャッフルしたときに取り置いたデータの得点がどれだけ下がるか。
• 相関する双子は互いを隠す：数値を読む前にまとめるか片方を落とす。
• 重要度はモデルについてのもの：確認であって、特徴量がリターンの原因だという証明ではない。

ラボ：採点される内容

• シャッフルの平均10点
• 置換重要度15点
• 繰り返しのばらつき15点
• 不純度の割合10点
• 双子の特徴量10点
• どの重要度を信頼するか10点
• 置換の手順10点
• モデルには重要でも、リターンには重要でない20点