雑多な標本を要約する
記述統計は、標本を位置(どこにあるか)、尺度(どれだけ広がるか)、形といった少数の数に圧縮します。通常の要約は、平均 と標本標準偏差 で、分母が なのは平均を同じデータから推定済みだからです。きれいな釣り鐘型のデータには最適ですが、そうでなければ脆弱です。
(1)
実際のリターンデータには外れ値があります。暴落日、誤った気配、合併などです。たった1つの極端な値が平均を引きずり、標準偏差を際限なく膨らませるので、両者の破綻点はゼロです。ロバストな代替手段はこれに耐えます。位置には中央値、尺度には中央絶対偏差(MAD)、そして最小・最大の一定割合を除いてから平均するトリム平均です。ウィンザー化は似ていますが、極端な値を捨てずに切り詰めます。
ある悪い日標本 を考えます。平均は で、100のせいでどの観測値からも遠くなります。中央値は です。最小値と最大値を除くとトリム平均は 。中央値からの絶対偏差は なのでMADは です。標本標準偏差は約43.4で、たった1つの値が典型的なばらつき1を40倍の数に変えました。
- 位置:平均(脆弱)、中央値とトリム平均(頑健)。
- 尺度:標準偏差(脆弱)、MADと四分位範囲(頑健)。
- 頑健性は無料ではない:きれいな正規データでは平均のほうが中央値より精度が高い。想定するデータで選ぶ。
外れ値は消すのではなく扱いを決める暴落日は本物のデータであり、それを切り捨てるリスクモデルは穏やかな世界を報告してしまいます。誤った気配はエラーで、ソースで直すべきです。外れ値を1つずつ見て、エラーかイベントかを分類し、意図をもって手法を選びましょう。ロバスト統計は典型的な日を表し、リスクのように極端な値こそが関心事のときは、平均と標準偏差が引き続き正しい道具です。
ラボ:採点される内容
- 平均10点
- 中央値10点
- トリム平均15点
- 中央絶対偏差15点
- 頑健な推定量はどれか15点
- 標本標準偏差15点
- 極端な1日20点