ベイズ線形回帰

正直な不確実性を持つ回帰

通常の回帰は傾きを1つだけ返します。ベイズ回帰は傾きの分布全体を返します。株のリターン $y$ と市場のリターン $x$ を $y=\beta x+e$（ノイズ $e$ の分散は $\sigma^{2}$）とします。ベータの事前分布として、たとえば $m_0=1$ を中心とし分散 $v_0$ の正規分布から始めます。データは傾きを最小二乗の値のほうへ押し、事前分布は押し戻します。これは前のトピックと同じ、精度で重み付けした平均です。事前精度は $1/v_0$、データの精度は $\sum x^{2}/\sigma^{2}$ で、後者は市場が大きく動いたときに大きくなります。

注目点が2つあります。第一に、$0$ を中心とする事前分布はちょうどリッジ回帰になり、傾きは $\lambda=\sigma^{2}/v_0$ として $\sum xy\,/\,(\sum x^{2}+\lambda)$ です。リッジ回帰は、大きな傾きを疑う事前分布を持つベイズ回帰にほかなりません。第二に、新しい $x^{*}$ の予測の広がりには2つの源があり、ノイズ $\sigma^{2}$ と傾きの不確実性（$x^{*2}/P_n$ を加える）です。後者は $x^{*}$ の二乗で大きくなるので、データから遠い予測ほど不確かです。

• ベイズの傾き：精度が事前精度とデータ精度の和である分布。
• リッジ回帰は、$0$ を中心とする事前分布の場合で $\lambda=\sigma^{2}/v_0$。
• 予測にはノイズと傾きの不確実性が含まれ、後者は $x^{*2}$ で大きくなる。

ラボ：採点される内容

• 事後精度15点
• 事後の傾き15点
• 傾きの不確実性10点
• リッジの傾き15点
• 予測の広がり10点
• 非常に自信のある事前分布10点
• 用語を結び付ける10点
• データから遠い所15点