贝叶斯线性回归

路线进度模块 1/3 · 主题 4/4

1.4 贝叶斯线性回归

—实验得分— / 100总 XP—连续天数—

带着诚实不确定性的回归

普通回归只给出一个斜率，贝叶斯回归给出斜率的整个分布。设股票收益为 $y$ 、市场收益为 $x$ ， $y=\beta x+e$ ，噪声 $e$ 的方差为 $\sigma^{2}$ 。先给贝塔一个先验，比如以 $m_0=1$ 为中心、方差为 $v_0$ 的正态分布。数据把斜率推向最小二乘值，先验把它拉回来，这和前几个主题里按精度加权的平均是同一回事。先验精度是 $1/v_0$ ，数据精度是 $\sum x^{2}/\sigma^{2}$ ，后者在市场波动大时很大。

P_n=\frac{1}{v_0}+\frac{\sum x^{2}}{\sigma^{2}},\qquad m_n=\frac{m_0/v_0+\sum xy/\sigma^{2}}{P_n},\qquad \mathrm{sd}(\beta)=\frac{1}{\sqrt{P_n}}

(1)

有两点值得注意。第一，以 $0$ 为中心的先验恰好给出岭回归：斜率为 $\sum xy\,/\,(\sum x^{2}+\lambda)$ ，其中 $\lambda=\sigma^{2}/v_0$ 。所以岭回归就是先验不信任大斜率的贝叶斯回归。第二，对新的 $x^{*}$ 作预测时，离散度有两个来源：噪声 $\sigma^{2}$ ，以及斜率的不确定性，它贡献 $x^{*2}/P_n$ 。后一项随 $x^{*}$ 的平方增长，所以远离数据的预测更不确定。

用数字看贝塔设

\sum x^{2}=40

、

\sum xy=48

、

\sigma^{2}=4

。最小二乘斜率为

48/40=1.2

。取先验

N(1,\,0.5^{2})

，即

v_0=0.25

：精度为

4+40/4=14

，均值

(4+12)/14=1.143

，标准差

1/\sqrt{14}=0.267

。若用以

0

为中心的岭先验，斜率为

48/(40+16)=0.857

。在

x^{*}=2

处的预测均值为

2.29

，标准差为

\sqrt{4+4/14}=2.07

。

贝叶斯斜率：精度等于先验精度加数据精度的分布。
岭回归是先验以 $0$ 为中心的情形， $\lambda=\sigma^{2}/v_0$ 。
预测包含噪声加斜率不确定性，后者随 $x^{*2}$ 增长。

实验：评分内容

后验精度15 分
后验斜率15 分
斜率的不确定性10 分
岭回归斜率15 分
预测的离散度10 分
非常自信的先验10 分
配对术语10 分
远离数据时15 分

0/ 已答 8 题

1数值作答15 分未作答

当 $\sum x^{2}=40$ 、 $\sigma^{2}=4$ 、先验方差 $v_0=0.25$ 时，后验精度 $1/v_0+\sum x^{2}/\sigma^{2}$ 是多少？

p =

允许误差:± 0.01

2数值作答15 分未作答

再加入先验均值 $m_0=1$ 与 $\sum xy=48$ 。后验均值 $\big(m_0/v_0+\sum xy/\sigma^{2}\big)/14$ 是多少？保留四位小数。

m =

允许误差:± 0.001

3数值作答10 分未作答

斜率的后验标准差 $1/\sqrt{14}$ 是多少？保留四位小数。

s =

允许误差:± 0.001

4数值作答15 分未作答

使用以 $0$ 为中心、 $v_0=0.25$ 的先验， $\sigma^{2}=4$ ，所以 $\lambda=\sigma^{2}/v_0=16$ 。当 $\sum xy=48$ 、 $\sum x^{2}=40$ 时，岭回归斜率 $\sum xy\,/\,(\sum x^{2}+\lambda)$ 是多少？保留四位小数。

r =

允许误差:± 0.001

5数值作答10 分未作答

对新的 $x^{*}=2$ ，预测标准差为 $\sqrt{\sigma^{2}+x^{*2}/14}$ ，其中 $\sigma^{2}=4$ 。它是多少？保留三位小数。

p =

允许误差:± 0.01

6选择10 分未作答

如果先验方差 $v_0$ 变得非常小，后验斜率会怎样？

7配对10 分未作答

把每个术语与其含义配对。

为左侧每一项选择配对项。

最小二乘斜率

岭回归

后验精度

预测方差

8用文字解释15 分未作答

用一两句话解释：为什么贝叶斯回归对远离数据的 $x$ 值给出更宽的预测范围。

评分依据:斜率不确定这种不确定性要乘以 x，所以随距离增大0 / 400 字

数学模式键盘或 LaTeX 输入第 1/8 题 · Ctrl ⏎ 检查

贝叶斯线性回归

路线进度模块 1/3 · 主题 4/4

1.4 贝叶斯线性回归

—实验得分— / 100总 XP—连续天数—

带着诚实不确定性的回归

P_n=\frac{1}{v_0}+\frac{\sum x^{2}}{\sigma^{2}},\qquad m_n=\frac{m_0/v_0+\sum xy/\sigma^{2}}{P_n},\qquad \mathrm{sd}(\beta)=\frac{1}{\sqrt{P_n}}

(1)

用数字看贝塔设

\sum x^{2}=40

、

\sum xy=48

、

\sigma^{2}=4

。最小二乘斜率为

48/40=1.2

。取先验

N(1,\,0.5^{2})

，即

v_0=0.25

：精度为

4+40/4=14

，均值

(4+12)/14=1.143

，标准差

1/\sqrt{14}=0.267

。若用以

0

为中心的岭先验，斜率为

48/(40+16)=0.857

。在

x^{*}=2

处的预测均值为

2.29

，标准差为

\sqrt{4+4/14}=2.07

。

贝叶斯斜率：精度等于先验精度加数据精度的分布。
岭回归是先验以 $0$ 为中心的情形， $\lambda=\sigma^{2}/v_0$ 。
预测包含噪声加斜率不确定性，后者随 $x^{*2}$ 增长。

实验：评分内容

后验精度15 分
后验斜率15 分
斜率的不确定性10 分
岭回归斜率15 分
预测的离散度10 分
非常自信的先验10 分
配对术语10 分
远离数据时15 分

0/ 已答 8 题

1数值作答15 分未作答

当 $\sum x^{2}=40$ 、 $\sigma^{2}=4$ 、先验方差 $v_0=0.25$ 时，后验精度 $1/v_0+\sum x^{2}/\sigma^{2}$ 是多少？

p =

允许误差:± 0.01

2数值作答15 分未作答

再加入先验均值 $m_0=1$ 与 $\sum xy=48$ 。后验均值 $\big(m_0/v_0+\sum xy/\sigma^{2}\big)/14$ 是多少？保留四位小数。

m =

允许误差:± 0.001

3数值作答10 分未作答

斜率的后验标准差 $1/\sqrt{14}$ 是多少？保留四位小数。

s =

允许误差:± 0.001

4数值作答15 分未作答

r =

允许误差:± 0.001

5数值作答10 分未作答

对新的 $x^{*}=2$ ，预测标准差为 $\sqrt{\sigma^{2}+x^{*2}/14}$ ，其中 $\sigma^{2}=4$ 。它是多少？保留三位小数。

p =

允许误差:± 0.01

6选择10 分未作答

如果先验方差 $v_0$ 变得非常小，后验斜率会怎样？

7配对10 分未作答

把每个术语与其含义配对。

为左侧每一项选择配对项。

最小二乘斜率

岭回归

后验精度

预测方差

8用文字解释15 分未作答

用一两句话解释：为什么贝叶斯回归对远离数据的 $x$ 值给出更宽的预测范围。

评分依据:斜率不确定这种不确定性要乘以 x，所以随距离增大0 / 400 字

数学模式键盘或 LaTeX 输入第 1/8 题 · Ctrl ⏎ 检查

贝叶斯线性回归

带着诚实不确定性的回归

实验：评分内容

登录后即可运行你的代码。

贝叶斯线性回归

带着诚实不确定性的回归

实验：评分内容

登录后即可运行你的代码。