Regressão linear bayesiana

Regressão com incerteza honesta

A regressão comum dá uma única inclinação. A regressão bayesiana dá toda uma distribuição para a inclinação. Tome o retorno $y$ de uma ação e o do mercado $x$ com $y=\beta x+e$, com ruído $e$ de variância $\sigma^{2}$. Parta de um prior para o beta, por exemplo uma normal centrada em $m_0=1$ com variância $v_0$. Os dados empurram a inclinação para o valor de mínimos quadrados e o prior a puxa de volta. É a mesma média ponderada pela precisão dos tópicos anteriores. A precisão do prior é $1/v_0$, a dos dados é $\sum x^{2}/\sigma^{2}$, e esta última é grande quando o mercado se mexeu muito.

Há duas coisas a notar. Primeiro, um prior centrado em $0$ dá exatamente a regressão ridge: a inclinação é $\sum xy\,/\,(\sum x^{2}+\lambda)$ com $\lambda=\sigma^{2}/v_0$. Então a regressão ridge é uma regressão bayesiana cujo prior desconfia de inclinações grandes. Segundo, uma previsão para um novo $x^{*}$ tem duas fontes de dispersão: o ruído $\sigma^{2}$ e a incerteza da inclinação, que soma $x^{*2}/P_n$. A segunda cresce com o quadrado de $x^{*}$, então previsões longe dos dados são menos seguras.

• Inclinação bayesiana: uma distribuição cuja precisão é a do prior mais a dos dados.
• A regressão ridge é o caso de um prior centrado em $0$, com $\lambda=\sigma^{2}/v_0$.
• As previsões carregam ruído mais incerteza da inclinação, e a segunda cresce com $x^{*2}$.

Lab: o que é avaliado

• A precisão posterior15 pts
• A inclinação posterior15 pts
• A incerteza da inclinação10 pts
• A inclinação ridge15 pts
• A dispersão de uma previsão10 pts
• Um prior muito confiante10 pts
• Associar o vocabulário10 pts
• Longe dos dados15 pts