Regresión lineal bayesiana

Regresión con incertidumbre honesta

La regresión ordinaria da una sola pendiente. La regresión bayesiana da toda una distribución para la pendiente. Tome el rendimiento $y$ de una acción y el del mercado $x$ con $y=\beta x+e$, con ruido $e$ de varianza $\sigma^{2}$. Parta de una previa para la beta, por ejemplo una normal centrada en $m_0=1$ con varianza $v_0$. Los datos empujan la pendiente hacia el valor de mínimos cuadrados y la previa la devuelve. Es el mismo promedio ponderado por precisión de los temas anteriores. La precisión previa es $1/v_0$, la de los datos es $\sum x^{2}/\sigma^{2}$, y esta última es grande cuando el mercado se movió mucho.

Hay dos cosas que notar. Primero, una previa centrada en $0$ da exactamente la regresión ridge: la pendiente es $\sum xy\,/\,(\sum x^{2}+\lambda)$ con $\lambda=\sigma^{2}/v_0$. Así que la regresión ridge es una regresión bayesiana cuya previa desconfía de las pendientes grandes. Segundo, una predicción para un nuevo $x^{*}$ tiene dos fuentes de dispersión: el ruido $\sigma^{2}$ y la incertidumbre de la pendiente, que añade $x^{*2}/P_n$. La segunda crece con el cuadrado de $x^{*}$, así que las predicciones lejos de los datos son menos seguras.

• Pendiente bayesiana: una distribución cuya precisión es la precisión previa más la de los datos.
• La regresión ridge es el caso de una previa centrada en $0$, con $\lambda=\sigma^{2}/v_0$.
• Las predicciones llevan ruido más incertidumbre de la pendiente, y la segunda crece con $x^{*2}$.

Lab: qué se califica

• La precisión posterior15 pts
• La pendiente posterior15 pts
• La incertidumbre de la pendiente10 pts
• La pendiente ridge15 pts
• La dispersión de una predicción10 pts
• Una previa muy confiada10 pts
• Emparejar el vocabulario10 pts
• Lejos de los datos15 pts