Régression linéaire bayésienne

Une régression avec une incertitude honnête

La régression ordinaire donne une seule pente. La régression bayésienne donne toute une loi pour la pente. Prenez le rendement $y$ d'une action et le rendement $x$ du marché avec $y=\beta x+e$, le bruit $e$ ayant pour variance $\sigma^{2}$. Partez d'un a priori sur le bêta, par exemple une loi normale centrée sur $m_0=1$ de variance $v_0$. Les données poussent la pente vers la valeur des moindres carrés et l'a priori la ramène en arrière. C'est la même moyenne pondérée par les précisions que dans les sujets précédents. La précision a priori est $1/v_0$, la précision des données est $\sum x^{2}/\sigma^{2}$, et cette dernière est grande quand le marché a beaucoup bougé.

Deux choses sont à noter. D'abord, un a priori centré sur $0$ donne exactement la régression ridge : la pente vaut $\sum xy\,/\,(\sum x^{2}+\lambda)$ avec $\lambda=\sigma^{2}/v_0$. La régression ridge est donc une régression bayésienne dont l'a priori se méfie des grandes pentes. Ensuite, une prédiction pour un nouveau $x^{*}$ a deux sources de dispersion : le bruit $\sigma^{2}$ et l'incertitude de la pente, qui ajoute $x^{*2}/P_n$. La seconde croît avec le carré de $x^{*}$, donc les prédictions loin des données sont moins sûres.

• Pente bayésienne : une loi dont la précision est la précision a priori plus la précision des données.
• La régression ridge est le cas d'un a priori centré sur $0$, avec $\lambda=\sigma^{2}/v_0$.
• Les prédictions portent le bruit plus l'incertitude de la pente, et la seconde croît avec $x^{*2}$.

Lab : ce qui est noté

• La précision a posteriori15 pts
• La pente a posteriori15 pts
• L'incertitude de la pente10 pts
• La pente ridge15 pts
• La dispersion d'une prédiction10 pts
• Un a priori très confiant10 pts
• Associer le vocabulaire10 pts
• Loin des données15 pts