Modèles linéaires et régularisation

Réduire les coefficients exprès

Les moindres carrés ordinaires trouvent la droite qui ajuste le mieux les données d'entraînement et, avec des données financières bruitées, ils ajustent aussi le bruit. La régularisation ajoute une pénalité sur la taille des coefficients : le modèle sacrifie un peu d'ajustement pour beaucoup de stabilité. Ridge pénalise la somme des carrés des coefficients et les réduit tous vers zéro. Lasso pénalise leurs valeurs absolues et peut ramener des coefficients faibles exactement à zéro, ce qui sélectionne des variables. La force $\alpha$ est un hyperparamètre : $\alpha=0$ donne les moindres carrés simples et un $\alpha$ très grand donne un modèle plat qui prévoit la moyenne.

En pratique, standardisez les variables dans un pipeline, car une pénalité traite tous les coefficients pareil. Choisissez $\alpha$ sur des données de validation postérieures à l'entraînement. Commencez par ridge quand les variables sont corrélées et le signal faible, comme pour le momentum, la valeur et la qualité, et utilisez lasso pour obtenir une courte liste de variables. L'elastic net mélange les deux pénalités. Aucune ne crée du signal : une pénalité rend seulement le modèle moins sensible au bruit.

• Ridge réduit, lasso sélectionne : ridge garde toutes les variables avec des poids plus petits, lasso peut éliminer les faibles.
• La force est un compromis : $\alpha=0$ donne les moindres carrés et un $\alpha$ énorme prévoit la moyenne.
• Mettez d'abord les variables à l'échelle : une pénalité traite tous les coefficients pareil, il faut donc une échelle commune.

Lab : ce qui est noté

• Moindres carrés10 pts
• Ridge avec alpha 115 pts
• Ridge avec alpha 215 pts
• Lasso avec alpha 0,515 pts
• Lasso avec alpha 110 pts
• Une pénalité énorme10 pts
• Associer le vocabulaire10 pts
• Pourquoi lasso peut donner exactement zéro15 pts