Pénalités, chemins et réglage honnête
Avec soixante régresseurs bruités, les moindres carrés ordinaires ajustent le bruit. Une pénalité ajoute un prix aux gros coefficients. Ridge(alpha) facture la somme des carrés : tous les coefficients rétrécissent, aucun n'atteint zéro. Lasso(alpha) facture la somme des valeurs absolues : quand alpha croît, les coefficients tombent à zéro exactement l'un après l'autre, donc le lasso sélectionne aussi des variables. ElasticNet(alpha, l1_ratio) mélange les deux, ce qui aide quand des régresseurs corrélés feraient choisir le lasso l'un d'eux au hasard. La pénalité ne traite les coefficients équitablement que si les colonnes ont la même échelle ; on standardise donc d'abord, et avec la moyenne et l'écart type d'entraînement seulement, sinon les lignes de test fuient dans l'échelle. Boucler sur une grille d'alpha en notant combien de coefficients survivent, ou la taille de la solution ridge, donne le chemin de régularisation.
Quelle pénalité ? Pas celle qui colle le mieux au passé : c'est alpha proche de zéro. On choisit alpha par test walk-forward : pour chaque pli, on standardise avec les lignes d'entraînement, on ajuste dessus, on prédit les lignes de test et on note les prévisions par la corrélation de rang avec les résultats (le coefficient d'information). Si un grand alpha annule tous les coefficients, les prévisions sont constantes et la corrélation n'est pas définie ; on note alors 0. Pour le rendement quotidien de SPY face aux rendements de la veille de 60 autres actifs, le lasso garde 57 coefficients à α=10⁻⁵, 38 à 10⁻⁴, 15 à 3,2×10⁻⁴ et 7 à 10⁻³, tandis que la norme ridge passe de 0,0043 à 0,0005 sans qu'aucun coefficient devienne nul. L'IC walk-forward culmine à α=3,2×10⁻⁴ avec environ 0,022 : un chiffre modeste et honnête qu'un ajustement sans pénalité n'aurait jamais montré.
- Ridge rétrécit, lasso sélectionne, elastic net fait les deux : suivez chacun sur une grille d'alpha.
- Standardisez avec les seules lignes d'entraînement : une pénalité dépend de l'échelle, et les lignes de test ne doivent pas la fixer.
- Réglez alpha hors échantillon : notez par corrélation de rang walk-forward et traitez une prévision constante comme 0.
Lab : ce qui est noté
- Standardiser sans tricher10 pts
- Le chemin du lasso15 pts
- Le chemin de ridge10 pts
- Un score walk-forward25 pts
- Choisir alpha15 pts
- Ce que garde l'elastic net10 pts
- L'étude complète du chemin15 pts