Validation croisée et surapprentissage

Ajuster le passé est facile

Donnez assez de liberté à un modèle et il ajustera n'importe quelles données d'entraînement, bruit compris. C'est le surapprentissage : un excellent ajustement dans l'échantillon qui s'effondre sur de nouvelles données. Le sous-apprentissage est l'inverse, un modèle trop simple pour saisir la structure. Le remède aux deux est de juger un modèle sur des données qu'il n'a pas vues. Le $R^2$ dans l'échantillon ne baisse jamais quand on ajoute des prédicteurs : il récompense donc le surapprentissage, alors que le $R^2$ ajusté $1-(1-R^2)\frac{n-1}{n-p-1}$ pénalise chaque prédicteur supplémentaire.

La validation croisée à $k$ plis découpe les données en $k$ plis, s'entraîne sur $k-1$ d'entre eux, note sur le pli mis de côté et moyenne les $k$ scores. Un jeu de test distinct, touché une seule fois à la toute fin, donne l'estimation honnête finale ; les plis de validation sont consommés par des choix tels que la pénalité $\lambda$. Avec des séries temporelles, mélanger est une erreur : une coupe aléatoire entraîne sur des jours postérieurs à ceux qu'elle teste, ce qui fait fuiter le futur. Utilisez plutôt la validation glissante (walk-forward), en entraînant toujours sur le passé et en testant sur le bloc suivant, éventuellement avec un intervalle pour éviter le chevauchement des étiquettes.

• Surapprentissage : excellent sur l'entraînement, mauvais sur de nouvelles données. Sous-apprentissage : mauvais sur les deux.
• Validation croisée : s'entraîner sur certains plis, noter sur celui mis de côté, moyenner ; garder un jeu de test pour la fin.
• Séries temporelles : ne mélangez jamais ; entraînez sur le passé, testez sur le bloc futur (walk-forward).

Lab : ce qui est noté

• La taille d'un jeu d'entraînement10 pts
• Pourquoi ne pas mélanger15 pts
• Un test glissant15 pts
• Un R carré ajusté15 pts
• Le vocabulaire15 pts
• Repérer la fuite15 pts
• Pourquoi l'ajustement dans l'échantillon dit peu15 pts