Importance des variables et permutation

Position dans le parcoursModule 4 sur 4 · Sujet 3 sur 4

4.3 Importance des variables et permutation

—Score du lab— / 100XP total—Série—

Quelle variable le modèle a-t-il utilisée

Après l'ajustement, on veut savoir sur quelles variables le modèle s'appuie, pour vérifier qu'il est sensé et retirer le poids mort. Les modèles d'arbres donnent une importance par impureté : le gain total de coupure produit par chaque variable, divisé par la somme sur les variables. Elle est gratuite mais biaisée en faveur des variables à nombreuses valeurs distinctes, et mesurée sur les données d'entraînement : une variable de bruit peut paraître importante. L'importance par permutation est plus honnête. Prenez un modèle ajusté et un jeu mis de côté, mélangez les valeurs d'une variable, ce qui casse son lien avec la cible, et notez de combien le score baisse : $\text{importance}_j=s_{\text{base}}-s_{\text{mélangé},j}$ . Répétez le mélange plusieurs fois et faites la moyenne.

I_j=s_{0}-\frac1R\sum_{r=1}^{R}s_{j}^{(r)},\qquad \tilde g_j=\frac{g_j}{\sum_k g_k}

(1)

Deux mises en garde. D'abord, les variables corrélées se partagent le mérite : si deux colonnes portent la même information, en mélanger une laisse l'autre faire le travail, et toutes deux paraissent sans importance. Regroupez de telles variables ou retirez-en une. Ensuite, l'importance décrit le modèle, pas le monde. Une variable qui compte pour un mauvais modèle n'est pas une cause des rendements. Avec des données en coupe transversale, mélangez la variable au sein de chaque mois : le mélange garde le niveau du mois et ne casse que le classement entre actions. Donnez aussi la dispersion des répétitions, car une petite importance avec une dispersion plus grande est du bruit.

Cinq mélanges et le vrai modèleUn modèle obtient

0{,}80

. Après avoir mélangé une variable cinq fois, les scores sont

0{,}62;0{,}66;0{,}64;0{,}65;0{,}68

, de moyenne

0{,}65

et d'écart type

0{,}022

, donc l'importance vaut

0{,}80-0{,}65=0{,}15

. Si les coupures d'un arbre ont donné les gains

0{,}163;0{,}05;0{,}02

, les parts d'impureté sont

0{,}70;0{,}21;0{,}09

. Deux copies identiques d'une variable afficheraient chacune une importance d'environ

0

, car l'autre copie compense. Sur le vrai panel mensuel d'actions avec le modèle ridge, le coefficient d'information walk-forward est

0{,}0327

. Mélanger la volatilité au sein de chaque mois le fait tomber à environ

0

(une importance de

0{,}033

), mélanger le momentum le change de

-0{,}003

et mélanger le rendement du dernier mois de

-0{,}003

. Tout le signal de ce modèle est la variable de volatilité.

Mélanger et noter : l'importance est la baisse du score hors échantillon quand une variable est mélangée.
Les jumelles corrélées se cachent : regroupez-les ou retirez-en une avant de lire les chiffres.
L'importance concerne le modèle : c'est un contrôle, pas une preuve qu'une variable cause les rendements.

Lab : ce qui est noté

La moyenne des mélanges10 pts
L'importance par permutation15 pts
La dispersion des répétitions15 pts
Une part d'impureté10 pts
Une variable jumelle10 pts
À quelle importance se fier10 pts
La procédure de permutation10 pts
Important pour le modèle, pas pour les rendements20 pts

0/ 8 traités

1Réponse numérique10 ptsSans réponse

Après cinq mélanges d'une variable, les scores sont $0{,}62;0{,}66;0{,}64;0{,}65;0{,}68$ . Quelle est leur moyenne ? Donnez deux décimales.

m =

accepté : ± 0.005

2Réponse numérique15 ptsSans réponse

Le score de base est $0{,}80$ et le score moyen après mélange $0{,}65$ . Quelle est l'importance $s_{\text{base}}-s_{\text{mélangé}}$ ? Donnez deux décimales.

i =

accepté : ± 0.005

3Réponse numérique15 ptsSans réponse

Les cinq scores mélangés $0{,}62;0{,}66;0{,}64;0{,}65;0{,}68$ ont des écarts au carré à $0{,}65$ de $0{,}0009;0{,}0001;0{,}0001;0;0{,}0009$ . Quel est leur écart type d'échantillon (division par $4$ ) ? Donnez trois décimales.

s =

accepté : ± 0.002

5Réponse numérique10 ptsSans réponse

Une variable apparaît deux fois dans les données, en deux colonnes identiques. Le modèle obtient $0{,}80$ et obtient encore $0{,}80$ après mélange d'une seule des copies. Quelle est l'importance par permutation de cette copie ?

t =

accepté : ± 0.005

6Choix10 ptsSans réponse

Une forêt aléatoire montre une variable de bruit à nombreuses valeurs distinctes comme importante par impureté, mais son importance par permutation sur des données mises de côté est nulle. À laquelle faites-vous confiance ?

7Remettre les étapes dans l'ordre10 ptsSans réponse

Mettez dans l'ordre les étapes de l'importance par permutation.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Noter de nouveau et enregistrer la baisse par rapport à la base
2Noter le modèle ajusté sur des données mises de côté comme base
3Répéter plusieurs fois et faire la moyenne des baisses
4Mélanger les valeurs d'une variable dans les données mises de côté

8Expliquer avec des mots20 ptsSans réponse

Mélanger la variable de volatilité fait tomber le coefficient d'information du modèle de $0{,}033$ à environ $0$ . En une ou deux phrases, expliquez pourquoi cela ne prouve pas que la volatilité cause des rendements plus élevés.

Noté sur :L'importance dit seulement que le modèle utilise la variable, pas pourquoi la relation existeElle peut être un indicateur d'autre chose, comme une prime de risque ou le hasard de cet échantillon, et elle peut changer ensuite0 / 400 caractères

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 8 · Ctrl ⏎ pour vérifier

Importance des variables et permutation

Position dans le parcoursModule 4 sur 4 · Sujet 3 sur 4

4.3 Importance des variables et permutation

—Score du lab— / 100XP total—Série—

Quelle variable le modèle a-t-il utilisée

I_j=s_{0}-\frac1R\sum_{r=1}^{R}s_{j}^{(r)},\qquad \tilde g_j=\frac{g_j}{\sum_k g_k}

(1)

Cinq mélanges et le vrai modèleUn modèle obtient

0{,}80

. Après avoir mélangé une variable cinq fois, les scores sont

0{,}62;0{,}66;0{,}64;0{,}65;0{,}68

, de moyenne

0{,}65

et d'écart type

0{,}022

, donc l'importance vaut

0{,}80-0{,}65=0{,}15

. Si les coupures d'un arbre ont donné les gains

0{,}163;0{,}05;0{,}02

, les parts d'impureté sont

0{,}70;0{,}21;0{,}09

. Deux copies identiques d'une variable afficheraient chacune une importance d'environ

0

, car l'autre copie compense. Sur le vrai panel mensuel d'actions avec le modèle ridge, le coefficient d'information walk-forward est

0{,}0327

. Mélanger la volatilité au sein de chaque mois le fait tomber à environ

0

(une importance de

0{,}033

), mélanger le momentum le change de

-0{,}003

et mélanger le rendement du dernier mois de

-0{,}003

. Tout le signal de ce modèle est la variable de volatilité.

Mélanger et noter : l'importance est la baisse du score hors échantillon quand une variable est mélangée.
Les jumelles corrélées se cachent : regroupez-les ou retirez-en une avant de lire les chiffres.
L'importance concerne le modèle : c'est un contrôle, pas une preuve qu'une variable cause les rendements.

Lab : ce qui est noté

La moyenne des mélanges10 pts
L'importance par permutation15 pts
La dispersion des répétitions15 pts
Une part d'impureté10 pts
Une variable jumelle10 pts
À quelle importance se fier10 pts
La procédure de permutation10 pts
Important pour le modèle, pas pour les rendements20 pts

0/ 8 traités

1Réponse numérique10 ptsSans réponse

Après cinq mélanges d'une variable, les scores sont $0{,}62;0{,}66;0{,}64;0{,}65;0{,}68$ . Quelle est leur moyenne ? Donnez deux décimales.

m =

accepté : ± 0.005

2Réponse numérique15 ptsSans réponse

Le score de base est $0{,}80$ et le score moyen après mélange $0{,}65$ . Quelle est l'importance $s_{\text{base}}-s_{\text{mélangé}}$ ? Donnez deux décimales.

i =

accepté : ± 0.005

3Réponse numérique15 ptsSans réponse

s =

accepté : ± 0.002

5Réponse numérique10 ptsSans réponse

t =

accepté : ± 0.005

6Choix10 ptsSans réponse

7Remettre les étapes dans l'ordre10 ptsSans réponse

Mettez dans l'ordre les étapes de l'importance par permutation.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Noter de nouveau et enregistrer la baisse par rapport à la base
2Noter le modèle ajusté sur des données mises de côté comme base
3Répéter plusieurs fois et faire la moyenne des baisses
4Mélanger les valeurs d'une variable dans les données mises de côté

8Expliquer avec des mots20 ptsSans réponse

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 8 · Ctrl ⏎ pour vérifier

Importance des variables et permutation

Quelle variable le modèle a-t-il utilisée

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Importance des variables et permutation

Quelle variable le modèle a-t-il utilisée

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.