Des groupes sans étiquettes : régimes et pairs
K-means répartit n points en k groupes en répétant deux étapes : affecter chaque point au centre le plus proche, puis déplacer chaque centre à la moyenne de ses points. Il minimise l'inertie, la somme des carrés des distances aux centres, Σᵢ‖xᵢ-c_(g(i))‖². L'inertie baisse toujours quand k croît, donc elle ne peut pas choisir k seule ; la silhouette compare, pour chaque point, la distance à son propre groupe à la distance au groupe voisin le plus proche, et se moyenne entre -1 et 1 (haut = bien séparé). Deux règles pratiques : mettez d'abord les colonnes à la même échelle, car les distances additionnent des unités brutes (StandardScaler), et lancez plusieurs départs (n_init=3) avec un random_state fixe, car k-means trouve un optimum local et ses étiquettes sont des numéros arbitraires.
Pour les régimes, décrivez chaque jour de SPY par son rendement sur 21 jours, sa volatilité annualisée sur 21 jours et son drawdown depuis le plus haut courant, standardisez, regroupez avec k=3 et renumérotez les groupes par volatilité pour que 0 soit le plus calme. Sur 5 384 jours, les groupes sont un régime calme sur 72 % des jours (volatilité 11,6 %), un intermédiaire sur 25 % (22,4 %) et un régime de crise sur 2,7 % (61,5 %). Le rendement moyen du lendemain diffère à peine (0,04 %, 0,05 %, 0,14 %), mais la dispersion vaut 0,79 %, 1,49 % et 3,96 % : les régimes renseignent sur le risque, pas sur la direction. Pour les pairs, mesurez la co-évolution de deux actifs par la distance 1-ρ, prenez la ligne de distances de chaque actif comme description et regroupez ces lignes. Sans aucune information sectorielle, 59 actifs tombent en technologie et consommation, défensives, banques et industrie, énergie, et obligations avec l'or. Vérifiez la stabilité avant de croire un regroupement : l'indice de Rand ajusté des groupes de la première et de la seconde moitié de l'échantillon n'est que de 0,38, donc les actifs limites changent de camp.
- Mettez à l'échelle, relancez souvent :
StandardScaler,n_init=3, unrandom_statefixe ; les étiquettes sont des numéros arbitraires, renommez-les par quelque chose de significatif. - L'inertie baisse avec k ; la silhouette compare séparation et dispersion, et aucune ne choisit k seule.
- Les régimes renseignent sur le risque, pas la direction ; vérifiez la stabilité des groupes de pairs avec l'indice de Rand ajusté avant de les utiliser.
Lab : ce qui est noté
- Descripteurs de régime10 pts
- Ajuster les régimes20 pts
- Choisir k15 pts
- Résumer les régimes15 pts
- Groupes de pairs15 pts
- Stabilité des groupes10 pts
- L'étude15 pts