Des groupes sans étiquettes
Le clustering cherche des groupes de lignes semblables sans qu'on lui dise ce que sont les groupes. K-means est le cheval de labour. On choisit centres, puis on répète deux étapes : affecter chaque point au centre le plus proche, et déplacer chaque centre à la moyenne de ses points. On s'arrête quand plus rien ne change. La quantité qu'il diminue est l'inertie, somme des carrés des distances de chaque point à son centre. Comme k-means utilise des distances, les variables doivent avoir une échelle commune, et comme il trouve toujours groupes, il en trouvera même dans des données qui n'en ont pas. En finance, le clustering sert à étiqueter des régimes (calme, orageux, crise) et à trouver des pairs, des actions qui se comportent de la même façon.
Comment juger un clustering ? La silhouette d'un point compare , sa distance moyenne aux autres points de son groupe, à , sa distance moyenne aux points du groupe voisin le plus proche : . Elle est proche de pour un point au cœur d'un groupe serré et bien séparé, proche de sur une frontière et négative si le point est probablement dans le mauvais groupe. La silhouette moyenne aide à comparer des valeurs de , mais ne prouve jamais que les groupes sont réels. Relancez toujours avec d'autres points de départ et d'autres variables, et demandez-vous si les groupes ont un sens pour le trading.
- Deux étapes : affecter au centre le plus proche, déplacer le centre à la moyenne, répéter.
- Mettre à l'échelle d'abord : les distances traitent toutes les variables pareil, une variable à grande unité dominerait.
- Les groupes sont une lentille, pas un fait : vérifiez la stabilité et le sens avant de trader dessus.
Lab : ce qui est noté
- Un nouveau centre10 pts
- L'inertie10 pts
- Distance dans le groupe10 pts
- Une silhouette15 pts
- Les jours qui ne sont pas calmes5 pts
- Pourquoi mettre les variables à l'échelle10 pts
- Les étapes de k-means10 pts
- Associer le vocabulaire10 pts
- Pourquoi les groupes demandent vérification20 pts