Clustering para regimes e pares

Grupos sem rótulos

O clustering procura grupos de linhas parecidas sem que lhe digam quais são os grupos. O k-means é o cavalo de batalha. Escolhem-se $k$ centros e repetem-se dois passos: atribuir cada ponto ao centro mais próximo e mover cada centro para a média de seus pontos. Para quando nada muda. A quantidade que reduz é a inércia, a soma dos quadrados das distâncias de cada ponto ao seu centro. Como o k-means usa distâncias, as variáveis devem ter uma escala comum, e como sempre acha $k$ grupos, vai achá-los mesmo em dados que não têm nenhum. Em finanças o clustering serve para rotular regimes (calmo, tempestuoso, crise) e achar pares, ações que se comportam de modo parecido.

Quão bom é um clustering? A silhueta de um ponto compara $a$, sua distância média aos outros pontos do próprio grupo, com $b$, sua distância média aos pontos do grupo vizinho mais próximo: $s=(b-a)/\max(a,b)$. Fica perto de $1$ para um ponto no fundo de um grupo compacto e bem separado, perto de $0$ numa fronteira e negativa se o ponto provavelmente está no grupo errado. A silhueta média ajuda a comparar valores de $k$, mas nunca prova que os grupos sejam reais. Rode sempre de novo com outros pontos de partida e outras variáveis e pergunte se os grupos significam algo para operar.

• Dois passos: atribuir ao centro mais próximo, mover o centro para a média, repetir.
• Escale primeiro: as distâncias tratam todas as variáveis igual, então uma de unidades grandes dominaria.
• Grupos são uma lente, não um fato: verifique a estabilidade e o sentido antes de operar com eles.

Lab: o que é avaliado

• Um novo centro10 pts
• A inércia10 pts
• Distância dentro do grupo10 pts
• Uma silhueta15 pts
• Os dias que não são calmos5 pts
• Por que escalar as variáveis10 pts
• Os passos do k-means10 pts
• Associar o vocabulário10 pts
• Por que os grupos exigem verificação20 pts