Grupos sin etiquetas
El clustering busca grupos de filas parecidas sin que se le diga cuáles son los grupos. K-means es el caballo de batalla. Se eligen centros y se repiten dos pasos: asignar cada punto al centro más cercano y mover cada centro a la media de sus puntos. Se detiene cuando nada cambia. La cantidad que reduce es la inercia, la suma de distancias al cuadrado de cada punto a su centro. Como k-means usa distancias, las variables deben tener una escala común, y como siempre encuentra grupos, los encontrará incluso en datos que no tienen ninguno. En finanzas el clustering se usa para etiquetar regímenes (calma, tormenta, crisis) y para hallar pares, acciones que se comportan de forma parecida.
¿Qué tan bueno es un clustering? La silueta de un punto compara , su distancia media a los demás puntos de su grupo, con , su distancia media a los puntos del grupo vecino más cercano: . Está cerca de para un punto en el interior de un grupo compacto y bien separado, cerca de en una frontera y es negativa si el punto probablemente está en el grupo equivocado. La silueta media ayuda a comparar valores de , pero nunca prueba que los grupos sean reales. Repita siempre con otros puntos de partida y otras variables, y pregunte si los grupos significan algo para operar.
- Dos pasos: asignar al centro más cercano, mover el centro a la media, repetir.
- Escale primero: las distancias tratan igual todas las variables, así que una de unidades grandes dominaría.
- Los grupos son una lente, no un hecho: compruebe la estabilidad y el sentido antes de operar con ellos.
Lab: qué se califica
- Un nuevo centro10 pts
- La inercia10 pts
- Distancia dentro del grupo10 pts
- Una silueta15 pts
- Los días que no son tranquilos5 pts
- Por qué escalar las variables10 pts
- Los pasos de k-means10 pts
- Emparejar el vocabulario10 pts
- Por qué los grupos requieren comprobación20 pts