Räumliche Abstände und Clustering

Anlagen danach gruppieren, wie sie sich gemeinsam bewegen

Ein Abstand sagt, wie weit zwei Dinge voneinander entfernt sind. Bei Anlagen soll nah bedeuten, dass sie sich gemeinsam bewegen, daher machen wir aus einer Korrelation $\rho$ einen Abstand: $d=\sqrt{\tfrac12(1-\rho)}$. Perfekte Korrelation $\rho=1$ ergibt den Abstand $0$, keine Korrelation $0{,}71$ und genau gegenläufige Bewegung $\rho=-1$ ergibt $1$. Anders als $1-\rho$ verhält sich diese Formel wie ein echter Abstand und kann daher Clustering-Werkzeugen übergeben werden. scipy.spatial.distance.pdist berechnet alle paarweisen Abstände auf einmal, und squareform wandelt zwischen einer vollen Tabelle und der kompakten Liste um, die die Clustering-Funktionen erwarten. Um die nächsten Nachbarn eines Punktes unter vielen zu finden, ist scipy.spatial.cKDTree viel schneller als der Vergleich mit jedem Punkt.

Hierarchisches Clustering beginnt mit jeder Anlage allein und verschmilzt wiederholt die zwei nächsten Gruppen. Wie man den Abstand zweier Gruppen misst, regelt die Verknüpfung. single nimmt das nächste Paar zwischen den Gruppen, complete das entfernteste und average den Mittelwert aller Kreuzabstände. hierarchy.linkage(distances, method) liefert die gesamte Verschmelzungshistorie mit der Höhe jeder Verschmelzung. hierarchy.fcluster(Z, t, 'distance') schneidet den Baum dann bei der Höhe $t$ und gibt Gruppenlabels, oder mit 'maxclust' in eine gewählte Zahl von Gruppen. In der Finanzwelt werden die Gruppen zu einer Diversifikationskarte: Anlagen einer Gruppe tragen größtenteils dasselbe Risiko, fünf davon zu halten sind also keine fünf Wetten.

• Korrelation in Abstand umwandeln: $d=\sqrt{(1-\rho)/2}$ ist $0$ für Zwillinge und $1$ für Gegensätze.
• Die Verknüpfung ist eine Wahl: Single-, Complete- und Average-Linkage können für dieselben Daten verschiedene Verschmelzungshöhen liefern.
• Cluster bilden Diversifikation ab: über Cluster hinweg wählen, denn Anlagen eines Clusters teilen den Großteil ihres Risikos.

Lab: Was bewertet wird

• Von der Korrelation zum Abstand10 Pkt.
• Vom Abstand zur Korrelation10 Pkt.
• Eine Average-Linkage-Höhe15 Pkt.
• Eine Single-Linkage-Höhe10 Pkt.
• Gruppen nach einem Schnitt10 Pkt.
• Was jede Routine tut15 Pkt.
• Cluster und Diversifikation30 Pkt.