Distâncias espaciais e agrupamento

Agrupar ativos por como se movem juntos

Uma distância diz quão afastadas duas coisas estão. Para ativos, perto deve significar que se movem juntos, então transformamos uma correlação $\rho$ em distância: $d=\sqrt{\tfrac12(1-\rho)}$ . Correlação perfeita $\rho=1$ dá distância $0$ , nenhuma correlação dá $0{,}71$ e movimento exatamente oposto $\rho=-1$ dá $1$ . Ao contrário de $1-\rho$ , esta fórmula se comporta como uma distância de verdade, então pode ser dada às ferramentas de agrupamento. scipy.spatial.distance.pdist calcula todas as distâncias par a par de uma vez, e squareform converte entre uma tabela completa e a lista compacta que as funções de agrupamento esperam. Para achar os vizinhos mais próximos de um ponto entre muitos, scipy.spatial.cKDTree é muito mais rápido que comparar com cada ponto.

O agrupamento hierárquico começa com cada ativo sozinho e funde repetidamente os dois grupos mais próximos. Como medir a distância entre dois grupos é a regra de ligação. single usa o par mais próximo entre os grupos, complete o par mais distante e average a média de todas as distâncias cruzadas. hierarchy.linkage(distances, method) devolve todo o histórico de fusões, com a altura de cada uma. hierarchy.fcluster(Z, t, 'distance') corta então a árvore na altura $t$ para dar rótulos de grupo, ou com 'maxclust' em um número escolhido de grupos. Em finanças, os grupos viram um mapa de diversificação: ativos de um mesmo grupo carregam em grande parte o mesmo risco, então ter cinco deles não são cinco apostas.

d_{ij}=\sqrt{\tfrac12(1-\rho_{ij})},\qquad d_{\text{average}}(A,B)=\frac{1}{|A||B|}\sum_{i\in A}\sum_{j\in B}d_{ij},\qquad d_{\text{single}}=\min d_{ij},\quad d_{\text{complete}}=\max d_{ij}

(1)

Três ativos à mãoUma correlação de

0{,}5

dá distância

\sqrt{0{,}25}=0{,}5

, e

0{,}8

dá

\sqrt{0{,}1}=0{,}316

. Tome três ativos com distâncias

AB=0{,}3

AC=0{,}8

BC=0{,}7

. O par mais próximo é

A

B

, que se fundem na altura

0{,}3

. A distância do novo grupo a

C

\min(0{,}8;0{,}7)=0{,}7

na ligação simples,

\max=0{,}8

na ligação completa e

(0{,}8+0{,}7)/2=0{,}75

na ligação média, então a segunda fusão ocorre em

0{,}75

com ligação média. Cortar a árvore na altura

0{,}5

deixa dois grupos,

\{A,B\}

\{C\}

. Em dados reais,

55

grandes ações dos EUA com ao menos

90\%

do histórico dão a

JPM

BAC

uma correlação de

0{,}79

, isto é, distância de

0{,}327

. O agrupamento de ligação média cortado em

6

grupos dá um bloco de

37

ações, um bloco de

8

que é exatamente o de saúde (JNJ, PFE, MRK, ABT, AMGN, LLY, BMY, MDT), um bloco de

7

de nomes defensivos (PG, KO, PEP, T, VZ, DUK, SO) e três isoladas.

Transforme correlação em distância: $d=\sqrt{(1-\rho)/2}$ vale $0$ para gêmeos e $1$ para opostos.
A ligação é uma escolha: ligação simples, completa e média podem dar alturas de fusão diferentes para os mesmos dados.
Os grupos mapeiam a diversificação: escolha entre grupos, pois ativos de um mesmo grupo compartilham a maior parte de seu risco.

Lab: o que é avaliado

Da correlação à distância10 pts
Da distância à correlação10 pts
Uma altura de ligação média15 pts
Uma altura de ligação simples10 pts
Grupos após um corte10 pts
O que cada rotina faz15 pts
Grupos e diversificação30 pts

Agrupar ativos por como se movem juntos

d_{ij}=\sqrt{\tfrac12(1-\rho_{ij})},\qquad d_{\text{average}}(A,B)=\frac{1}{|A||B|}\sum_{i\in A}\sum_{j\in B}d_{ij},\qquad d_{\text{single}}=\min d_{ij},\quad d_{\text{complete}}=\max d_{ij}

(1)

Três ativos à mãoUma correlação de

0{,}5

dá distância

\sqrt{0{,}25}=0{,}5

, e

0{,}8

dá

\sqrt{0{,}1}=0{,}316

. Tome três ativos com distâncias

AB=0{,}3

AC=0{,}8

BC=0{,}7

. O par mais próximo é

A

B

, que se fundem na altura

0{,}3

. A distância do novo grupo a

C

\min(0{,}8;0{,}7)=0{,}7

na ligação simples,

\max=0{,}8

na ligação completa e

(0{,}8+0{,}7)/2=0{,}75

na ligação média, então a segunda fusão ocorre em

0{,}75

com ligação média. Cortar a árvore na altura

0{,}5

deixa dois grupos,

\{A,B\}

\{C\}

. Em dados reais,

55

grandes ações dos EUA com ao menos

90\%

do histórico dão a

JPM

BAC

uma correlação de

0{,}79

, isto é, distância de

0{,}327

. O agrupamento de ligação média cortado em

6

grupos dá um bloco de

37

ações, um bloco de

8

que é exatamente o de saúde (JNJ, PFE, MRK, ABT, AMGN, LLY, BMY, MDT), um bloco de

7

de nomes defensivos (PG, KO, PEP, T, VZ, DUK, SO) e três isoladas.

Transforme correlação em distância: $d=\sqrt{(1-\rho)/2}$ vale $0$ para gêmeos e $1$ para opostos.
A ligação é uma escolha: ligação simples, completa e média podem dar alturas de fusão diferentes para os mesmos dados.
Os grupos mapeiam a diversificação: escolha entre grupos, pois ativos de um mesmo grupo compartilham a maior parte de seu risco.

Lab: o que é avaliado

Da correlação à distância10 pts
Da distância à correlação10 pts
Uma altura de ligação média15 pts
Uma altura de ligação simples10 pts
Grupos após um corte10 pts
O que cada rotina faz15 pts
Grupos e diversificação30 pts

Distâncias espaciais e agrupamento

Agrupar ativos por como se movem juntos

Lab: o que é avaliado

Entre para executar o seu código.

Distâncias espaciais e agrupamento

Agrupar ativos por como se movem juntos

Lab: o que é avaliado

Entre para executar o seu código.