Baum-Welch e EM

Deixar o modelo aprender seus próprios números

Até aqui supusemos que conhecíamos $\pi$ , $A$ e $B$ . Em dados reais não é assim: só temos as observações. O algoritmo de Baum-Welch aprende os números dos dados. É um exemplo de esperança-maximização (EM) e funciona repetindo dois passos. No passo E, usam-se os números atuais e o algoritmo forward-backward para calcular quão provável foi cada estado oculto e cada mudança de estado em cada dia. No passo M, reestimam-se os números contando, mas com essas probabilidades em vez de contagens inteiras.

\pi_i\leftarrow\gamma_1(i),\qquad A_{ij}\leftarrow\frac{\sum_{t=1}^{T-1}\xi_t(i,j)}{\sum_{t=1}^{T-1}\gamma_t(i)},\qquad B_j(k)\leftarrow\frac{\sum_t\gamma_t(j)\,[o_t=k]}{\sum_t\gamma_t(j)}

(1)

Aqui $\gamma_t(i)$ é a probabilidade suavizada do estado $i$ no dia $t$ e $\xi_t(i,j)$ a probabilidade suavizada de ir de $i$ a $j$ entre o dia $t$ e $t+1$ . Assim, o novo $A_{ij}$ é o número esperado de passagens $i\to j$ dividido pelo número esperado de dias em $i$ . Dois fatos valem ser lembrados. A log-verossimilhança dos dados nunca diminui de uma rodada de EM para a seguinte, então pode-se parar quando ela deixa de melhorar. Mas o EM só sobe até o pico mais próximo, então pode terminar num máximo local, e valores iniciais diferentes podem dar respostas diferentes. Na prática tentam-se vários inícios e fica-se com o melhor.

Uma rodada sobre Pequeno, Grande, GrandeDo tópico anterior, a probabilidade suavizada de Calmo nos três dias é

(0{,}430,\ 0{,}118,\ 0{,}097)

. O número esperado de dias calmos é

0{,}645

. A nova probabilidade inicial de Calmo é

0{,}430

. O dia 1 foi o único movimento pequeno, então a nova probabilidade de movimento pequeno em Calmo é

0{,}430/0{,}645=0{,}667

. O número esperado de passagens de Calmo para Calmo é

0{,}179

e o de dias em Calmo antes de uma passagem é

0{,}430+0{,}118=0{,}548

, então o novo

A_{CC}=0{,}179/0{,}548=0{,}327

. Com três dias de dados é só uma ilustração, mas execuções reais repetem isso em milhares de dias até a log-verossimilhança parar de melhorar.

Passo E: com os números atuais, calcular $\gamma$ e $\xi$ por forward-backward.
Passo M: reestimar $\pi$ , $A$ e $B$ como contagens esperadas divididas por totais esperados.
A log-verossimilhança nunca cai, mas o EM pode parar num máximo local: tente vários inícios.

Lab: o que é avaliado

Dias calmos esperados10 pts
Uma nova probabilidade de emissão15 pts
Uma nova probabilidade inicial10 pts
Uma nova probabilidade de transição15 pts
O que o EM garante15 pts
Uma rodada de EM10 pts
Associar o vocabulário10 pts
Por que os inícios importam15 pts

Deixar o modelo aprender seus próprios números

\pi_i\leftarrow\gamma_1(i),\qquad A_{ij}\leftarrow\frac{\sum_{t=1}^{T-1}\xi_t(i,j)}{\sum_{t=1}^{T-1}\gamma_t(i)},\qquad B_j(k)\leftarrow\frac{\sum_t\gamma_t(j)\,[o_t=k]}{\sum_t\gamma_t(j)}

(1)

Uma rodada sobre Pequeno, Grande, GrandeDo tópico anterior, a probabilidade suavizada de Calmo nos três dias é

(0{,}430,\ 0{,}118,\ 0{,}097)

. O número esperado de dias calmos é

0{,}645

. A nova probabilidade inicial de Calmo é

0{,}430

. O dia 1 foi o único movimento pequeno, então a nova probabilidade de movimento pequeno em Calmo é

0{,}430/0{,}645=0{,}667

. O número esperado de passagens de Calmo para Calmo é

0{,}179

e o de dias em Calmo antes de uma passagem é

0{,}430+0{,}118=0{,}548

, então o novo

A_{CC}=0{,}179/0{,}548=0{,}327

. Com três dias de dados é só uma ilustração, mas execuções reais repetem isso em milhares de dias até a log-verossimilhança parar de melhorar.

Passo E: com os números atuais, calcular $\gamma$ e $\xi$ por forward-backward.
Passo M: reestimar $\pi$ , $A$ e $B$ como contagens esperadas divididas por totais esperados.
A log-verossimilhança nunca cai, mas o EM pode parar num máximo local: tente vários inícios.

Lab: o que é avaliado

Dias calmos esperados10 pts
Uma nova probabilidade de emissão15 pts
Uma nova probabilidade inicial10 pts
Uma nova probabilidade de transição15 pts
O que o EM garante15 pts
Uma rodada de EM10 pts
Associar o vocabulário10 pts
Por que os inícios importam15 pts

Deixar o modelo aprender seus próprios números

Lab: o que é avaliado

Entre para executar o seu código.

Baum-Welch e EM

Deixar o modelo aprender seus próprios números

Lab: o que é avaliado

Entre para executar o seu código.