Baum-Welch y EM

Dejar que el modelo aprenda sus propios números

Hasta ahora supusimos que conocíamos $\pi$ , $A$ y $B$ . En datos reales no es así: solo tenemos las observaciones. El algoritmo de Baum-Welch aprende los números de los datos. Es un ejemplo de esperanza-maximización (EM) y funciona repitiendo dos pasos. En el paso E, se usan los números actuales y el algoritmo forward-backward para calcular cuán probable fue cada estado oculto y cada cambio de estado cada día. En el paso M, se reestiman los números contando, pero con esas probabilidades en lugar de conteos enteros.

\pi_i\leftarrow\gamma_1(i),\qquad A_{ij}\leftarrow\frac{\sum_{t=1}^{T-1}\xi_t(i,j)}{\sum_{t=1}^{T-1}\gamma_t(i)},\qquad B_j(k)\leftarrow\frac{\sum_t\gamma_t(j)\,[o_t=k]}{\sum_t\gamma_t(j)}

(1)

Aquí $\gamma_t(i)$ es la probabilidad suavizada del estado $i$ el día $t$ y $\xi_t(i,j)$ la probabilidad suavizada de pasar de $i$ a $j$ entre el día $t$ y $t+1$ . Así, el nuevo $A_{ij}$ es el número esperado de pasos $i\to j$ dividido por el número esperado de días en $i$ . Conviene saber dos hechos. La log-verosimilitud de los datos nunca disminuye de una ronda de EM a la siguiente, así que se puede parar cuando deja de mejorar. Pero EM solo sube hasta el pico más cercano, por lo que puede acabar en un máximo local, y valores iniciales distintos pueden dar respuestas distintas. En la práctica se prueban varios inicios y se conserva el mejor.

Una ronda sobre Pequeño, Grande, GrandeSegún el tema anterior, la probabilidad suavizada de Tranquilo en los tres días es

(0{,}430,\ 0{,}118,\ 0{,}097)

. El número esperado de días tranquilos es

0{,}645

. La nueva probabilidad inicial de Tranquilo es

0{,}430

. El día 1 fue el único movimiento pequeño, así que la nueva probabilidad de un movimiento pequeño en Tranquilo es

0{,}430/0{,}645=0{,}667

. El número esperado de pasos Tranquilo a Tranquilo es

0{,}179

y el de días en Tranquilo antes de un paso es

0{,}430+0{,}118=0{,}548

, así que el nuevo

A_{TT}=0{,}179/0{,}548=0{,}327

. Con tres días de datos es solo una ilustración, pero las ejecuciones reales lo repiten sobre miles de días hasta que la log-verosimilitud deja de mejorar.

Paso E: con los números actuales, calcular $\gamma$ y $\xi$ con forward-backward.
Paso M: reestimar $\pi$ , $A$ y $B$ como conteos esperados divididos por totales esperados.
La log-verosimilitud nunca baja, pero EM puede detenerse en un máximo local: pruebe varios inicios.

Lab: qué se califica

Días tranquilos esperados10 pts
Una nueva probabilidad de emisión15 pts
Una nueva probabilidad inicial10 pts
Una nueva probabilidad de transición15 pts
Qué garantiza EM15 pts
Una ronda de EM10 pts
Emparejar el vocabulario10 pts
Por qué importan los inicios15 pts

Dejar que el modelo aprenda sus propios números

\pi_i\leftarrow\gamma_1(i),\qquad A_{ij}\leftarrow\frac{\sum_{t=1}^{T-1}\xi_t(i,j)}{\sum_{t=1}^{T-1}\gamma_t(i)},\qquad B_j(k)\leftarrow\frac{\sum_t\gamma_t(j)\,[o_t=k]}{\sum_t\gamma_t(j)}

(1)

Una ronda sobre Pequeño, Grande, GrandeSegún el tema anterior, la probabilidad suavizada de Tranquilo en los tres días es

(0{,}430,\ 0{,}118,\ 0{,}097)

. El número esperado de días tranquilos es

0{,}645

. La nueva probabilidad inicial de Tranquilo es

0{,}430

. El día 1 fue el único movimiento pequeño, así que la nueva probabilidad de un movimiento pequeño en Tranquilo es

0{,}430/0{,}645=0{,}667

. El número esperado de pasos Tranquilo a Tranquilo es

0{,}179

y el de días en Tranquilo antes de un paso es

0{,}430+0{,}118=0{,}548

, así que el nuevo

A_{TT}=0{,}179/0{,}548=0{,}327

. Con tres días de datos es solo una ilustración, pero las ejecuciones reales lo repiten sobre miles de días hasta que la log-verosimilitud deja de mejorar.

Paso E: con los números actuales, calcular $\gamma$ y $\xi$ con forward-backward.
Paso M: reestimar $\pi$ , $A$ y $B$ como conteos esperados divididos por totales esperados.
La log-verosimilitud nunca baja, pero EM puede detenerse en un máximo local: pruebe varios inicios.

Lab: qué se califica

Días tranquilos esperados10 pts
Una nueva probabilidad de emisión15 pts
Una nueva probabilidad inicial10 pts
Una nueva probabilidad de transición15 pts
Qué garantiza EM15 pts
Una ronda de EM10 pts
Emparejar el vocabulario10 pts
Por qué importan los inicios15 pts

Dejar que el modelo aprenda sus propios números

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Baum-Welch y EM

Dejar que el modelo aprenda sus propios números

Lab: qué se califica

Inicia sesión para ejecutar tu código.