El algoritmo forward

¿Qué tan probable es lo que vimos?

Supongamos que vimos los movimientos Pequeño, Grande, Grande. ¿Qué tan probable es esa secuencia con nuestro modelo? Podríamos listar todos los caminos ocultos (Tranquilo-Tranquilo-Tranquilo, Tranquilo-Tranquilo-Tormentoso, etc.), calcular la probabilidad de cada uno y sumarlas. Con $K$ estados y $T$ días son $K^{T}$ caminos, demasiados. El algoritmo forward hace la misma suma en $T\cdot K^{2}$ pasos reutilizando el trabajo. Guarda un número $\alpha_t(j)$ : la probabilidad de las primeras $t$ observaciones y de estar en el estado $j$ el día $t$ .

\alpha_1(j)=\pi_jB_j(o_1),\qquad \alpha_t(j)=\Big[\sum_i\alpha_{t-1}(i)A_{ij}\Big]B_j(o_t),\qquad P(o_1,\dots,o_T)=\sum_j\alpha_T(j)

(1)

Lea la recurrencia con palabras: para estar en el estado $j$ hoy, se venía de algún estado $i$ ayer (suma sobre $i$ con la probabilidad de transición) y luego el estado de hoy produjo la observación de hoy. Dividir $\alpha_t$ por su total da las probabilidades filtradas, su creencia sobre el estado de hoy dados los datos hasta hoy. Un problema práctico: multiplicar muchos números pequeños da números que tienden a cero. Así que en cada paso se divide por el total $c_t$ y se guarda. El log de la probabilidad de los datos es entonces simplemente la suma de los $\ln c_t$ .

Pequeño, Grande, GrandeDía 1:

\alpha_1=(0{,}6\cdot0{,}9,\ 0{,}4\cdot0{,}3)=(0{,}54,\ 0{,}12)

, total

c_1=0{,}66

. Día 2 (un movimiento grande): Tranquilo recibe

(0{,}54\cdot0{,}9+0{,}12\cdot0{,}2)\cdot0{,}1=0{,}051

y Tormentoso

(0{,}54\cdot0{,}1+0{,}12\cdot0{,}8)\cdot0{,}7=0{,}105

, total

0{,}156

, así que la probabilidad filtrada de Tormentoso es

0{,}105/0{,}156=0{,}673

. El día 3 da

\alpha_3=(0{,}00669,\ 0{,}06237)

. La probabilidad de toda la secuencia es

0{,}00669+0{,}06237=0{,}0691

y su log es

-2{,}673

Algoritmo forward: suma sobre todos los caminos ocultos en $T\cdot K^{2}$ pasos en vez de $K^{T}$ .
Probabilidades filtradas: normalice $\alpha_t$ para obtener su creencia sobre el estado de hoy con los datos hasta hoy.
Escalado: divida por $c_t$ en cada paso y sume los $\ln c_t$ para evitar el desbordamiento por defecto.

Lab: qué se califica

El primer valor forward15 pts
El total del primer día10 pts
Filtrado tras dos días15 pts
La probabilidad de la secuencia15 pts
La log-verosimilitud10 pts
Qué ahorra el algoritmo forward10 pts
Emparejar el vocabulario10 pts
Por qué se reescalan los valores15 pts

¿Qué tan probable es lo que vimos?

\alpha_1(j)=\pi_jB_j(o_1),\qquad \alpha_t(j)=\Big[\sum_i\alpha_{t-1}(i)A_{ij}\Big]B_j(o_t),\qquad P(o_1,\dots,o_T)=\sum_j\alpha_T(j)

(1)

Pequeño, Grande, GrandeDía 1:

\alpha_1=(0{,}6\cdot0{,}9,\ 0{,}4\cdot0{,}3)=(0{,}54,\ 0{,}12)

, total

c_1=0{,}66

. Día 2 (un movimiento grande): Tranquilo recibe

(0{,}54\cdot0{,}9+0{,}12\cdot0{,}2)\cdot0{,}1=0{,}051

y Tormentoso

(0{,}54\cdot0{,}1+0{,}12\cdot0{,}8)\cdot0{,}7=0{,}105

, total

0{,}156

, así que la probabilidad filtrada de Tormentoso es

0{,}105/0{,}156=0{,}673

. El día 3 da

\alpha_3=(0{,}00669,\ 0{,}06237)

. La probabilidad de toda la secuencia es

0{,}00669+0{,}06237=0{,}0691

y su log es

-2{,}673

Algoritmo forward: suma sobre todos los caminos ocultos en $T\cdot K^{2}$ pasos en vez de $K^{T}$ .
Probabilidades filtradas: normalice $\alpha_t$ para obtener su creencia sobre el estado de hoy con los datos hasta hoy.
Escalado: divida por $c_t$ en cada paso y sume los $\ln c_t$ para evitar el desbordamiento por defecto.

Lab: qué se califica

El primer valor forward15 pts
El total del primer día10 pts
Filtrado tras dos días15 pts
La probabilidad de la secuencia15 pts
La log-verosimilitud10 pts
Qué ahorra el algoritmo forward10 pts
Emparejar el vocabulario10 pts
Por qué se reescalan los valores15 pts

¿Qué tan probable es lo que vimos?

Lab: qué se califica

Inicia sesión para ejecutar tu código.

El algoritmo forward

¿Qué tan probable es lo que vimos?

Lab: qué se califica

Inicia sesión para ejecutar tu código.