Cadenas de Markov

Un proceso con memoria de un paso

Una cadena de Markov se mueve entre un conjunto finito de estados y el siguiente estado depende solo del actual: $P(X_{t+1}=j\mid X_t=i,\ \text{historia})=P_{ij}$. El modelo entero es la matriz de transición $P$, cuyas filas son distribuciones de probabilidad (cada fila suma 1). Los mercados suelen describirse como alternando entre regímenes, como calma y turbulencia o alcista y bajista, y una cadena de Markov es el modelo más simple de esa alternancia.

Las probabilidades de transición en $n$ pasos son las entradas de la potencia matricial $P^{n}$, es decir, el producto de matrices de los temas de álgebra lineal anteriores en acción. Una distribución estacionaria $\boldsymbol\pi$ cumple $\boldsymbol\pi P=\boldsymbol\pi$: si la cadena empieza con ella, la conserva siempre. En una cadena en la que cada estado puede alcanzar a todos los demás (irreducible) y que no cicla con un periodo fijo (aperiódica), la distribución estacionaria es única y la cadena converge a ella desde cualquier inicio; $\pi_i$ es la proporción de tiempo a largo plazo en el estado $i$. El tiempo en un estado antes de salir es geométrico, con media $1/(1-P_{ii})$.

• Propiedad de Markov: el siguiente estado depende solo del estado actual.
• $n$ pasos: use $P^{n}$. Estacionaria: resuelva $\boldsymbol\pi P=\boldsymbol\pi$ con entradas que suman 1.
• Duración: un estado con probabilidad de permanencia $p$ dura en promedio $1/(1-p)$ pasos.

Lab: qué se califica

• Transiciones a dos días20 pts
• La distribución estacionaria15 pts
• Cuánto dura un régimen15 pts
• De alcista a bajista en dos días10 pts
• La propiedad de Markov15 pts
• Cuándo converge10 pts
• Qué significa la distribución estacionaria15 pts