Cadenas de Márkov

La cadena de Márkov, conocida como modelo de Márkov o proceso de Márkov, es un concepto desarrollado dentro de la teoría de la probabilidad y la estadística que establece una fuerte dependencia entre un evento y otro suceso. Su principal utilidad es el análisis del comportamiento de procesos estocásticos.

Los procesos de paseo aleatorio en realidad son un caso particular de procesos más generales que son las cadenas de Márkov. En esencia, una cadena es un proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo. 

Las cadenas de Márkov tienen la propiedad de que la probabilidad de que Xn = j sólo depende del estado inmediatamente anterior del sistema: Xn−1. Cuando en una cadena dichas probabilidades no dependen del tiempo en que se considere, n,

                P (Xn = j | Xn−1 = i)

 se denomina cadena homogénea, esto es, las probabilidades son las mismas en cada paso.

Ejemplo.

Consideremos que en un locutorio telefónico con 5 líneas de teléfono en un instante de tiempo dado puede haber un número cualquiera de líneas ocupadas. Durante un periodo de tiempo se observan las líneas telefónicas a intervalos de 2 minutos y se anota el número de líneas ocupadas en cada instante.

 

 Sea X1 la v.a. que representa el número de líneas ocupadas al principio del periodo. 

 Sea X2 la v.a. que representa el número de líneas ocupadas cuando se observa en el segundo instante de tiempo, 2 minutos más tarde. 

 En general, n = 1, 2,... Xn es una v.a. que representa el número de líneas ocupadas cuando se observan en el instante de tiempo n−ésima.

 ♣ El estado del proceso en cualquier instante de tiempo es el número de líneas que están siendo utilizadas en ese instante.

 ♣ Un proceso estocástico como el que acabamos de describir se llama proceso de parámetro discreto, ya que las líneas se observan en puntos discretos a lo largo del tiempo.

Para que el proceso estocástico del número de líneas ocupadas sea una cadena de Márkov es necesario que la probabilidad de cada posible número de líneas ocupadas en cualquier instante de tiempo dependa solamente del número de líneas ocupadas en 2 minutos antes.

Tipos de Cadenas de Márkov

Cadenas irreducibles

Una cadena de Márkov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):Desde cualquier estado de S se puede acceder a cualquier otro.

Todos los estados se comunican entre sí.

1. ${\displaystyle C(i)=S}$ para algún ${\displaystyle i\in S}$.
2. ${\displaystyle C(i)=S}$ para todo ${\displaystyle i\in S}$.
3. El único conjunto cerrado es el total.

Cadenas Recurrentes Positivas

Una cadena de Márkov se dice recurrente positiva si todos sus estados son recurrentes positivos. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:

${\displaystyle \pi _{j}={\frac {1}{\mu _{j}}}}$

Cadenas Regulares

Una cadena de Márkov se dice regular (también primitiva o argólica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

Cuando el espacio de estados S es finito, si P denota la matriz de transición de la cadena se tiene que:

${\displaystyle \lim _{n\to {\mathcal {1}}\,}P^{n}=W}$

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, este vector invariante es único.