Cadenas de Markov en tiempo continuo

Definición de cadenas de Markov

Ejemplos de "cadenas de Markov"

• Un modelo simplista del tiempo atmosférico en un lugar está dado por la secuencia temporal {X₁, X₂, X₃, ...}, donde X_i tiene los dos únicos valores 0 ("seco") y 1 ("lluvioso").

• Los precios de las acciones de una empresa tienen una incertidumbre respecto a si el precio va a hacer una transición hacia un valor mayor o menor.

En ambos casos, las transiciones pueden modelarse de manera probabilística y es crucial el conocimiento del estado actual. Las cadenas o procesos de Markov son un modelo de dependencia.

Otros ejemplos de aplicaciones

• Predicción de cambios en la demanda de electricidad
• Modelado del movimiento de insectos
• Monitoreo del uso de camillas en hospitales
• Personas que cambian de servicio celular
• Monitoreo de patrones de navegación web para proveer anuncios personalizados

La propiedad de Markov

• Las cadenas de Markov son procesos estocásticos que cumplen la propiedad de Markov.
• Informalmente, esta propiedad establece que los estados futuros dependen únicamente del estado actual, y no de la secuencia de estados para llegar ahí. De algún modo, “trunca la memoria”.

Propiedad de Markov o de la falta de memoria

Formalmente, es una probabilidad condicional de la forma

$$P(X_n=x\mid X_0,\dots ,X_{n-1})=P(X_n=x\mid X_{n-1}),\mathrm{\forall }n,\mathrm{\forall }x$$

Ejemplo de taxis en diferentes zonas de una ciudad I

Una ciudad tiene tres diferentes “zonas”, numeradas 1, 2 y 3, y los taxis operan en todas las zonas.

La probabilidad de que el próximo pasajero vaya hacia una zona particular depende de ¿Dónde abordó el taxi?

La distribución exponencial como “tiempo de vida”

La distribución exponencial es la típica caracterización de la probabilidad de los tiempos de espera (o “de vida”).

Si T es el tiempo de vida de un componente que está exponencialmente distribuido con parámetro α, entonces T tiene densidad

$$f_T(t)=\{\begin{array}{ll}0& \text{si }t<0\\ \alpha e^{-\alpha t}& \text{si }t>0\end{array}$$

La media de T es el recíproco del parámetro $\alpha$, $E[T]=\frac{1}{\alpha }$.

• La variable aleatoria T tiene la propiedad de falta de memoria
• “No importa la antigüedad del componente, este opera como si fuera nuevo”.

Propiedad de falta de memoria de la distribución exponencial

La propiedad de falta de memoria, matemáticamente, se escribe como

$$P(T>t+s\mid T>t)=P(T>s)$$

para tiempos $t,s\ge 0$. También se tiene que

$$P(T>t)=e^{-\alpha t}$$

para $t\ge 0$ (porque $F_T(t)=1-e^{-\alpha t}$).

A partir de estas definiciones, se determinan dos casos específicos.

Por ejemplo, T podría ser “el tiempo de espera de un autobús”, y s = 5 min y t = 30 min.

Primer hecho

Densidad de la variable mínima de un conjunto de variables aleatorias

• Supóngase que T₁, T₂, . . ., T_n son variables aleatorias independientes, cada una distribuida exponencialmente. Supóngase que T_i tiene parámetro α_i.

• Suponga N componentes que se “conectan” (o “inician su operación conjunta”) al tiempo t = 0.

• T_i es el tiempo de vida del i-ésimo componente.

• Sea M el mínimo de todos los tiempos T_i ’s de los componentes. M es el tiempo en que el primer componente falla.

• M es una variable aleatoria.

• Sea t ≥ 0. Entonces M = min{T₁, . . . , T_N} es más grande que t si y solo si todo $T_i>t$.

$$\begin{array}{rl}P(M>t)& =P(min\{T_1,T_2,\dots ,T_N\}>t)\\ & =P(T_1>t,T_2>t,\dots ,T_N>t)\\ & =e^{-{\alpha }_{1}t}\cdot e^{-{\alpha }_{2}t}\cdots e^{-{\alpha }_{N}t}\\ & =e^{-({\alpha }_1+{\alpha }_2+\dots +{\alpha }_N)t}\end{array}$$

M está exponencialmente distribuida con parámetro ${\alpha }_1+{\alpha }_2+...+{\alpha }_N$ y valor medio $1/({\alpha }_1+{\alpha }_2+...+{\alpha }_N$).

Segundo hecho

Probabilidad de que un componente dado sea el que falle

Ante la pregunta, ¿Cuál es la probabilidad de que, cuando el primer fallo suceda, sea el componente j-ésimo?

La probabilidad de que entre las N variables aleatorias T_i el mínimo sea T_j está dada por la expresión

$$P(T_j=min\{T_1,T_2,\dots ,T_N\})=\frac{{\alpha }_j}{{\alpha }_1+{\alpha }_2+\cdots +{\alpha }_N}$$

Prueba para dos variables aleatorias

Si $T_1$ y $T_2$ son independientes y distribuidos exponencialmente con parámetros respectivos $\alpha$ y $\beta$: $f_{T_1,T_2}(t_1,t_2)=\alpha e^{-\alpha t_1}\beta e^{-\beta t_2},\text{para }{t}_1,t_2>0.$

Con $t_1$ y $t_2$ correspondientes a $T_1$ y $T_2$:

$$\begin{array}{rl}P(T_1=min\{T_1,T_2\})& =P(T_1<T_2)\\ & ={\iint }_{T_1<T_2}{f}_{T_1,T_2}(t_1,t_2)d{t}_{1}d{t}_2\\ & ={\int }_0^{\mathrm{\infty }}{\int }_0^{t_2}\alpha e^{-\alpha t_1}\beta e^{-\beta t_2}d{t}_{1}d{t}_2\\ & ={\int }_0^{\mathrm{\infty }}(1-e^{-\alpha t_2})\beta e^{-\beta t_2}d{t}_2\\ & =1-\frac{\beta }{\alpha +\beta }=\frac{\alpha }{\alpha +\beta }.\end{array}$$

---

El proceso de nacimiento y muerte en tiempo continuo

"Nacimiento" y "muerte" es una analogía tétrica que puede interpretarse también como "aparición y desaparición" o "llegada y salida"o "llegada" y "salida" o "unión" y "separación" o "haciendo fila y listo el trámite"...

• Considérese una “máquina” que puede estar en cualquiera de varios estados en cada instante de tiempo $t\ge 0$.
• El conjunto de estados posibles, el espacio de estados S, será siempre discreto:

$$S=\{0,1,2,\dots ,N\}\text{o}S=\{0,1,2,\dots \}$$

• Al tiempo t, el estado de la máquina es denotado por $X_t$.

Por ejemplo, $X_t$ podría denotar el número de animales en una poza para beber.
El estado de la máquina es el número $X_t$ de animales al tiempo $t$.

Suposiciones básicas

1. Si al tiempo $t$ la máquina está en el estado $i$, permanece en ese estado por un
tiempo aleatorio que es exponencialmente distribuido con parámetro ${\mathrm{\Omega }}_i$.

• El tiempo de espera promedio en el estado $i$ es el recíproco $1/{\mathrm{\Omega }}_i$
• ${\mathrm{\Omega }}_i$ depende del estado $i$, pero no depende de otros estados anteriores
• El estado $i$ pudiera ser absorbente: una vez que la máquina entra al estado $i$, permanecerá siempre ahí
• En este caso, ${\mathrm{\Omega }}_i=0$ y el tiempo de espera promedio es $1/{\mathrm{\Omega }}_i\to \mathrm{\infty }$

2. Cuando la máquina sale del estado $i$, cambia al estado $i+1$ o al estado $i-1$
(habían 9 vacas, luego hay 8 si se va una, o 10 si llega otra). Sea

$$\begin{array}{rl}{p}_i& =P(\{\text{próximo estado es }i+1\mid \text{último estado es }i\})\\ q_i& =1-p_i\\ & =P(\{\text{próximo estado es }i-1\mid \text{último estado es }i\})\end{array}$$

Entonces $p_i$ y $q_i$ dependen solamente del estado $i$ y no de otros detalles del proceso
(tales como el tiempo $t$, la duración en $i$ o el estado antes de $i$).

El proceso estocástico $\{X_t{\}}_{t=0}^{\mathrm{\infty }}$ es un registro completo de los estados ocupados por la máquina para todos los tiempos $t\ge 0$.

Propiedad de la falta de memoria

Dado el presente estado $X_t$ del sistema al tiempo $t$, los estados futuros de la máquina no
dependen de los estados pasados.

• En particular, si el estado al tiempo $t$ es $X_t=i$, entonces es completamente
  irrelevante si ha estado en el estado $i$ por varios años o si acaba de cambiar al
  estado $i$, para predecir cuándo se mudará del estado $i$.

• Dado que la distribución exponencial sigue la propiedad de la falta de memoria,
  la máquina se comporta como si acabara de moverse al estado $i$ a pesar de qué tan
  largo hubiera realmente ocupado el estado $i$.

• La distribución exponencial es la única distribución continua concentrada en
  $[0,\mathrm{\infty }[$ para los tiempos de espera que tiene esta propiedad.

Nótese que si ${\mathrm{\Omega }}_i=0$ para el estado $i$, entonces los valores de $p_i$, $q_i$ son innecesarios de especificar dado que la máquina no puede cambiar del estado $i$ una vez en él.

Proceso de nacimiento y muerte en tiempo continuo

Síntesis

Consiste de una máquina que puede cambiar entre estados en un espacio de estados $S$.

• $X_t$ denota el estado ocupado al tiempo $t$ para $t\ge 0$.

• La máquina permanece en el estado $i$ por un período de tiempo indeterminado
  (llamado tiempo de espera o permanencia) que es exponencialmente distribuido
  con parámetro ${\mathrm{\Omega }}_i$ (tiempo de espera promedio $1/{\mathrm{\Omega }}_i$).

• Cuando la máquina cambia, cambia a los estados $i+1$, $i-1$ con probabilidades
  respectivas $p_i$, $q_i=1-p_i$.

DANGER

Faltan 2 transcripciones:

• 5_18_3_teoria_de_colas.md