Vector de estado estable en tiempo discreto

Cuando existe una cantidad definida de estados, es posible modelar las transiciones entre todos estos estados.

Luego de suficientes transiciones, y al alcanzar un "régimen permanente", cada estado tiene una probabilidad definida.

Como en el caso anterior (no discreto), supóngase que hay un número grande $N$ de partículas, cada una que salta de estado a estado entre los estados de $S$ guiados por la matriz de transición $\mathrm{\Pi }$ de probabilidades de saltos.

• Si todas las $N$ partículas empiezan en el estado 0 en el tiempo $t=0$, entonces después de un salto algunas permanecerán en el estado 0 (si ${\mathrm{\Pi }}_{0,0}>0$) y otras saltarán a otros estados. Se puede esperar $N{\mathrm{\Pi }}_{0,j}$ partículas en el estado $j$ después de un salto.
• Por otro lado, supóngase que se distribuyen las $N$ partículas de modo que $N_j$ empiezan en el estado $j$ en el tiempo 0 para $j=0,1,2,\dots ,N$.
• Dado que $N_j{\mathrm{\Pi }}_{j,i}$ de aquellas partículas que empiezan en $j$ puede esperarse que salten al estado $i$, el número total de partículas que puede esperarse que estén en el estado $i$ después de un salto es:

$$\sum _{j=1}^N{N}_j{\mathrm{\Pi }}_{j,i}$$

• Pudiera suceder que este número es el mismo número $N_i$ de partículas que empezaron en el estado $i$ en el tiempo 0.

Cada una de las partículas podría cambiar estados, pero el número completo en el estado $i$ permanecerá constante. Si esto fuera cierto para cada estado $i\in S$, el sistema entero de $N$ partículas estaría en estado estable: por cada partícula que deja un estado, una la reemplazaría proveniente de otro estado.

En vez del número $N_i$ absoluto de partículas en estado $i$,

$$N_i=\sum _{j=0}^N{N}_j{\mathrm{\Pi }}_{j,i}$$

reestablézcase la ecuación en términos del número relativo $N_i/N$ de partículas en estado $i$.

Por tanto, es la probabilidad de que cualquier partícula ocupe el estado $i$

$$N_i/N=\sum _{j=0}^N\left(N_j/N\right){\mathrm{\Pi }}_{j,i}$$

Si este fuera el caso, el sistema entero de $N$ partículas estaría en el estado estable.

Un vector de probabilidad $\varphi$ representa el estado estable si

$${\varphi }_i=\sum _{j=0}^N{\varphi }_j{\mathrm{\Pi }}_{j,i}$$

o sea, si ${\varphi }^1=\varphi \cdot \mathrm{\Pi }=\varphi$. De esta forma, la probabilidad de que una partícula esté en el estado $i$ es la misma en el tiempo 1 como en el tiempo 0.

Nótese que si $\varphi$ tiene esta propiedad de reproducirse a sí mismo después de un salto, esto se cumplirá para todos los tiempos $t$:

$${\varphi }^1=\varphi \mathrm{\Pi }=\varphi$$

lo que implica

$$\begin{array}{rl}{\varphi }^2& ={\varphi }^1\mathrm{\Pi }=\varphi \mathrm{\Pi }=\varphi \\ {\varphi }^3& ={\varphi }^2\mathrm{\Pi }=\varphi \mathrm{\Pi }=\varphi \end{array}$$

y, en general,

$$\begin{array}{rl}{\varphi }^t& ={\varphi }^{t-1}\mathrm{\Pi }\\ & =\varphi \mathrm{\Pi }\\ & =\varphi \end{array}$$

Vector de probabilidad de estado estable

Cualquier vector de probabilidad con la propiedad $\varphi =\varphi \mathrm{\Pi }$ es denominado un vector de probabilidad de estado estable. Si la partícula empieza en el estado $i$ con probabilidad ${\varphi }_i$ por cada estado $i$, entonces en todo tiempo $t$, estará en el estado $i$ con probabilidad ${\varphi }_i$.

Procedimiento para hallar el vector de probabilidad de estado estable

Consta de dos pasos:

• Establecer y resolver estas ecuaciones:

$${\varphi }_j=\sum _{i=0}^N{\varphi }_i{\mathrm{\Pi }}_{i,j}$$

para $j=0,1,2,\dots ,N$ o alternativamente, en notación matricial, $\varphi =\varphi \mathrm{\Pi }$.

• Normalizar por medio de la ecuación:

$$\sum _{i=0}^N{\varphi }_i=1$$

Notas:

• El paso 1 anterior involucra la solución de $N+1$ ecuaciones para $N+1$ incógnitas ${\varphi }_0,{\varphi }_1,{\varphi }_2,\dots ,{\varphi }_N$. Siempre habrá redundancia: una de las ecuaciones será una combinación lineal de las otras.
• La ecuación del paso 2 es realmente la $(N+1)$-ésima.
• En otras palabras: el primer paso, aunque define un sistema de $N+1$ ecuaciones, solamente $N$ de ellas son linealmente independientes, por lo que se necesita del paso 2 para proveer la $(N+1)$-ésima ecuación para poder encontrar las $N+1$ incógnitas, que definirán los componentes del vector de probabilidad de estado estable.

---

Vector de probabilidad de estado estable con dos estados

Encuentre el vector de probabilidad de estado estable de la cadena de Markov mostrada en la figura siguiente.

Aplica que:

$$\begin{array}{rl}\varphi & =\varphi \mathrm{\Pi }\\ ({\varphi }_0,{\varphi }_1)& =({\varphi }_0,{\varphi }_1)\mathrm{\Pi }\\ & =({\varphi }_0,{\varphi }_1)\left[\begin{array}{cc}\frac{1}{2}& \frac{1}{2}\\ 1& 0\end{array}\right]\\ {\varphi }_0& =\frac{1}{2}{\varphi }_0+{\varphi }_1\\ {\varphi }_1& =\frac{1}{2}{\varphi }_0\end{array}$$

Las dos últimas ecuaciones son realmente la misma: ${\varphi }_1=\frac{1}{2}{\varphi }_0$. A continuación se usa la condición de normalización:

$$1={\varphi }_0+{\varphi }_1={\varphi }_0+\frac{1}{2}{\varphi }_0=\frac{3}{2}{\varphi }_0$$

De esta forma se concluye que ${\varphi }_0=2/3,{\varphi }_1=1/3$. Por consiguiente, dos terceras partes del tiempo, la partícula se encontrará en el estado 0 y una tercera parte del tiempo se encontrará en el estado 1.

---

Vector de probabilidad de estado estable con tres estados

Considere la cadena de Markov de la siguiente figura. Encuentre el vector de probabilidad de estado estable $\varphi$.

Se construye primero la matriz de transición $\mathrm{\Pi }$:

$$\mathrm{\Pi }=\left[\begin{array}{ccc}0& \frac{1}{2}& \frac{1}{2}\\ 0& \frac{2}{3}& \frac{1}{3}\\ \frac{1}{3}& \frac{2}{3}& 0\end{array}\right]$$$$\begin{array}{rl}({\varphi }_0,{\varphi }_1,{\varphi }_2)& =({\varphi }_0,{\varphi }_1,{\varphi }_2)\left[\begin{array}{ccc}0& \frac{1}{2}& \frac{1}{2}\\ 0& \frac{2}{3}& \frac{1}{3}\\ \frac{1}{3}& \frac{2}{3}& 0\end{array}\right]\\ {\varphi }_0& =\frac{1}{3}{\varphi }_2\\ {\varphi }_1& =\frac{1}{2}{\varphi }_0+\frac{2}{3}{\varphi }_1+\frac{2}{3}{\varphi }_2\\ {\varphi }_2& =\frac{1}{2}{\varphi }_0+\frac{1}{3}{\varphi }_1\end{array}$$

lo cual genera,

$$\begin{array}{rl}-3{\varphi }_0+{\varphi }_2& =0\\ 3{\varphi }_0-2{\varphi }_1+4{\varphi }_2& =0\\ 3{\varphi }_0+2{\varphi }_1-6{\varphi }_2& =0\end{array}$$

Si se suma la segunda y la tercera ecuaciones, resulta en $6{\varphi }_0-2{\varphi }_2=0$, que es esencialmente la misma primera ecuación, de donde se puede decir que la tercera ecuación es redundante. De las primeras dos ecuaciones se tiene que,

$$\begin{array}{rl}{\varphi }_2& =3{\varphi }_0\\ {\varphi }_1& =\frac{15}{2}{\varphi }_0\end{array}$$

Toca ahora usar la condición de normalización:

$$1={\varphi }_0+{\varphi }_1+{\varphi }_2=(1+\frac{15}{2}+3){\varphi }_0=\frac{23}{2}{\varphi }_0$$

!!! note "" Por consiguiente, ${\varphi }_0=\frac{2}{23},{\varphi }_1=\frac{15}{23},{\varphi }_2=\frac{6}{23}$.

---

WARNING

Transcripción faltante de 5_21_2_markov_estado_estable,md