<>
Siguiente:Modelos de colas estocásticosNivel anterior:Ampliación de Modelos de I.O.Previa:Modelos de colas determinísticos

Introducción a los procesos estocásticos

Definición 2 (Proceso estocástico)
Un proceso estocástico (P.E.) es una colección de variables aleatorias $\{X(t)\}_{t\in T}$, con $T\subseteq \mathbb{R}$.

t es el parámetro que se asocia al tiempo y X(t) representa el estado del proceso en el instante t.

Ejemplo:

• Si X(t) representa la distancia entre dos puntos que se mueven aleatoriamente sobre una recta, entonces $T=\mathbb{R} ^+$ y $X(t) \in \mathbb{R} ^+$.
• Si X(t) representa el piso en el que está un ascensor después de la t-ésima parada, entonces $T=\mathbb{Z} ^+$ y $X(t)\in \mathbb{Z} ^+$.
• Si X(t) es el número de llamadas a un número de teléfono hasta el instante de tiempo t, entonces $T=\mathbb{R} ^+$ y $X(t)\in \mathbb{Z} ^+$.

Definición 3
Si T es un conjunto numerable, entonces el proceso estocástico se dice que es en tiempo discreto.

Si T es un intervalo, entonces el proceso estocástico se dice que es en tiempo continuo.

Definición 4
Se llama camino muestral a una muestra de la variable aleatoria X(t) para cada valor de t.

Definición 5
Un proceso estocástico en tiempo continuo se dice que es de incrementos independientes (i.i.) o de renovación, si para valores

$$t_0<t_1<\dots <t_n, \quad \{t_0,\dots ,t_n\}\subset T,$$

se tiene que

$$X(t_1) - X(t_0),\quad X(t_2) - X(t_1), \dots,\quad X(t_n)-X(t_{n-1})$$

son variables aleatorias independientes. Por lo tanto, en un proceso de renovación, los cambios en intervalos de tiempo que no se solapan son independientes.

Definición 6
Un proceso estocástico en tiempo continuo es de incrementos estacionarios (i.e.) si la distribución, fijado t, de X(s+t)-X(s) es la misma para todo s tal que s+t pertenezca a T.

En un proceso de incrementos estacionarios, cambios en el proceso de igual tamaño son iguales en distribución.

Definición 7
Un proceso estocástico en tiempo continuo $\{N(t)\}_{t\geq 0}$, se dice puntual o de conteo si N(t) representa el número de veces que ocurre un suceso hasta el instante de tiempo t.

En particular:

• $N(t)\in \mathbb{N}\quad \forall t.$
• $N(s) \leq N(t)$ si s<t. (Los incrementos son no negativos)

En consecuencia, un proceso de conteo es de incrementos independientes si el número de sucesos que tienen lugar en intervalos de tiempo que no se solapan son variables aleatorias independientes. Y será de incrementos estacionarios si el número de sucesos que tienen lugar en un intervalo de tiempo es el mismo en intervalos de igual longitud.

Definición 8
Un proceso de conteo se dice de Poisson (homógeneo de tasa $\lambda >0$), si

1.

N(0)=0.

2.

Es de incrementos independientes.

3.

$P(N(t+s)-N(s)=n)=\frac{(\lambda t)^n}{n!}e^{-\lambda t}\ \forall n\in \mathbb{N} ,\quad \forall s,t>0$.

(El proceso es de incrementos estacionarios, y los incrementos siguen una distribución de Poisson de parámetro $\lambda t$ para intervalos de tiempo de amplitud t). Así, el número medio de sucesos hasta el instante t es

$$E[N(t)]=E[N(t+0)-N(0)]=\lambda t,$$

pues

$$N(t+0)-N(0)\equiv P(\lambda t).$$ Teorema 1
Un proceso de conteo, $\{N(t)\}_{t\geq 0}$ es de Poisson homogéneo con tasa $\lambda >0$ si y sólo si se verifica:

1.

N(0)=0.

2.

Es de incrementos independientes y estacionarios.

3.

$P(N(h)=1)=\lambda h + o(h)$.

4.

$P(N(h)\geq 2)=o(h)$.

Demostración:

($\Rightarrow$)

Si es un proceso de Poisson entonces, por definición, se cumplen las condiciones 1) y 2). Veamos que se verifican también 3) y 4).

3)

$$P(N(h)=1)= P(N(h+0)-N(0)=1)=\lambda h e^{-\lambda h}=\lambda ......h )=\lambda h + \lambdah(e^{-\lambda h}-1)=\lambda h + o(h),$$

ya que

$$\lim_{h\rightarrow 0}\frac{\lambda h(e^{-\lambda h}-1)}{h}=0.$$

4)

$$P(N(h)\geq 2)=1-P(N(h)< 2)= 1 -[P(N(h)=0)+P(N(h)=1)]=1-e^{-\lambda h}-\lambda h e^{-\lambda h} =o(h),$$

pues

$$\lim_{h\rightarrow 0}\frac{1-e^{-\lambda h}-\lambda h e^{-\lambda h}}{h}=0.$$

($\Leftarrow$)

Como se verifican 1) y 2), basta probar que $N(t)\equiv P(\lambda t)$. Razonemos por inducción sobre n.

Para n=0:

Sea

P_n(t):=P(N(t)=n).

Se trata de ver que

$$P_0(t)=e^{-\lambda t}.$$

Tomando

P₀(t+h)=P(N(t+h)=0)=P(N(t)=0,N(t+h)-N(t)=0)=

(los incrementos son independientes)

=P(N(t)=0) P(N(t+h)-N(t)=0)=

(los incrementos son estacionarios)

$$P(N(t)=0) P(N(h)=0) = P_0(t) (1 - P(N(t)=1) - P(N(t)\geq 2))=$$ $$P_0(t) (1 - \lambda h + o(h))\Rightarrow$$ $$\frac {P_0(t+h) - P_0(t)}{h} = -\lambda P_0(t)+\frac{o(h)}{h}.$$

Tomando límites cuando h tiende hacia cero:

$$P'_0(t)= - \lambda P_0(t)\Rightarrow$$ $$P_0(t)= c e^{-\lambda t}$$

Como N(0)=0, entonces P₀(0)=1, por lo que c=1 y

$$P_0(t)=e^{-\lambda t}.$$

Sea ahora el resultado cierto para 1, 2,...,n-1 y veamos que lo sigue siendo para n. Por el teorema de la probabilidad total:

P_n(t+h)=P(N(t+h)=n)= $$P(N(t)=n,N(t+h)-N(t)=0)+P(N(t)=n-1,N(t+h)-N(t)=1)+\ldots +$$ P(N(t)=0,N(t+h)-N(t)=n)=

(por ser los incrementos independientes)

$$=P_n(t) P(N(h)=0)+\ldots + P_0(t) P(N(h)=n)=$$

(como $P(N(h)=j)\leq P(N(h)\geq j)= o(h)$ para $j\geq 2$)

=P_n(t) P(N(h)=0)+P_n-1(t) P(N(h)=1)+o(h )= $$P_n(t) (1 -\lambda h + o(h)) + P_{n-1}(t) (\lambda h + o(h)) + o(h) =$$ $$P_n(t) (1-\lambda h) + P_{n-1}(t) \lambda h + o(h).$$

De donde

$$\frac {P_n(t+h)-P_n(t)}{h}=-\lambda P_n(t)+\lambdaP_{n-1}(t) + \frac{o(h)}{h}.$$

Al tomar límites cuando h tiende hacia cero:

$$P'_n(t)= -\lambda P_n(t)+\lambda P_{n-1}(t).$$

Por la hipótesis de inducción, P_n-1(t) es conocido:

$$P'_n(t)=-\lambda P_n(t)+\lambda e^{-\lambda t}\frac{(\lambdat)^{n-1}}{(n-1)!}.$$

Se trata de una ecuación diferencial lineal no homogénea, cuya solución es

$$P_n(t)=e^{-\lambda t} \frac{(\lambda t)^{n}}{n!}+ce^{-\lambda t}.$$

Como N(0)=0, entonces c=P_n(0)=0. Luego

$$P_n(t)=e^{-\lambda t} \frac{(\lambda t)^{n}}{n!}.$$

Q.E.D.

Definición 9
Un proceso de Poisson no homogéneo con función de intensidad (tasa) $\lambda (t)\geq 0$ es un proceso de conteo $\{N(t)\}_{t\geq 0}$ que cumple:

1.

N(0)=0.

2.

Es de incrementos independientes.

3.

$P(N(t+h)-N(t)=1)= \lambda (t)h+o(h)$.

4.

$P(N(t+h)-N(t)\geq 2)=o(h)$.

Definición 10
Un proceso de nacimiento (puro) con tasa de nacimiento $\lambda_n>0,n=0,1,2,\ \ldots$ es un proceso de conteo $\{N(t)\}_{t\geq 0}$ que cumple:

1.

$P(N(t+h)-N(t)=1 \vert N(t)=n)= \lambda_n h+o(h)$.

2.

$P(N(t+h)-N(t)\geq 2)=o(h)$.

Definición 11
Un proceso de nacimiento y muerte con tasa de nacimiento $\lambda_n >0$ y tasa de muerte $\mu_m >0$ es un proceso estocástico $\{N(t)\}_{t\geq 0}$ que cumple:

1.

$N(t)\in \mathbb{N}\ \forall t.$

2.

$P(N(t+h)-N(t)=1 \vert N(t)=n)= \lambda_n h+o(h)$ para $n=0,1,2,3,\ldots$

3.

$P(N(t+h)-N(t)=-1 \vert N(t)=n)=\mu_n h +o(h)$ para $n=1,2,3,\ldots$

4.

$P(\vert N(t+h)-N(t)\vert\geq 2)=o(h).$

Tratemos de obtener las ecuaciones diferenciales asociadas a un proceso de nacimiento y muerte:

n=0

Teniendo en cuenta que la probabilidad de que se produzcan dos o más sucesos en un intervalo pequeño de tiempo es despreciable (por la última condición de la definición), si en el instante t+h hay 0 individuos, sólo deben considerarse dos posibilidades:

1.

En el instante t había 0 individuos y no ha habido ni nacimientos ni muertes.

2.

En el instante t había 1 individuo y ha habido una muerte (y ningún nacimiento).

Así: P₀(t+h) = P(N(t+h)=0) = P(N(t+h)=0,N(t)=0) + $$P(N(t+h)=0,N(t)=1) + P(N(t+h)=0,N(t)\geq 2)=$$ P(N(t+h)-N(t)=0|N(t)=0) P(N(t)=0) + P(N(t+h)-N(t)=-1|N(t)=1) P(N(t)=1) + $$P(N(t+h)-N(t)\leq -2\vert N(t)\geq 2) P(N(t)\geq 2) =$$ $$= (1-\lambda_0 h + o(h)) P_0(t) + \mu_1 h + o(h)) P_1(t) + o(h) =$$ $$= (1-\lambda_0 h) P_0(t) + \mu_1 h P_1(t) + o(h)\Rightarrow$$ $$\frac {P_0(t+h)-P_0(t)}{h} = -\lambda_0 P_0(t) + \mu_1 P_1(t) + \frac {o(h)}{h}.$$

Al tomar límites cuando h tiende hacia cero:

$$P'_0(t) = -\lambda_0 P_0(t) + \mu_1 P_1(t).$$

n>0

Ahora se presentan tres posibilidades con probabilidades no despreciables:

1.

En el instante t había n individuos y no ha habido ni nacimientos ni muertes.

2.

En el instante t había n-1 individuos y ha habido un nacimiento (y ninguna muerte).

3.

En el instante t había n+1 individuos y ha habido una muerte (y ningún nacimiento).

Por lo tanto: P_n(t+h) = P(N(t+h)=n) = P(N(t+h)=n|N(t)=n-1) P(N(t)=n-1)+ P(N(t+h)=n|N(t)=n) P(N(t)=n) + P(N(t+h)=n|N(t)=n+1) P(N(t)=n+1) + o(h) = $$=P_{n-1}(t)(\lambda_{n-1} h + o(h))(1-\mu_{n-1} h + o(h)) +$$ $$+P_n(t)(1-\lambda_n h + o(h))(1-\mu_n h + o(h)) +$$ $$+P_{n+1}(t)(1-\lambda_{n+1} h + o(h)) (\mu_{n+1} h + o(h)) + o(h) =$$ $$=P_{n-1}(t) \lambda_{n-1} (1-\mu_{n-1} h) + P_n(t)(1-\lambda_n h)(1-\mu_n h) +$$ $$+P_{n+1}(t)(1-\lambda_{n+1} h) \mu_{n+1} h + o(h)\Rightarrow$$ $$\frac {P_n(t+h)-P_n(t)}{h} = P_{n-1}(t) \lambda_{n-1}(1-\mu_{n-1} h) - P_n(t)(\mu_n+\lambda_n-\mu_n h) +$$ $$P_{n+1}(t) \mu_{n+1}(1-\lambda_{n+1} h) + \frac {o(h)}{h}.$$

Al tomar límites cuando h tiende hacia cero:

$$P'_n(t) = \lambda_{n-1} P_{n-1}(t) -(\lambda_n+\mu_n)P_n(t) + \mu_{n+1}P_{n+1}(t).$$

Supongamos que existe

$$P_n = \displaystyle{\lim_{t\rightarrow+\infty}} P_n(t) \quad \forall n\geq 0.$$

Ya que si existen los límites en el infinito, entonces P_n(t) es constante en el infinito y

$$\lim_{t\rightarrow +\infty} P'_n(t)=0,$$

se tendrá que

$$\left\{ \begin{array}{cccc}0 & = & -\lambda_0 P_0 + \mu_1 ......_n) P_n +\mu_{n+1} P_{n+1}, \ n\geq 1.\end{array} \right .$$

Estas ecuaciones son las que están asociadas al proceso en estado estacionario.

Ejemplo: (Crecimiento lineal)

Una población consta de elementos que pueden dividirse en dos partes iguales o morir. La probabilidad de que un elemtento se divida en el intervalo (t,t+h] es $\lambda h + o(h)$. En ese mismo período, la probabilidad de que muera es $\mu h +o(h)$, siendo $\lambda , \mu >0$.

1.

Compruébese que el número de elementos de la población en el instante t es un proceso de nacimiento y muerte y calcúlense $\lambda_n ,\mu_n$.

2.

Utilícense las ecuaciones diferenciales para calcular

$$P_n=\lim_{t\rightarrow \infty}P_n(t).$$
 
 

Solución:

Como la división o muerte de cada elemento es independiente de las otras,

$$\left\{ \begin{array}{cccc}P(\text{una división en [t,t+h]......uos}) & = & n \mu h +o(h)& n=1,2,3\ldots\end{array} \right.$$

Luego $\lambda_n= n\lambda$ para n=0,1,2,3... y $\mu_n=n\mu$ para n=1,2,3...

Sustituyendo en las ecuaciones del estado estacionario obtenidas anteriormente:
 

$0 = \mu P_1$

$0 = (n-1)\lambda P_{n-1} + (n\lambda + n\mu)P_n + (n+1)\muP_{n+1}, \quad n\geq 1.$

Resolviendo este sistema, se tiene

$$P_1 = P_2 = \ldots = 0,$$

quedando P₀ indeterminado. Si P₀<1, entonces se extingue la población con probabilidad P₀ y crece ilimitadamente con probabilidad 1-P₀. Si P₀=1, entonces la población se extingue casi seguramente.

Aunque N(t) es una variable aleatoria desconocida, es posible calcular su esperanza:

$$P'_n(t) = -(\lambda + \mu)n P_n(t) + \lambda(n-1)P_{n-1}(t) + + \mu (n+1) P_{n+1}(t),\quad n\geq 1 .$$

Si se multiplica la ecuación n-ésima por n y se suman todas, como

$$E[N(t)]=\sum_{n=1}^{\infty}nP_n(t)$$

se tiene

$$\frac{dE[N(t)]}{dt}=-(\lambda + \mu)\sum_{n=1}^{\infty} n^2 P_n(t)+\lambda\sum_{n=1}^{\infty}n(n-1)P_{n-1}(t) +$$ $$+\mu\sum_{n=1}^{\infty}n((n+1)P_{n+1}(t) =$$ $$-(\lambda+\mu) \sum_{n=1}^{\infty}n^2 P_n(t) +\lambda \sum_{n=1}^{\infty}(n-1)^2 P_{n-1}(t) +$$ $$+ \lambda \sum_{n=1}^{\infty}(n-1)P_{n-1}(t) + \mu\sum_{n=1......(n+1)^2 P_{n+1}(t) - \mu\sum_{n=1}^{\infty}(n+1) P_{n+1}(t) =$$ $$= -(\lambda+\mu)\sum_{n=1}^{\infty}n^2 P_n(t) + \lambda \sum_{n=1}^{\infty}n^2P_n(t) + \lambda \sum_{n=1}^{\infty}nP_n(t) +$$ $$+\mu \sum_{n=1}^{\infty}(n+1)^2 P_{n+1}(t) - \mu\sum_{n=1}^{\infty}(n+1) P_{n+1}(t)=$$ $$-\mu P_1(t) + \lambda E[N(t)] - \mu E[N(t)] + \mu P_1(t) =$$ $$=(\lambda - \mu)E[N(t)]\Rightarrow$$ $$\frac{E'[N(t)]}{E[N(t)]}= \lambda - \mu\Rightarrow$$ $$E[N(t)] = ce^{(\lambda-\mu)t}.$$

Al sustituir en t=0, se observa que c es la población inicial.

Si $\lambda<\mu$, entonces E[N]=0.

Si $\lambda >\mu$, entonces $E[N]=+\infty$.

Si $\lambda=\mu$, entonces $E[N(t)]=c \quad \forall t$.