Ejemplos de procesos de Markov. Elementos de la teoría de colas
cuya evolución después de cualquier valor dado del parámetro de tiempo t (\ estilo de visualización t) no depende de la evolución que precedió t (\ estilo de visualización t), siempre que el valor del proceso en este momento sea fijo (“el futuro” del proceso no depende del “pasado” con el “presente” conocido; otra interpretación (Wentzel): el “futuro” del proceso depende en el “pasado” sólo a través del “presente”).
YouTube enciclopédico
1 / 3
✪ Clase 15: Procesos estocásticos de Markov
✪ Origen de las cadenas de Markov
✪ Modelo de proceso de Markov generalizado
subtítulos
Historia
La propiedad que define un proceso de Markov suele llamarse propiedad de Markov; por primera vez fue formulado por A. A. Markov, quien en los trabajos de 1907 sentó las bases para el estudio de secuencias de ensayos dependientes y las sumas de variables aleatorias asociadas con ellos. Esta línea de investigación se conoce como teoría de las cadenas de Markov.
Kolmogorov sentó las bases de la teoría general de los procesos de Markov con tiempo continuo.
Propiedad de Markov
Caso general
Permitir (Ω, F, PAG) (\displaystyle (\Omega,(\mathcal (F)),\mathbb (P)))- espacio de probabilidad con filtrado (F t , t ∈ T) (\displaystyle ((\mathcal (F))_(t),\ t\in T)) sobre algún conjunto (parcialmente ordenado) T (\ estilo de visualización T); Déjalo ir (S , S) (\displaystyle (S,(\mathcal (S))))- espacio medible. proceso aleatorio X = (X t , t ∈ T) (\displaystyle X=(X_(t),\ t\in T)), definido en el espacio de probabilidad filtrado, se considera que satisface Propiedad de Markov si por cada A ∈ S (\displaystyle A\in (\mathcal (S))) y s , t ∈ T: s<
t
{\displaystyle s,t\in T:s
proceso de Markov es un proceso aleatorio que satisface Propiedad de Markov con filtración natural.
Para cadenas de Markov con tiempo discreto
Si S (\ estilo de visualización S) es un conjunto discreto y T = norte (\displaystyle T=\mathbb (N) ), la definición se puede reformular:
PAGS (X norte = x norte | X norte - 1 = x norte - 1 , X norte - 2 = x norte - 2 , ... , X 0 = x 0) = PAGS (X norte = x norte | X norte - 1 = x norte - 1) (\displaystyle \mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1),X_(n-2)=x_(n-2),\ puntos , X_(0)=x_(0))=\mathbb (P) (X_(n)=x_(n)|X_(n-1)=x_(n-1))).Un ejemplo de un proceso de Markov
Considere un ejemplo simple de un proceso estocástico de Markov. Un punto se mueve aleatoriamente a lo largo del eje x. En el tiempo cero, el punto está en el origen y permanece allí durante un segundo. Un segundo después, se lanza una moneda: si se cae el escudo de armas, entonces el punto X se mueve una unidad de longitud hacia la derecha, si el número, hacia la izquierda. Un segundo después, se vuelve a lanzar la moneda y se realiza el mismo movimiento aleatorio, y así sucesivamente. El proceso de cambiar la posición de un punto ("errante") es un proceso aleatorio con tiempo discreto (t=0, 1, 2, ...) y un conjunto contable de estados. Tal proceso aleatorio se llama markoviano, ya que el siguiente estado del punto depende solo del estado presente (actual) y no depende de los estados pasados (no importa de qué manera y en qué momento el punto llegó a la coordenada actual) .
Los procesos aleatorios de Markov llevan el nombre del destacado matemático ruso A.A. Markov (1856-1922), quien inició por primera vez el estudio de la conexión probabilística de variables aleatorias y creó una teoría que puede llamarse "dinámica de probabilidad". En el futuro, los fundamentos de esta teoría se convirtieron en la base inicial de la teoría general de los procesos aleatorios, así como de ciencias aplicadas tan importantes como la teoría de los procesos de difusión, la teoría de la fiabilidad, la teoría de colas, etc. En la actualidad, la teoría de los procesos de Markov y sus aplicaciones son muy utilizadas en diversos campos de las ciencias como la mecánica, la física, la química, etc.
Debido a la relativa simplicidad y claridad del aparato matemático, alta confiabilidad y precisión de las soluciones obtenidas, los procesos de Markov han recibido especial atención por parte de especialistas involucrados en la investigación de operaciones y la teoría de la toma de decisiones óptima.
A pesar de la simplicidad y claridad anteriores, la aplicación práctica de la teoría de las cadenas de Markov requiere el conocimiento de algunos términos y disposiciones básicas, que deben discutirse antes de presentar ejemplos.
Como se mencionó, los procesos estocásticos de Markov son casos especiales de procesos estocásticos (SP). A su vez, los procesos aleatorios se basan en el concepto de función aleatoria (SF).
Una función aleatoria es una función cuyo valor para cualquier valor del argumento es una variable aleatoria (CV). En otras palabras, la SF puede llamarse una función que, en cada prueba, toma alguna forma previamente desconocida.
Tales ejemplos de SF son: fluctuaciones de voltaje en un circuito eléctrico, la velocidad de un automóvil en una sección de una carretera con límite de velocidad, la rugosidad de la superficie de una parte en una sección determinada, etc.
Como regla general, se cree que si el argumento SF es el tiempo, dicho proceso se denomina aleatorio. Hay otra definición de procesos aleatorios, más cercana a la teoría de la toma de decisiones. A su vez, se entiende por proceso aleatorio el proceso de un cambio aleatorio en los estados de cualquier sistema físico o técnico en el tiempo o en algún otro argumento.
Es fácil ver que si designamos un estado y representamos una dependencia, entonces tal dependencia será una función aleatoria.
Los procesos aleatorios se clasifican según los tipos de estados y el argumento t. En este caso, los procesos aleatorios pueden ser con estados o tiempos discretos o continuos.
Además de los ejemplos anteriores de la clasificación de procesos aleatorios, existe otra propiedad importante. Esta propiedad describe la relación probabilística entre los estados de procesos aleatorios. Entonces, por ejemplo, si en un proceso aleatorio la probabilidad de una transición del sistema a cada estado subsiguiente depende solo del estado anterior, entonces dicho proceso se denomina proceso sin efecto secundario.
Tenga en cuenta, en primer lugar, que un proceso aleatorio con estados y tiempos discretos se denomina secuencia aleatoria.
Si una secuencia aleatoria tiene la propiedad de Markov, entonces se llama cadena de Markov.
Por otro lado, si en un proceso aleatorio los estados son discretos, el tiempo es continuo y se conserva la propiedad del efecto posterior, entonces dicho proceso aleatorio se denomina proceso de Markov con tiempo continuo.
Un proceso estocástico de Markov se llama homogéneo si las probabilidades de transición permanecen constantes durante el proceso.
Una cadena de Markov se considera dada si se dan dos condiciones.
1. Hay un conjunto de probabilidades de transición en forma de matriz:
2. Existe un vector de probabilidades iniciales
describir el estado inicial del sistema.
Además de la forma matricial, el modelo de cadena de Markov se puede representar como un gráfico ponderado dirigido (Fig. 1).
Arroz. uno
El conjunto de estados del sistema de cadenas de Markov se clasifica de cierta manera, teniendo en cuenta el comportamiento posterior del sistema.
1. Conjunto irreversible (Fig. 2).
Figura 2.
En el caso de un conjunto no retornable, cualquier transición dentro de este conjunto es posible. El sistema puede salir de este conjunto, pero no puede volver a él.
2. Conjunto recurrente (Fig. 3).
Arroz. 3.
En este caso, también son posibles las transiciones dentro del conjunto. El sistema puede entrar en este conjunto, pero no puede salir de él.
3. Conjunto ergódico (Fig. 4).
Arroz. 4.
En el caso de un conjunto ergódico, cualquier transición dentro del conjunto es posible, pero se excluyen las transiciones desde y hacia el conjunto.
4. Conjunto absorbente (Fig. 5)
Arroz. 5.
Cuando el sistema ingresa a este conjunto, el proceso finaliza.
En algunos casos, a pesar de la aleatoriedad del proceso, es posible controlar hasta cierto punto las leyes de distribución o los parámetros de las probabilidades de transición. Estas cadenas de Markov se denominan controladas. Obviamente, con la ayuda de cadenas de Markov controladas (MCC), el proceso de toma de decisiones se vuelve especialmente efectivo, lo cual se discutirá más adelante.
La característica principal de una cadena de Markov discreta (DMC) es el determinismo de los intervalos de tiempo entre los pasos individuales (etapas) del proceso. Sin embargo, esta propiedad muchas veces no se observa en los procesos reales, y los intervalos resultan aleatorios con alguna ley de distribución, aunque el proceso sigue siendo markoviano. Tales secuencias aleatorias se denominan semi-Markov.
Además, teniendo en cuenta la presencia y ausencia de ciertos conjuntos de estados mencionados anteriormente, las cadenas de Markov pueden ser absorbentes si existe al menos un estado absorbente, o ergódicas si las probabilidades de transición forman un conjunto ergódico. A su vez, las cadenas ergódicas pueden ser regulares o cíclicas. Las cadenas cíclicas difieren de las cadenas regulares en que en el proceso de transición a través de un cierto número de pasos (ciclos) hay un retorno a algún estado. Las cadenas regulares no tienen esta propiedad.
Estructura y clasificación de los sistemas de colas
Sistemas de colas
A menudo existe la necesidad de resolver problemas probabilísticos asociados con los sistemas de colas (QS), ejemplos de los cuales pueden ser:
Taquillas;
Talleres de reparación;
Comercio, transporte, sistemas energéticos;
Sistemas de comunicación;
El carácter común de tales sistemas se revela en la unidad de los métodos y modelos matemáticos utilizados en el estudio de sus actividades.
Arroz. 4.1. Las principales áreas de aplicación de TMT
La entrada al QS recibe un flujo de solicitudes de servicio. Por ejemplo, clientes o pacientes, averías de equipos, llamadas telefónicas. Las solicitudes llegan de forma irregular, en momentos aleatorios. La duración del servicio también es aleatoria. Esto crea irregularidades en el trabajo del QS, provoca sus sobrecargas y subcargas.
Los sistemas de colas tienen una estructura diferente, pero por lo general se pueden distinguir cuatro elementos principales:
1. Flujo de demanda entrante.
2. Acumulador (cola).
3. Dispositivos (canales de atención).
4. Caudal de salida.
Arroz. 4.2. Esquema general de los sistemas de colas
Arroz. 4.3. Modelo de operación del sistema
(las flechas muestran los momentos de llegada de los requerimientos en
sistema, rectángulos - tiempo de servicio)
La figura 4.3a muestra un modelo del sistema con un flujo regular de requisitos. Dado que se conoce el intervalo entre llegadas de reclamos, el tiempo de servicio se elige para cargar completamente el sistema. Para un sistema con un flujo estocástico de requisitos, la situación es completamente diferente: los requisitos llegan en diferentes momentos y el tiempo de servicio también es una variable aleatoria, que puede describirse mediante una cierta ley de distribución (Fig. 4.3 b).
Dependiendo de las reglas para la formación de la cola, se distinguen los siguientes QS:
1) sistemas con fallas , en el que, cuando todos los canales de servicio están ocupados, la solicitud deja el sistema desatendido;
2) sistemas con cola ilimitada , en el que la solicitud entra en cola si en el momento de su llegada todos los canales de servicio estaban ocupados;
3) sistemas con espera y cola limitada , en el que el tiempo de espera está limitado por algunas condiciones o existen restricciones en el número de solicitudes en espera.
Considere las características del flujo entrante de requisitos.
El flujo de solicitudes se llama estacionario , si la probabilidad de que uno u otro número de eventos caigan en un segmento de tiempo de cierta longitud depende solo de la longitud de este segmento.
El flujo de eventos se llama fluir sin consecuencias , si el número de eventos que caen en un determinado intervalo de tiempo no depende del número de eventos que caen en otros.
El flujo de eventos se llama común si dos o más eventos no pueden ocurrir simultáneamente.
El flujo de solicitudes se llama veneno (o el más simple) si tiene tres propiedades: estacionario, ordinario y no tiene consecuencias. El nombre se debe al hecho de que, bajo las condiciones especificadas, el número de eventos que caen en cualquier intervalo de tiempo fijo se distribuirá de acuerdo con la ley de Poisson.
intensidad flujo de aplicaciones λ es el número promedio de aplicaciones provenientes del flujo por unidad de tiempo.
Para un flujo estacionario, la intensidad es constante. Si τ es el valor promedio del intervalo de tiempo entre dos solicitudes adyacentes, entonces, en el caso de un flujo de Poisson, la probabilidad de ingresar al servicio metro solicitudes por un período de tiempo t está determinada por la ley de Poisson:
El tiempo entre solicitudes adyacentes se distribuye exponencialmente con una densidad de probabilidad
El tiempo de servicio es una variable aleatoria y obedece a una ley de distribución exponencial con una densidad de probabilidad donde μ es la intensidad del flujo del servicio, es decir el número promedio de solicitudes atendidas por unidad de tiempo,
La relación entre la intensidad del flujo entrante y la intensidad del flujo de servicio se denomina arranque del sistema
Un sistema de colas es un sistema de tipo discreto con un conjunto finito o contable de estados, y la transición del sistema de un estado a otro ocurre abruptamente cuando ocurre algún evento.
El proceso se llama proceso de estado discreto , si sus posibles estados pueden renumerarse de antemano, y la transición del sistema de un estado a otro ocurre casi instantáneamente.
Tales procesos son de dos tipos: con tiempo discreto o continuo.
En el caso del tiempo discreto, las transiciones de estado a estado pueden ocurrir en instantes de tiempo estrictamente definidos. Los procesos con tiempo continuo difieren en que la transición del sistema a un nuevo estado es posible en cualquier momento.
Un proceso aleatorio es una correspondencia en la que a cada valor del argumento (en este caso, un momento del intervalo de tiempo del experimento) se le asigna una variable aleatoria (en este caso, el estado QS). Variable aleatoria Se llama cantidad a la que, como resultado de la experiencia, puede tomar un valor numérico, pero desconocido de antemano, de un conjunto numérico dado.
Por lo tanto, para resolver los problemas de la teoría de colas, es necesario estudiar este proceso aleatorio, es decir construir y analizar su modelo matemático.
proceso aleatorio llamado markoviano , si para cualquier momento de tiempo las características probabilísticas del proceso en el futuro dependen únicamente de su estado en ese momento y no dependen de cuándo y cómo el sistema llegó a este estado.
Las transiciones del sistema de un estado a otro ocurren bajo la influencia de algunos flujos (el flujo de aplicaciones, el flujo de fallas). Si todos los flujos de eventos que llevan al sistema a un nuevo estado son el Poisson más simple, entonces el proceso que ocurre en el sistema será markoviano, ya que el flujo más simple no tiene una consecuencia: en él el futuro no depende del pasado. - un grupo de piezas de ajedrez. El estado del sistema se caracteriza por el número de piezas del oponente que quedan en el tablero en ese momento. La probabilidad de que en ese momento la ventaja material esté del lado de uno de los oponentes depende principalmente del estado del sistema en ese momento, y no de cuándo y en qué secuencia desaparecieron las piezas del tablero hasta ese momento.
Conferencia 9
Procesos de MarkovConferencia 9
Procesos de Markov
1
Procesos de Markov
Procesos de MarkovEl proceso aleatorio en el sistema se llama
Markoviano si no tiene ninguna consecuencia. Aquellas.
si consideramos el estado actual del proceso (t 0) - como
presente, conjunto de estados posibles ((s),s t) - como
pasado, conjunto de estados posibles ((u),u t) - como
futuro, entonces para un proceso de Markov con un fijo
presente, el futuro no depende del pasado, sino que está determinado
sólo presente y no depende de cuándo y cómo el sistema
llegó a este estado.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
2
Procesos de Markov
Procesos de MarkovLos procesos aleatorios de Markov llevan el nombre del destacado matemático ruso A.A. Markov, quien comenzó a estudiar la conexión probabilística de variables aleatorias.
y creó una teoría que se puede llamar "dinámica
probabilidades". En el futuro, los fundamentos de esta teoría fueron
la base inicial de la teoría general de los procesos aleatorios, así como de ciencias aplicadas tan importantes como la teoría de los procesos de difusión, la teoría de la fiabilidad, la teoría de colas, etc.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
3
Markov Andrey Andreevich Markov Andrey Andreevich Markov Andrey Andreevich
Procesos de MarkovMarkov Andrei Andreevich
1856-1922
matemático ruso.
Escribió alrededor de 70 artículos sobre
teorías
números,
teorías
aproximaciones de funciones, teorías
probabilidades Se amplió significativamente el alcance de la ley.
gran número y central
teorema del limite es un
fundador de la teoría de los procesos aleatorios.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
4
Procesos de Markov
Procesos de MarkovEn la práctica, los procesos de Markov puros suelen ser
no se vean. Pero hay procesos para los que se puede despreciar la influencia de la "prehistoria", y al estudiar
tales procesos, se pueden aplicar modelos de Markov. EN
En la actualidad, la teoría de los procesos de Markov y sus aplicaciones son ampliamente utilizadas en diversos campos.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
5
Procesos de Markov
Procesos de MarkovBiología: procesos de nacimiento y muerte - poblaciones, mutaciones,
epidemias
Física:
radioactivo
decae,
teoría
contadores
partículas elementales, procesos de difusión.
Química:
teoría
huellas
en
nuclear
emulsiones fotográficas,
modelos probabilísticos de cinética química.
Imágenes.jpg
Astronomía: teoría de la fluctuación
brillo de la vía láctea.
Teoría de las colas: centrales telefónicas,
talleres de reparación, taquillas, mostradores de información,
máquina herramienta y otros sistemas tecnológicos, sistemas de control
sistemas de producción flexibles, procesamiento de información por servidores.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
6
Procesos de Markov
Procesos de MarkovSea en el momento presente t0 el sistema en
cierto estado S0. Conocemos las características
estado del sistema en el presente y todo lo que estaba en t< t0
(historia del proceso). ¿Podemos predecir el futuro?
aquellas. ¿Qué sucede cuando t > t0?
No exactamente, pero algunas características probabilísticas
proceso en el futuro se puede encontrar. Por ejemplo, la probabilidad de que
que despues de un tiempo
el sistema S estará en el estado
S1 o permanecer en el estado S0, etc.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
7
Procesos de Markov. Ejemplo.
Procesos de MarkovProcesos de Markov. Ejemplo.
Sistema S: un grupo de aviones involucrados en combate aéreo. Sea x el numero
planos "rojos", y es el número de planos "azules". En el momento t0, el número de aeronaves supervivientes (no derribadas)
respectivamente – x0, y0.
Nos interesa la probabilidad de que en el tiempo
La superioridad numérica 0 estará del lado de los “reds”. Esta probabilidad depende del estado en el que se encontraba el sistema.
en el momento t0, y no en cuándo y en qué secuencia la aeronave derribada hasta el momento t0 murió.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
8
Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
Proceso de Markov con número finito o contable
estados y momentos de tiempo se llama discreto
Cadena de Markov. Las transiciones de estado a estado solo son posibles en tiempos enteros.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
9
10. Cadenas de Markov discretas. Ejemplo
Procesos de MarkovSuponer
qué
habla
va
acerca de
lanzamientos sucesivos de monedas
juego "tirar"; se lanza la moneda
momentos condicionales de tiempo t =0, 1, ... y en
cada paso el jugador puede ganar ±1 s
lo mismo
probabilidad
1/2,
asi que
Así, en el momento t, su ganancia total es una variable aleatoria ξ(t) con posibles valores j = 0, ±1, ... .
Siempre que ξ(t) = k, en el siguiente paso el pago será
ya es igual a ξ(t+1) = k ± 1, tomando los valores j = k ± 1 con la misma probabilidad 1/2. Podemos decir que aquí, con una probabilidad apropiada, hay una transición del estado ξ(t) = k al estado ξ(t + 1) = k ± 1.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
10
11. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
Generalizando este ejemplo, se puede imaginar un sistema con
número contable de estados posibles, que con el tiempo
el tiempo discreto t = 0, 1, ... pasa aleatoriamente de un estado a otro.
Sea ξ(t) su posición en el tiempo t como resultado de una cadena de transiciones aleatorias
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
11
12. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
Al analizar procesos aleatorios con estados discretos, es conveniente utilizar un esquema geométrico: un gráfico
estados Los vértices del gráfico son los estados del sistema. Contar arcos
– posibles transiciones de estado a estado.
El juego "tirar".
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
12
13. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
Denote todos los estados posibles con números enteros i = 0, ±1, ...
Suponga que con un estado conocido ξ(t) =i, en el siguiente paso, el sistema pasa al estado ξ(t+1) = j con probabilidad condicional
P( (t 1) j (t) i)
independientemente de su comportamiento en el pasado, más precisamente, independientemente de
de la cadena de transiciones al momento t:
P( (t 1) j (t) i; (t 1) it 1;...; (0) i0 )
P( (t 1) j (t) i)
Esta propiedad se llama markoviana.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
13
14. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
Número
pij P( (t 1) j (t) i)
llamado probabilidad
transición del sistema del estado i al estado j en un paso en
punto en el tiempo t1.
Si la probabilidad de transición no depende de t, entonces la cadena
Markov se llama homogéneo.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
14
15. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
Matriz P , cuyos elementos son probabilidades
transición pij , se llama la matriz de transición:
p11 ... p1n
P p 21 ... p 2n
pag
n1 ... pnn
es estocástico, es decir
pij 1 ;
i
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
p ij 0 .
15
16. Cadenas de Markov discretas. Ejemplo
Procesos de MarkovCadenas de Markov discretas. Ejemplo
La matriz de transición para el juego "tirar"
...
k2
k2
0
k 1
1/ 2
k
0
k 1
k
k 1
k2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16
17. Cadenas de Markov discretas. Ejemplo
Procesos de MarkovCadenas de Markov discretas. Ejemplo
El jardinero como resultado de un análisis químico del suelo evalúa
su condición con uno de tres números: bueno (1), regular (2) o malo (3). Como resultado de las observaciones a lo largo de los años, el jardinero notó
que la productividad del suelo en el actual
año depende únicamente de su estado en
año anterior Por lo tanto, las probabilidades
transición del suelo de un estado a
otro puede ser representado por la siguiente
Cadena de Markov con matriz P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
17
18. Cadenas de Markov discretas. Ejemplo
Procesos de MarkovCadenas de Markov discretas. Ejemplo
Sin embargo, como resultado de medidas agrotécnicas, el jardinero puede cambiar las probabilidades de transición en la matriz P1.
Entonces la matriz P1 será reemplazada
a la matriz P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
18
19. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
Considere cómo cambian los estados del proceso con el tiempo. Consideraremos el proceso en sucesivos momentos de tiempo, comenzando desde el momento 0. Establezcamos la distribución de probabilidad inicial p(0) ( p1 (0),..., pm (0)) , donde m es el número de proceso estados, pi (0) es la probabilidad de encontrar
proceso en el estado i en el tiempo inicial. La probabilidad pi (n) se llama probabilidad incondicional del estado
yo en el tiempo n 1.
Las componentes del vector p(n) muestran cuáles de los posibles estados del circuito en el tiempo n son los más
probable.
metro
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
paquete (n) 1
k 1
19
20. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
Conocer la secuencia ( p (n)) para n 1,... permite hacerse una idea del comportamiento del sistema en el tiempo.
En un sistema de 3 estados
p11 p12 p13
p21
pag
31
p22
p32
p23
p33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
En general:
p j (1) pico (0) pico
p j (n 1) pico (n) pico
k
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
k
p(n 1) p(n) p
20
21. Cadenas de Markov discretas. Ejemplo
Procesos de MarkovCadenas de Markov discretas. Ejemplo
Matriz
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
Paso
(p(n))
norte
0
1, 0, 0
norte
1
0.2 , 0.5 , 0.3
norte
2
0.04 , 0.35 , 0.61
norte
3
0.008 , 0.195 , 0.797
norte
4
0.0016 , 0.1015 , 0.8969
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
21
22. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
norte
Matriz de transición en n pasos P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
pag(2) pag(0) pag
2
pag(2)
P(2) P2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
22
23. Cadenas de Markov discretas
Procesos de MarkovCadenas de Markov discretas
¿Cómo se comportan las cadenas de Markov para n?
Para una cadena de Markov homogénea, bajo ciertas condiciones, se cumple la siguiente propiedad: p (n) para n.
Las probabilidades 0 no dependen de la distribución inicial
p(0) , pero están determinadas únicamente por la matriz P . En este caso, se llama distribución estacionaria, y la cadena en sí se llama ergódica. La propiedad de ergodicidad significa que a medida que n aumenta
la probabilidad de los estados prácticamente deja de cambiar, y el sistema entra en un modo estable de operación.
i
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
23
24. Cadenas de Markov discretas. Ejemplo
Procesos de MarkovCadenas de Markov discretas. Ejemplo
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
p() 0 0 1
0 0 1
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
pag()(0,0,1)
24
25. Cadenas de Markov discretas. Ejemplo
Procesos de MarkovCadenas de Markov discretas. Ejemplo
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0,1017 0,5254 0,3729
0.1017 0.5254 0.3729
p()(0.1017,0.5254,0.3729)
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
25
26. Procesos de Markov con tiempo continuo
Procesos de MarkovUn proceso se llama proceso de tiempo continuo si
los momentos de las posibles transiciones de un estado a otro no están fijados de antemano, sino que son inciertos, aleatorios y pueden ocurrir
en algún momento.
Ejemplo. El sistema tecnológico S consta de dos dispositivos,
cada uno de los cuales en un momento aleatorio de tiempo puede salir de
edificio, después de lo cual comienza inmediatamente la reparación del nodo, que también continúa durante un tiempo aleatorio desconocido.
Son posibles los siguientes estados del sistema:
S0: ambos dispositivos funcionan;
S1: el primer dispositivo se está reparando, el segundo funciona correctamente;
S2: el segundo dispositivo se está reparando, el primero funciona correctamente;
S3: ambos dispositivos se están reparando.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
26
27. Procesos de Markov con tiempo continuo
Procesos de MarkovProcesos de Markov con tiempo continuo
Las transiciones del sistema S de un estado a otro ocurren
casi instantáneamente, en momentos aleatorios de falla
cualquier dispositivo o
fin de la reparación.
La probabilidad de simultáneo
fallo de ambos dispositivos
puede ser descuidado.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
27
28. Flujos de eventos
Procesos de MarkovFlujos de eventos
Una secuencia de eventos es una secuencia de eventos homogéneos que se suceden uno tras otro en algún momento aleatorio.
es el número promedio de eventos
La intensidad del flujo de eventos.
por unidad de tiempo.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
28
29. Flujos de eventos
Procesos de MarkovFlujos de eventos
Una corriente de eventos se llama estacionaria si sus características probabilísticas no dependen del tiempo.
En particular, la intensidad
el flujo estacionario es constante. El flujo de eventos inevitablemente tiene concentraciones o rarefacción, pero no son de naturaleza regular, y el número promedio de eventos por unidad de tiempo es constante y no depende del tiempo.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
29
30. Flujos de eventos
Procesos de MarkovFlujos de eventos
Una corriente de eventos se llama corriente sin consecuencias si por
cualquiera de los dos segmentos de tiempo que no se superponen y el número de eventos que caen en uno de ellos no depende de cuántos eventos caen en el otro. En otras palabras, esto significa que los eventos que forman el stream aparecen en determinados momentos.
tiempo independientemente unos de otros y cada uno causado por sus propias causas.
Un flujo de eventos se llama ordinario si la probabilidad de ocurrencia de dos o más eventos en un intervalo elemental t es despreciablemente pequeña en comparación con la probabilidad de ocurrencia de uno.
eventos, es decir los eventos en él aparecen uno por uno, y no en grupos de varios a la vez
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
30
31. Flujos de eventos
Procesos de MarkovFlujos de eventos
Un flujo de eventos se llama el más simple (o Poisson estacionario) si tiene tres propiedades a la vez: 1) es estacionario, 2) es ordinario, 3) no tiene consecuencias.
El flujo más simple tiene la descripción matemática más simple. Toca entre los arroyos el mismo especial
papel, como la ley de distribución normal entre otros
leyes de distribucion Es decir, cuando un número suficientemente grande de independientes, estacionarios y ordinarios
flujos (comparables entre sí en intensidad), se obtiene un flujo cercano al más simple.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
31
32. Flujos de eventos
Procesos de MarkovFlujos de eventos
Para el flujo más simple con intensidad.
intervalo
el tiempo T entre eventos adyacentes tiene una exponencial
distribución con densidad
p(x) e x , x 0 .
Para una variable aleatoria T con una distribución exponencial, la expectativa matemática es el recíproco del parámetro.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
32
33. Procesos de Markov con tiempo continuo
Procesos de MarkovProcesos de Markov con tiempo continuo
Considerando procesos con estados discretos y tiempo continuo, podemos suponer que todas las transiciones del sistema S de estado a estado ocurren bajo la acción de
los flujos de eventos más simples (flujos de llamadas, flujos de fallas, flujos de recuperación, etc.).
Si todos los flujos de eventos que transfieren el sistema S de un estado a otro son los más simples, entonces el proceso que ocurre en
sistema, será markoviano.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
33
34. Procesos de Markov con tiempo continuo
Procesos de MarkovProcesos de Markov con tiempo continuo
Deje que el sistema en el estado se vea afectado por
el más simple flujo de eventos. Tan pronto como aparece el primer evento de este flujo, el sistema “salta” del estado
en un estado.
- la intensidad del flujo de eventos, traduciendo el sistema
Fuera del estado
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
en
.
34
35. Procesos de Markov con tiempo continuo
Procesos de MarkovProcesos de Markov con tiempo continuo
Sea el sistema S bajo consideración
posibles estados
. La probabilidad p ij (t) es la probabilidad de transición del estado i al estado j en el tiempo t.
Probabilidad del i-ésimo estado
es la probabilidad de que
que en el tiempo t el sistema estará en el estado
. Es obvio que para cualquier momento de tiempo la suma
de todas las probabilidades de estado es igual a uno:
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
35
36. Procesos de Markov con tiempo continuo
Procesos de MarkovProcesos de Markov con tiempo continuo
Para encontrar todas las probabilidades de estado
como
funciones del tiempo, se compilan y resuelven las ecuaciones diferenciales de Kolmogorov, un tipo especial de ecuación en el que las funciones desconocidas son las probabilidades de los estados.
Para probabilidades de transición:
p ij (t) p ik (t) kj
k
Para probabilidades incondicionales:
p j (t) p k (t) kj
k
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
36
37. Kolmogorov Andréi Nikoláyevich
Procesos de MarkovKolmogorov Andrei Nikoláyevich
1903-1987
gran ruso
matemático.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
37
38. Procesos de Markov con tiempo continuo
Procesos de MarkovProcesos de Markov con tiempo continuo
- tasa de fracaso;
- la intensidad del caudal de recuperación.
Deje que el sistema esté en el estado
S0. Se transfiere al estado S1 por el flujo
fallo del primer dispositivo. su intensidad es
donde
- Tiempo medio de funcionamiento sin fallos del dispositivo.
Del estado S1 al S0, el sistema es transferido por el flujo de restauraciones
primer dispositivo. su intensidad es
donde
- tiempo medio de reparación de la primera máquina.
De manera similar, se calculan las intensidades de los flujos de eventos que trasladan el sistema a lo largo de todos los arcos de la gráfica.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
38
39. Sistemas de colas
Procesos de MarkovEjemplos de sistemas de colas (QS): centrales telefónicas, talleres de reparación,
billete
cajas registradoras,
referencia
el Buró,
máquina herramienta y otros sistemas tecnológicos,
sistemas
administración
flexible
sistemas de producción,
procesamiento de información por parte de servidores, etc.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
39
40. Sistemas de colas
Procesos de MarkovSistemas de colas
QS consiste en un cierto número de porciones
unidades, que se denominan canales de servicio (estos son
máquinas, robots, líneas de comunicación, cajeros, etc.). Cualquier CMO
está diseñado para dar servicio al flujo de solicitudes (requisitos) que llegan en momentos aleatorios.
El servicio de la solicitud continúa durante un tiempo aleatorio, luego de lo cual el canal se libera y está listo para recibir el siguiente.
aplicaciones
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
40
41. Sistemas de colas
Procesos de MarkovSistemas de colas
El proceso de operación QS es un proceso aleatorio con discretos
Estados y tiempo continuo. El estado del QS cambia bruscamente en los momentos de aparición de algunos eventos
(llegada de una nueva aplicación, fin de servicio, momento,
cuando la aplicación, que está cansada de esperar, sale de la cola).
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
41
42. Sistemas de colas
Procesos de MarkovSistemas de colas
Clasificación de los sistemas de colas
1. QS con fallas;
2. CMO con cola.
En un QS con denegaciones, un reclamo que llega en el momento en que todos los canales están ocupados recibe un rechazo, sale del QS y ya no
atendido
En un QS con cola, un reclamo que llega en el momento en que todos los canales están ocupados no sale, sino que entra en la cola y espera la oportunidad de ser atendido.
Los QS con colas se dividen en diferentes tipos dependiendo de
sobre cómo se organiza la cola, limitada o no limitada. Se pueden aplicar restricciones tanto a la duración como al tiempo de la cola
expectativas, "disciplina de servicio".
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
42
43. Sistemas de colas
Procesos de MarkovSistemas de colas
El tema de la teoría de colas es la construcción
modelos matemáticos que vinculan condiciones dadas
Operación QS (número de canales, su rendimiento, reglas
trabajo, la naturaleza del flujo de aplicaciones) con las características que nos interesan: indicadores de la efectividad del QS. Estos indicadores describen la capacidad del QS para hacer frente al flujo
aplicaciones Pueden ser: el número medio de solicitudes atendidas por el QS por unidad de tiempo; número promedio de canales ocupados; el número promedio de solicitudes en la cola; tiempo medio de espera para el servicio, etc.
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
43
44.
GRACIAS¡¡¡POR ATENCIÓN!!!
44
45. Construye un gráfico de transición
Procesos de MarkovConstruir un gráfico de transición
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
KHNURE, departamento. PM, profesor Kirichenko L.O.
"Teoría de la probabilidad, matemática
estadísticas y procesos aleatorios"
Por debajo proceso aleatorio comprender el cambio en el tiempo de los estados de algún sistema físico de una forma aleatoria previamente desconocida. Donde por sistema físico entendemos cualquier dispositivo técnico, grupo de dispositivos, empresa, industria, sistema biológico, etc.
proceso aleatorio que fluye en el sistema se llama markovski – si para cualquier momento de tiempo, las características probabilísticas del proceso en el futuro (t > ) dependen únicamente de su estado en un momento dado ( presente ) y no dependen de cuándo y cómo llegó el sistema a este estado en el pasado .(Por ejemplo, un contador Geiger que registra el número de partículas cósmicas).
Los procesos de Markov se suelen dividir en 3 tipos:
1. cadena de Markov – un proceso cuyos estados son discretos (es decir, se pueden volver a numerar), y el tiempo en el que se considera también es discreto (es decir, el proceso puede cambiar sus estados solo en ciertos puntos en el tiempo). Tal proceso va (cambia) en pasos (en otras palabras, en ciclos).
2. Proceso discreto de Markov - el conjunto de estados es discreto (puede enumerarse), y el tiempo es continuo (transición de un estado a otro - en cualquier momento).
3. Proceso continuo de Markov – el conjunto de estados y el tiempo son continuos.
En la práctica, los procesos de Markov en su forma pura no se encuentran a menudo. Sin embargo, a menudo uno tiene que lidiar con procesos para los cuales se puede despreciar la influencia de la prehistoria. Además, si todos los parámetros del "pasado", de los que depende el "futuro", se incluyen en el estado del sistema en el "presente", entonces también se puede considerar como markoviano. Sin embargo, esto conduce muchas veces a un aumento significativo del número de variables tenidas en cuenta ya la imposibilidad de obtener una solución al problema.
En la investigación de operaciones, los llamados Procesos estocásticos de Markov con estados discretos y tiempo continuo.
El proceso se llama proceso de estado discreto, si todos sus posibles estados , ,... se pueden enumerar (renumerar) de antemano. La transición del sistema de un estado a otro pasa casi instantáneamente: salta.
El proceso se llama proceso de tiempo continuo, si los momentos de transición de un estado a otro pueden tomar cualquier valor aleatorio en el eje del tiempo.
por ejemplo : dispositivo técnico S consta de dos nodos , cada uno de los cuales en un momento aleatorio de tiempo puede fallar ( rehusar). Después de eso, la reparación del nodo comienza inmediatamente ( recuperación) que continúa durante un tiempo aleatorio.
Son posibles los siguientes estados del sistema:
Ambos nodos están bien;
El primer nodo está siendo reparado, el segundo está funcionando.
- el segundo nodo está siendo reparado, el primero está funcionando
Ambos nodos están siendo reparados.
La transición del sistema de un estado a otro ocurre en momentos aleatorios casi instantáneamente. Es conveniente visualizar los estados del sistema y la relación entre ellos mediante gráfico de estado .
estados
Transiciones
Las transiciones y están ausentes porque las fallas y la recuperación de elementos ocurren de manera independiente y aleatoria, y la probabilidad de falla simultánea (recuperación) de dos elementos es infinitesimal y puede despreciarse.
Si todos los flujos de eventos que traducen el sistema S de estado a estado protozoos, entonces proceso, fluyendo en tal sistema será markovski. Esto se debe al hecho de que el flujo más simple no tiene un efecto secundario, es decir, en él, el "futuro" no depende del "pasado" y, además, tiene la propiedad de la normalidad: la probabilidad de que ocurran dos o más eventos simultáneamente es infinitamente pequeña, es decir, es imposible pasar del estado a estado sin pasar por varios estados intermedios.
Para mayor claridad, en el gráfico de estado, es conveniente anotar la intensidad del flujo de eventos que transfiere el sistema de un estado a otro a lo largo de la flecha dada en cada flecha de transición (- la intensidad del flujo de eventos que transfiere el sistema desde el Estado en. Tal gráfico se llama marcado.
Usando el gráfico etiquetado de los estados del sistema, es posible construir un modelo matemático de este proceso.
Considere las transiciones del sistema de algún estado al anterior o al siguiente. Un fragmento del gráfico de estado en este caso se verá así:
Deje que el sistema en el momento t se encuentra en estado de.
Denotar (t)- probabilidad del i-ésimo estado del sistema es la probabilidad de que el sistema en el momento t se encuentra en estado de. Para cualquier momento de tiempo t = 1 es cierto.
Determinemos la probabilidad de que en el momento del tiempo t+∆t el sistema estará en el estado. Esto puede ser en los siguientes casos:
1) y no lo abandonó durante el tiempo ∆ t. Esto significa que durante el tiempo ∆t no surgió un evento que pone al sistema en un estado (flujo con intensidad) o un evento que lo pone en un estado (flujo con intensidad). Determinemos la probabilidad de esto para un ∆t pequeño.
Bajo la ley exponencial de la distribución del tiempo entre dos necesidades vecinas, correspondientes al flujo de eventos más simple, la probabilidad de que, en el intervalo de tiempo ∆t, no surjan necesidades en el flujo con intensidad λ1 será igual a
Desarrollando la función f(t) en una serie de Taylor (t>0) obtenemos (para t=∆t)
f(∆t)=f(0)+ (0)* ∆t + *∆ + *∆ +…=
= +(-l) *∆t+ (∆ + *(∆ +…” 1-l*∆t para ∆t®0
De manera similar, para un flujo con intensidad λ 2 obtenemos 
.
La probabilidad de que en el intervalo de tiempo ∆t (para ∆t®0) ningún requisito será igual a
(∆t)/ = (∆t/ * (∆t/ = (1- *∆t)(1- *∆t) =
1 - - *∆t + 
1 - (
+
)*∆t + b.m.
Así, la probabilidad de que el sistema no haya salido del estado durante el tiempo ∆t, para pequeños ∆t será igual a
PAG( / )=1 – ( + )* ∆t
2) El sistema estaba en un estado S i -1 y para el tiempo pasó al estado S i . Es decir, al menos un evento ha ocurrido en el flujo con intensidad. La probabilidad de esto es igual al flujo más simple con intensidad λ será
Para nuestro caso, la probabilidad de tal transición será igual a
3)El sistema estaba en un estado y durante el tiempo ∆t pasó al estado . La probabilidad de esto será
Entonces la probabilidad de que el sistema en el tiempo (t+∆t) esté en el estado S i es igual a
Restamos P i (t) de ambas partes, dividimos por ∆t y, pasando al límite, con ∆t→0, obtenemos
Sustituyendo los valores correspondientes de las intensidades de las transiciones de estado a estado, obtenemos un sistema de ecuaciones diferenciales que describe el cambio en las probabilidades de los estados del sistema como funciones del tiempo.
Estas ecuaciones se llaman ecuaciones. Kolmogorov-Chapman para un proceso de Markov discreto.
Habiendo establecido las condiciones iniciales (por ejemplo, P 0 (t=0)=1,P i (t=0)=0 i≠0) y resolviéndolas, obtenemos expresiones para las probabilidades del estado del sistema en función del tiempo . Las soluciones analíticas son bastante fáciles de obtener si el número de ecuaciones ≤ 2,3. Si hay más, entonces las ecuaciones generalmente se resuelven numéricamente en una computadora (por ejemplo, por el método de Runge-Kutta).
En la teoría de los procesos aleatorios probado , qué si el numero n estados del sistema ciertamente y de cada uno de ellos es posible (en un número finito de pasos) pasar a cualquier otro, entonces hay un límite , al que tienden las probabilidades cuando t→ . Tales probabilidades se llaman probabilidades finales estados, y el estado estacionario - modo estacionario funcionamiento del sistema.
Dado que en modo estacionario todo 
, por lo tanto, todos =0. Igualando las partes izquierdas del sistema de ecuaciones con 0 y completándolas con la ecuación =1, obtenemos un sistema de ecuaciones algebraicas lineales, resolviendo las cuales encontramos los valores de las probabilidades finales.
Ejemplo. Dejemos que en nuestro sistema las tasas de falla y restauración de los elementos son las siguientes
fallas 1el: 
2el: 
Reparar 1el: 
2el: 
PAGS 0 + PAGS 1 + PAGS 2 + PAGS 3 \u003d 1
0=-(1+2)P 0 +2P 1 +3 P 2
0=-(2+2)P 1 +1P 0 +3P 3
0=-(1+3)P 2 +2P 0 +2P 3
0=-(2+3)P 3 +2P 1 +1P 2
Resolviendo este sistema, obtenemos
P0 = 6/15 = 0,4; P1 = 3/15 = 0,2; P2=4/15=0,27; P3=2/15≈0,13.
Aquellas. en un estado estacionario, el sistema en promedio
40% está en estado S 0 (ambos nodos están en buen estado),
20% - en estado S 1 (el 1er elemento está en reparación, el 2º está en buen estado),
27% - en estado S 2 (2º eléctrico en reparación, 1 en buen estado),
13% - en estado S 3 - ambos elementos están en reparación.
Conocer las probabilidades finales permite Evalúe el rendimiento promedio del sistema y la carga del servicio de reparación.
Deje que el sistema en el estado S 0 genere un ingreso de 8 unidades. por unidad de tiempo; en el estado S 1 - ingresos 3 sr.u.; en el estado S 2 - ingreso 5; en el estado S 3 - ingreso \u003d 0
Precio reparar por unidad de tiempo para el-ta 1- 1 (S 1, S 3) unidades arbitrarias, el-ta 2- (S 2, S 3) 2 unidades arbitrarias Luego en modo estacionario:
Renta del sistema por unidad de tiempo será:
W máx =8P 0 +3P 1 +5P 2 +0P 3 =8 0,4+3 0,2+5 0,27+0 0,13=5,15 u.m.
Coste de la reparación en unidades tiempo:
W rem =0P 0 +1P 1 +2P 2 +(1+2)P 3 =0 0,4+1 0,2+2 0,27+3 0,13=1,39 u.m.
Ganancia por unidad de tiempo
W \u003d W doh -W rem \u003d 5.15-1.39 \u003d 3,76 unidades
Habiendo gastado ciertos gastos, es posible cambiar la intensidad λ y μ y, en consecuencia, la eficiencia del sistema. La viabilidad de tales gastos se puede evaluar volviendo a calcular P i . e indicadores de rendimiento del sistema.
Cargando...