Теория случайных процессов (стр. 3 )

(2.6)

Рассмотрим теперь подробнее структуру многошагового перехода. Переходя из j–го состояния на м шаге в е состояние на n–м шаге, система обязательно побывает в одном из состояний на m-м шаге (рис.-2.1)

Рис. 2.1. Схема изменений состояния системы с о по n–й шаг

Совокупность переходов, указанных на рисунке пунктиром, представляют собой множество несовместных событий. Поэтому вероятности реализаций таких переходов складываются. Вместе с тем, каждый отдельно взятый переход представим в виде последовательности двух переходов и . В силу марковости процесса, реализация перехода из какого-либо состояния на m-м шаге в е состояние на n–м шаге не зависит от того, как система попала в состояние. Поэтому вероятность такой реализации равна произведению вероятностей соответствующих переходов – . Полная же вероятность перехода в этом случае равна

(2.7)

Определение 3. Соотношение (2.7) для дискретных цепей Маркова с конечным числом состояний принято называть уравнением Маркова.

Отметим, что уравнение Маркова – это частный случай уравнения Колмогорова-Чепмена для случая бесконечного числа промежуточных состояний.

Введем квадратную матрицу и матрицу-строку , тогда (2.6) и (2.7) можно записать в матричном виде

, (2.6а)

. (2.7а)

Определение 4. Квадратная матрица с неотрицательными элементами, удовлетворяющая условию , называется стохастической.

Записанное матричное уравнение (2.6а) можно транспонировать

.

Используя уравнение Маркова в виде (2.7а), матрицу можно представить в виде произведения

(2.8)

Полагая в (2.8) , находим

. (2.9)

Из (2.9) следует, что полное вероятностное описание цепи Маркова достигается заданием - вероятности начального состояния и последовательности матриц вероятностей одношаговых переходов – .

Определение 5. Марковская цепь, для которой матрица вероятностей одношаговых переходов не зависит от номера шага, называется однородной.

Если матрица удовлетворяет условию однородности, то

(2.10)

Матрицу будем обозначать через . Тогда соотношение (2.7а) можно переписать в виде

. (2.11)

Для одношагового перехода положим

.

Нетрудно видеть, что

Для однородной цепи Маркова матрица вероятностей перехода за n шагов равна n-й степени матрицы одношагового перехода. Отсюда

. (2.12)

Определение 6. Однородная цепь Маркова, для которой вероятности не зависят от n, называется стационарной. В противном случае цепь называется нестационарной.

Для стационарной цепи имеют место соотношения

, (2.13)

, (2.14)

. (2.15)

Одна из важнейших задач теории марковских цепей состоит в исследовании вопроса, существует ли для данной марковской цепи некая стационарная цепь, к которой сходится исходная цепь. Другими словами, существует ли предел ? Если такой предел существует, то марковская цепь сходится к стационарной.

Теорема 1. Если для цепи Маркова с конечным числом состояний выполняется условие , то существуют предельные (финальные) вероятности , причем не зависит от начального распределения .

Очевидно, что находится из системы К уравнений

и условия нормировки

.

Замечание 1. Однородную цепь Маркова удобно представлять в виде ориентированного графа, вершины которого – возможные состояния цепи, а дуги выписаны переходными вероятностями.

Контрольные вопросы для самопроверки

1.  Какие случайные процессы называются цепями Маркова?

2.  В чем суть основной задачи для марковских цепей?

3.  Почему одно из соотношений (2.5) можно назвать «условием нормировки»?

4.  Где в уравнении Маркова «зашито» условие марковости?

5.  Какие матрицы называются стохастическими?

6.  Каково требование однородности для цепи Маркова?

7.  Является ли стационарная марковская цепь однородной?

8.  Что такое предельные вероятности?

9.  Каким условиям должна удовлетворять марковская цепь для того, чтобы для нее существовали финальные вероятности?

§6. Дискретные марковские процессы

6.1. Уравнение Колмогорова для дискретных марковских процессов

Рассмотрим случайный процесс , который принимает только конечное число значений . В отличие от марковской цепи, переходы между состояниями в этом процессе могут происходить не только в выбранный дискретный момент, но и в произвольный момент времени.

Введем вероятность перехода

. (2.16)

Заметим, что

, (2.17)

. (2.18)

При этом справедливо уравнение Маркова

, (2.19)

которое называют также уравнением Колмогорова – Чепмана.

Основная задача в теории марковских процессов состоит в вычислении:

1.  Вероятности перехода при .

2.  Вероятностей различных состояний для

по известным начальным состояниям системы и локальным характеристикам вероятностей перехода.

Определение 7. Пусть S – некая система с дискретным пространством состояний. Под плотностью вероятностей (или интенсивностью) перехода из состояния в состояние при в момент времени t понимают величину , равную

. (2.20)

Таким образом, для малых можно записать

.

Для дискретных марковских процессов для малых вероятности переходов могут быть записаны в виде

, (2.21а)

. (2.21б)

Отсюда следует, что при система, первоначально находившаяся в состоянии i, почти наверное останется в этом состоянии, а вероятность перехода в другое состояние будет пропорциональна .

Из условия нормировки можно записать:

(2.22)

Отсюда следует, что

. (2.23)

Подставив (2.21а), (2.21б) в (2.19), находим

.

Отсюда

.

Деля последнее уравнение на и переходя к пределу при , получим систему прямых уравнений Колмогорова

. (2.24)

Система уравнений (2.24) при начальных условиях - (2.18) дает зависимость вероятности перехода из i в j как функцию времени.

Можно показать, что если число состояний системы конечно (в нашем случае К), то для любых непрерывных функций , удовлетворяющих условию (2.23), система уравнений (2.24) с начальными условиями (2.18) имеет единственное неотрицательное решение, которое определяет дискретный марковский процесс.

В уравнении (2.24) фигурирует частная производная, т. к. - это функция двух переменных. Можно менять начальный момент времени , а можно конечный t. Меняя , получим по аналогии с (2.24) систему обратных уравнений Колмогорова

. (2.25)

Системы уравнения (2.24), (2.25) записываются соответственно в матричном виде

(2.26)

, (2.27)

где

.

Умножая обе части (2.24) на , а затем суммируя по i и, учитывая

,

получим

, (2.28)

Так как. (2.23)

,

то (2.28) можно переписать в следующем виде

. (2.29)

В записанном виде уравнению Колмогорова можно придать некий физический смысл. Для этого введем понятие «потока вероятности»

– поток вероятности из i-го состояния в j-е.

Тогда скорость изменения вероятности обнаружения системы в j-м состоянии равна сумме потоков вероятностей, переводящих систему в это состояние, минус сумма потоков вероятностей, выводящих систему из этого состояния.

Определение 8. Скалярный марковский процесс с дискретным пространством состояний называется однородным, если зависит только от разности времен, от величины .

Предложение 1. Для однородного марковского процесса с дискретным пространством состояний интенсивности переходов не зависят от времени:

.

Действительно,

.

Так как для однородного марковского процесса зависит только от , то имеют место соотношения

, (2.30)

. (2.31)

Теорема 2. Для однородного марковского процесса с дискретным пространством состояний имеем

. (2.32)

Кроме того,

, (2.33)

т. е., если процесс однородный, то и коммутируют. При этом решение (2.33) имеет вид

, (2.34)

где – единичная матрица, .

Доказательство. (2.32) есть матричная запись (2.30) и (2.3следует из (2.32) ,(2.26), (2.27). Ясно теперь, что (2.34) есть решение (2.33) с начальным условием .

Определение 9. Множество состояний системы называется эргодическим, если из любого состояния можно перейти в состояние .

Можно показать, что для эргодического процесса, по истечении достаточно большого промежутка времени , вероятность того, что система будет находиться в состоянии , не зависит от того, в каком состоянии система находилась в начальный момент времени.

6.2. Типовые дискретные марковские процессы

Пуассоновский процесс

В п.4.3 главы 1 мы рассматривали пуассоновский процесс как частный случай процесса с независимыми приращениями, который обладает следующими свойствами

1) ;

2) случайные величины являются независимыми;

3) .

Покажем, что этот процесс можно рассматривать и как дискретный марковский процесс.

Пусть нас интересует число появления некоторого случайного события на полуинтервале . Понятно, что такое число может быть только целым, и его значение не может принимать отрицательные значения, т. е. при j<i.

Нетрудно убедиться в том, что вероятность появления одного события на интервале () есть . Кроме того, вероятность сохранения состояния (т. е. отсутствие события на выделенном интервале) есть . Отсюда вероятность появления двух или нескольких событий на этом интервале есть . Другими словами,

,

.

Зададим начальные условия

(2.35)

Вычислим вероятность i-го состояния в момент времени t. С этой целью построим граф состояний

Рис. 2.2. Размеченный граф состояний пуассоновского случайного процесса

и запишем уравнения Колмогорова для описания эволюции вероятностей обнаружения системы в различных доступных состояниях

(2.36)

Решая их последовательно с использованием начальных условий (2.35), находим

- при ,

- при .

Отсюда

. (2.37)

Аналогичное получаем при

.

Докажем по индукции, что

. (2.38)

Напомним суть метода математической индукции.

Если для счетной последовательности утверждений показана справедливость первого - и доказано, что из предположения о справедливости следует справедливость , то все утверждения нашей последовательности верны.

Наше утверждение заключается в том, что число описанных выше событий на временном полуинтервале распределено по закону Пуассона, т. е. для любого вероятность появления ровно событий равна . Для случаев и мы убедились в справедливости утверждения. Докажем теперь, что из справедливости следует .

Воспользуемся соответствующим уравнением Колмогорова из системы (2.36)

.

Его можно переписать в другом, эквивалентном виде

. (2.39)

Подставляя в (2.39) выражение для , которое, в соответствии с алгоритмом метода считается истинным, получаем

.

Полученный результат соответствует (2.38), следовательно, согласно методу математической индукции соотношение (2.38) – справедливо.

Определение 10. Марковский процесс называется циклическим, если его размеченный граф имеет вид

 

Рис. 2.3. Размеченный граф состояний циклического процесса

Если при этом процесс однороден, то он называется однородным циклическим процессом.

Процессы рождения и гибели

Рассмотрим дискретный процесс, в котором присутствуют как положительные, так и отрицательные скачки (рис.2.4).

Процесс рождения и гибели подчиняется следующим условиям:

1.  Если система в момент времени t находилась в состоянии j, то вероятность перехода из j в (j+1) в малом интервале времени равна .

2.  Если система в момент времени t находилась в состоянии j, то вероятность перехода из j в (j-1) в малом интервале времени равна .

3.  Вероятность перехода в состояние, отличное от двух соседних, на малом интервале равна .

4.  Вероятность сохранения прежнего j-го состояния за малый интервал времени пропорциональна .

5.  Существуют состояния с j=0, т. е. , которое является чисто поглощающим

 

Рис. 2.4. Размеченный граф состояний процессов рождения и гибели

Уравнения Колмогорова тогда имеют следующий вид

(2.40)

Рассмотрим задачу, когда нет левого состояния -

Рис. 2.5. Размеченный граф состояний процессов рождения и гибели

без поглощающего состояния

Тогда

(2.41)

Рассмотрим стационарный случай, т. е. когда вероятность обнаружить систему в j-м состоянии не меняется во времени

С учетом этого из системы уравнений (2.41) находим

Отсюда нетрудно видеть, что в стационарном случае вероятности обнаружения системы в любых двух соседних допустимых состояниях связаны простыми соотношениями

(2.42)

Физическая интерпретация полученных результатов: если величины и рассматривать как потоки плотности вероятности, то в стационарном случае в каждом сечении ( рис.2.6) суммарный поток (с учетом направлений его составляющих) оказывается равным нулю.

Рис. 2.6. К физической интерпретации характеристик потоков плотности вероятности в стационарном случае

Перемножив предыдущие равенства (2.42), получим

.

Суммируя по k и учитывая, что , находим

.

Отсюда нетрудно найти и, соответственно, все .

Контрольные вопросы для самопроверки

1.  Что в теории марковских процессов называют плотностью вероятности перехода?

2.  Почему систему (2.24) называют системой прямых уравнений?

3.  Какой марковский процесс называется однородным?

4.  В каком случае матрицы и коммутируют?

5.  Нарисуйте размеченный граф пуассоновского процесса.

6.  Какой процесс называется однородным циклическим процессом?

7.  Перечислите свойства, которым подчиняются процессы рождения и гибели.

8.  Какому соотношению удовлетворяют потоки плотности вероятности в стационарном случае?

Глава 3. Элементы стохастического анализа

Стохастический анализ – это раздел математики, в котором случайные функции изучаются методами математического анализа с использованием другой метрики.

§7. Сходимость случайных процессов

7.1. Сходимость случайных величин. Виды сходимости

Пусть – множество всевозможных случайных величин, заданных на вероятностном пространстве со значениями из некоторого измеримого пространства . Нас интересует вопрос сходимости последовательности случайных величин : к случайной величине . В зависимости от того, как определить близость случайных величин, рассматривают различные типы сходимости. В основу классификации типов сходимости удобно положить критерий разбиения на классы эквивалентности. Напомним, что эквивалентные с точки зрения какого-либо критерия случайные величины в теории вероятностей не различаются.

Наиболее употребляемыми являются 2 способа разбиения на классы эквивалентности.

Определение 1. Говорят, что две случайные величины относятся к одному классу эквивалентности, если либо

А) , либо

В) .

В дальнейшем стохастическую эквивалентность мы будем понимать в смысле А (это более сильное условие, чем В).

Определение 2. Случайные величины и , заданные на одном вероятностном пространстве ,называются стохастически эквивалентными, если

.

С условием А) связаны такие сходимости, как сходимость почти наверное, сходимость по вероятности, сходимость в среднеквадратическом (с. к. сходимость), а с условием В) – слабая сходимость, сходимость по вариации, равномерная сходимость.

Определение 3 (сходимость «почти наверное»). Говорят, что последовательность случайных величин сходится почти наверное к случайной величине при , если

при .

Определение 4 (сходимость по вероятности). Говорят, что последовательность случайных величин сходится по вероятности к случайной величине при , если

при .

Замечание 1. Нетрудно проверить, что если последовательность случайных величин сходится почти наверное к , то она сходится и по вероятности к , т. е. сходимость «почти наверное» влечет за собой сходимость по вероятности.