4. Марковские системы обслуживания (стр. 2 )

Определение 4. Цепь Маркова называется неприводимой, если для любых двух ее состояний существует такое конечное число , что .

Неприводимость ЦМ означает практическую возможность перехода в течение конечного времени из произвольного состояния в произвольное состояние (вероятность такого перехода отлична от нуля).

Ниже рассматриваются различные частные случаи ЦМ.

1. Цепь Маркова с дискретным временем и конечным множеством состояний . Для ЦМ с дискретным временем и конечным множеством состояний имеют место следующие утверждения.

Теорема 1. (Эргодическая теорема Маркова – Бернштейна.) Если существуют такое состояние и такое натуральное число , что для произвольного состояния выполнено неравенство , то цепь Маркова является эргодичной, существует единственное стационарное распределение этой цепи, совпадающее с ее эргодическим распределением. Наоборот, если цепь Маркова эргодична, то существует такое состояние , что для произвольного состояния при достаточно больших выполняется неравенство .

Теорема 2. Если существует целое число , такое что , то цепь Маркова является строго эргодичной. Наоборот, если цепь Маркова строго эргодична, то существует такое целое число , что .

2. Цепь Маркова с дискретным временем и конечным или счетным множеством состояний .

Определение 5. Неприводимая цепь Маркова с дискретным временем называется непериодической, если для некоторого из ее состояний (а вследствие неприводимости и для всех ее состояний) имеет место следующее свойство: наибольший общий делитель всех n, таких что , равен 1.

Теорема 3. (Эргодическая теорема Феллера.) Неприводимая непериодическая цепь Маркова с дискретным временем относится к одному из следующих двух классов:

a)  или все состояния цепи невозвратные (нулевые), т. е. для произвольной пары состояний имеем при , и в таком случае не существует стационарного распределения цепи;

б) или все состояния цепи положительные (эргодические), т. е. при имеем . В таком случае является стационарным распределением цепи и не существует других ее стационарных распределений.

В частности, для произвольного начального распределения цепи существует предел , равный нулю в случае a и равный в случае б.

Можно показать, что из теоремы 3 следует теорема 4.

Теорема 4. (Эргодическая теорема Фостера.) Необходимым и достаточным условием наличия у непериодической цепи Маркова стационарного распределения , такого, что для произвольного состояния (т. е. условием строгой эргодичности цепи), является существование ограниченного ненулевого решения системы уравнений

(т. е. такого решения, что ). В этом случае существует единственное стационарное распределение цепи, с точностью до нормирующего множителя совпадающее с решением , которое совпадает также с ее эргодическим распределением.

Последнее предложение теоремы 4 означает, что стационарным распределением цепи является такое ограниченное ненулевое решение указанной системы уравнений, для которого выполняется условие нормировки .

3. Цепь Маркова с непрерывным временем. ЦМ с непрерывным временем называется стохастически непрерывной, если для произвольных состояний имеем , где – символ Кронекера, определяемый следующим образом:

Можно доказать, что для стохастически непрерывной ЦМ существуют пределы

(4.2)

где .

Число называется интенсивностью выхода из состояния i, а – интенсивностью перехода из состояния i в состояние j. Если , состояние i называется мгновенным, в противном случае ( , т. е. является конечным числом) состояние i называется немгновенным (или задерживающим). Немгновенное состояние называется поглощающим, если .

Можно доказать, что всегда выполняется неравенство .

Немгновенное состояние i называется консервативным, если выполняется равенство . Если для состояния i справедливо строгое неравенство , состояние i называется неконсервативным.

Если все состояния цепи консервативны, то ЦМ называется консервативной.

Если все состояния ЦМ немгновенны, то из соотношения (4.2) следует

; (4.3)

. (4.4)

Если множество состояний конечно, легко доказать, что все состояния цепи немгновенны и консервативны, следовательно, в этом случае ЦМ является консервативной.

Пусть – конечное множество, – малое положительное число. Из формулы полной вероятности следует, что

.

Используя соотношения (4.3) и (4.4), находим

, (4.5)

откуда следует, что

. (4.6)

Из соотношения (4.5) следует, что функция непрерывна по t. Из существования предела при правой части равенства (4.6) следует существование аналогичного предела левой части, т. е. существует производная . Поэтому из равенства (4.6) получаем следующую систему дифференциальных уравнений:

(4.7)

с начальными условиями . Система (4.7) называется системой прямых уравнений Колмогорова.

Снова воспользуемся формулой полной вероятности.

,

откуда аналогичным образом получаем систему уравнений Колмогорова для безусловных вероятностей:

(4.8)

с начальными условиями , где – начальное распределение анализируемой цепи. Заметим, что соотношение (4.8) следует также из формулы (4.7), если обе ее части умножить на и просуммировать по всем .

Приведенные рассуждения справедливы для случая конечного множества , однако они будут не всегда справедливы в том случае, если множество счетно, поскольку в этом случае бесконечная сумма величин не всегда равна . Поэтому в случае счетного множества состояний уравнения Колмогорова имеют место при выполнении некоторых дополнительных условий. Оказывается, что в случае когда множество счетно для справедливости прямых уравнений (4.7) и уравнений для безусловных вероятностей (4.8) достаточно, чтобы ЦМ была стохастически непрерывной консервативной и, кроме того, чтобы сумма была конечна для каждого состояния и каждого .