Теория вероятностей и ее применения (стр. 1 )

ТЕОРИЯ ВЕРОЯТНОСТЕЙ И ЕЕ ПРИМЕНЕНИЯ

Том XXXI 1986 Выпуск 4

ОБ ОДНОМ ПОДХОДЕ К УПРАВЛЯЕМЫМ ДИФФУЗИОННЫМ ПРОЦЕССАМ

КРЫЛОВ Н. В.

В настоящее время имеется несколько подходов к изучению многомер­ных полностью наблюдаемых управляемых процессов диффузионного типа. Рассмотрим конкурентный процесс, в котором участвуют n игроков (агентов). Такой процесс описывается стохастическими дифференциальными уравнениями Ито вида

, , , (0.1)

где wt – многомерный винеровский процесс, – управляющий параметр (процесс) i-го игрока (агента) со значениями в некотором соответствующем множестве (измеримый соответствующим образом), с помощью которого и осуществляется управление. – это множество стратегий игрока i, , где . Пусть для i-го игрока задан функционал качества следующим образом

, где . (0.2)

Условно эти подходы можно разделить на две группы: в одной группе используется понятие сильного решения (0.1) и вероятностное пространст­во фиксировано, в другой группе под решением уравнения (0.1) понимает­ся слабое решение, которое может быть определено на каком-нибудь вероятностном пространстве с подходящим винеровским процессом wt. Первая группа подходов, на взгляд автора, больше отвечает практическим приложениям, когда надо управлять данным процессом с данным шумом, а не некоторым другим «похожим» процессом с некоторым «похожим» шумом. Идеология, связанная с сильными решениями, развивалась в основном в ранних работах Флеминга (см. [1], [2]) и в работах автора (см. [3—6], в них вообще не рассматривались слабые управления). При рассмотрении сильных решений на коэффициенты уравнения (0.1), как минимум, накладывается условие Липшица по х и почти никогда не удает­ся доказать существование оптимальных марковских стратегий (см., впро­чем, [1]), хотя ε-оптимальные (неоднородные) марковские можно построить в широком классе случаев (см. [3]), а ε-оптимальные присоединенные мар­ковские существуют почти всегда [4]. К этой группе подходов примыкают работы [7], [8], в которых привлечение слабых решений во многих слу­чаях несущественно.

Работы, в которых рассмотрение слабых решений является действи­тельно существенным, как правило, имеют дело с доказательством сущест­вования оптимальной стратегии (см. [9—16]). Здесь, как правило, исполь­зуются соображения, основанные на том, что полунепрерывная сверху относительно «стратегии» функция (0.2) на компакте, образованном всеми стратегиями, достигает максимума. Для того чтобы множество стратегий образовывало компакт (в какой-нибудь топологии), накладывают или усло­вие Роксина:

выпукло и замкнуто при всех х ([10], [12]), где , или же рассматривают ослабленные уп­равления ([9], [14], [15]), которые позволяют взвешивать стратегии в каждый момент времени и которые, как нам кажется, в смысле отвечаю­щих им процессов xt дают то же самое, что и использование любых наборов из замкнутой выпуклой оболочки А(х).

Общая теорема существования оптимальной стратегии, для которой процесс xt является однородным строго марковским, дается комбинацией теорем 1, 2 [16]. В этих теоремах, кстати, не требуется ни выполнения ус­ловия Роксина, ни полунепрерывности множества распределений процес­сов xt по начальной точке х, которая и не сохраняется при проведении пред­ложенного там метода последовательного сужения множества рассматри­ваемых стратегий (сохранение этого свойства утверждается в [15]). Кроме того, там не требуется, чтобы множество оптимальных стратегий было инвариантно относительно склеек и сдвигов, хотя эти свойства для множе­ства всех стратегий, как сказано в [16], облегчают проверку условий тео­ремы 1 [16]. Наконец, отметим, что в [16] рассматриваются, вообще говоря, разрывные процессы, фазовым пространством которых является произвольный полукомпакт. Результаты из [16] поэтому совершенно формально переносятся на неоднородные процессы с фиксированным временем управ­ления и финальной платой или со случайным обрывом, что позволяет, на­пример, рассматривать дисконтирование
общего вида вместо e-t в (0.2). Эти пояснения здесь приведены потому, что в ряде работ вместо резуль­татов [16] используется идея их доказательства, изложенная в [17] только применительно к построению квазидиффузионных процессов. Идеи работы [16] использовались в [15] для доказательства существования оптимальной стратегии, которой соответствует строго марковский процесс xt. Аналогич­ный результат получен в [13] с помощью методов работы [11].

Если существование оптимальной стратегии при использовании слабых решений получается, как сказано выше, из совсем простых соображений, никак не связанных со спецификой задач, то марковость некоторого опти­мального процесса в упомянутых работах доказывается уже с существен­ным использованием идей и методов динамического программирования и, в частности, принципа Беллмана.

Цель настоящей статьи заключается в том, чтобы в рамках управляе­мых в слабом смысле процессов предложить еще один метод доказательства существования оптимального марковского процесса. Этот метод совершен­но не использует идей динамического программирования. При его осуществ­лении центральным объектом изучения оказывается мера Грина процесса xt, а не его распределение в пространстве функций, как это бывало ранее при рассмотрении слабых решений. Мы рассматриваем, грубо говоря, за­дачу, описанную в начале, при выполнении условия Роксина и условия равномерной невырожденности σσ*. Можно было бы потратить некоторые усилия, чтобы показать, как наша теорема 1.1 о существовании однород­ного строго марковского сильно феллеровского оптимального процесса (в безусловной задаче), по существу, вытекает из результатов [15], [16] (хотя в [15] рассматривался неоднородный случай, а получить сильную феллеровость с помощью метода из [16], по-видимому, непросто). Она, однако, очень быстро в § 1 выводится из теорем 1.2, 1.3. Теорема 1.2, является довольно неожиданной и лежит в основе нашего метода. Эта тео­рема говорит, что для всякой стратегии можно более или менее явным образом (см. лемму 2.1 и теорему 2.1) указать марковскую с тем же зна­чением функционала (0.2) и, вообще, любого функционала подобного вида, т. е. фактически меры Грина соответствующих процессов xt совпадают. Ввиду последнего мы с самого начала рассматриваем оптимизационную задачу при ограничениях интегрального вида. Надо сказать, что построе­ние, совершенно аналогичное проведенному в доказательстве теоремы 1.2, можно сделать и для управляемых цепей Маркова, причем даже и для них при этом получаются новые результаты.

Взяв за основу меры Грина и формулу типа формулы (2.1) для харак­теризации доходов от стратегий, в теореме 1.3 мы получаем возможность аналитического описания множества всех доходов от всех стратегий. Ос­новные результаты работы сформулированы в § 1, их доказательства полу­чаются в § 2 с помощью теоремы 2.1, которая доказывается в § 4. Неко­торая отсрочка доказательства теоремы 2.1 вызвана тем, что мера Грина ν некоторого процесса в обобщенном смысле удовлетворяет уравнению вида L*v = –δ, где L – эллиптический оператор, δ – мера, сосредоточенная в нуле. Естественно было бы изучить вообще свойства решений уравнений L*v = –μ (или неравенств L*v ≥ (≤) –μ), где μ – данная мера. Дело в том, что таким уравнениям с μ = 0 удовлетворяют инвариантные меры диффузионного процесса, отвечающего L, а с μ = δ его решениями являют­ся меры Грина. В § 3 и в начале § 4 представлены результаты этого изуче­ния, из которых, в частности, вытекает, что инвариантные меры и меры Грина эквивалентны мере Лебега (теорема 4.1) и их плотности допускают оценки в норме Ld/(d-1) (Ed) (следствие 3.2). В связи с показателем сумми­руемости d/(d – 1) отметим, что мы рассматриваем только случай d ≥ 2. Разумеется, одномерный случай гораздо проще, его даже и не стоило бы изучать методами настоящей статьи, так как, например, известна разре­шимость соответствующего уравнения Беллмана. В то же время наши результаты справедливы и при d = 1, только d/(d — 1) в них надо заменить любым числом p ϵ (1, ∞).

§ 1. Основные обозначения и результаты

Пусть Ed – евклидово пространство размерности d ≥ 2 с фиксирован­ным ортонормированным базисом, d1 – натуральное число и пусть для всякого x ϵ Ed определено множество А(х), элементами которого являют­ся наборы (a, b, c, f), причем a = (akl) – симметричная матрица размера d x d, b = (bk) ϵ Ed, c ϵ E1, f ϵ. Предполагается, что для всякого х множество А(х), рассматриваемое как подмножество при , является замкнутым и выпуклым. Кроме того, будем счи­тать, что множество ограниченно и существует постоян­ная ε > 0 такая, что

, , (1.1)

при всех , . Наконец, предположим, что множества А(х) измеримы по Борелю по х, т. е. что для всяких функция

является борелевской по х. Заметим, кстати, что в силу ограниченности функция F очевидным образом удовлетворяет условию Липшица по . Поэтому она измерима по совокупности всех своих аргументов.

Пусть на некотором вероятностном пространстве при t ≥ 0 определен винеровский d-мерный процесс и измеримый Ft-согла­сованный конкурентный процесс со значениями в А. Пусть имеется n игроков (агентов). Набор назовем стратегией i-го игрока (агента), если для процесса

при почти всех (t, ω) выполнено включение

.

При этом , где .

Для удобства объекты, связанные с i-ым игроком, будем снабжать соответствующим ин­дексом: , , – символ интеграла по мере . Введем также обозначения

, ,

множество всех стратегий игрока i обозначим через Ui , . Также здесь мы обозначили .

Отметим, что – функции с векторными значениями: . Мы хотим изучить множество {: α ϵ U} и, в частности, рас­смотреть задачу о нахождении верхней грани по множеству всех стра­тегий α, для каждой из которых

, (1.2)

где V — фиксированное замкнутое подмножество . Любую стратегию α, удовлетворяющую (1.2), назовем допустимой. Пусть B – множество всех допустимых стратегий. Надо сказать, что задача на безусловный супремум по α ϵ U вкладывается в эту схему, так как можно взять .

Из общих соображений теории оптимального управления вытекает естественность предположения о том, что при решении нашей условной задачи о максимизации по α ϵ B достаточно рассматривать только марковские однородные стратегии. В связи с этим дадим следующее опре­деление.

Определение 1.1. Для стратегии α ϵ U будем писать UM, если существуют борелевская функция со значе­ниями в А и бесконечно дифференцируемые функции со значениями в А, k = 1, 2, ... , такие, что

а) при всех (t, ω)

,

при почти всех x;

б) почти всюду при ;

в) при любом распределения в решений стохастических уравнений

(1.3)

слабо сходятся при к распределению процесса в .

Отметим, что при выполнении только условия а) этого определения процесс удовлетворяет уравнению

. (1.4)

Если для решения уравнения (1.4) известна слабая единственность, то условие в) определения автоматически выполняется при выполнении усло­вия б), так как (ср. § II.6 [3]) решения уравнений (1.3) по подпоследова­тельности слабо сходятся в смысле распределений к некоторому решению (1.4). В общем случае про слабую единственность решений уравнений вида (1.4) ничего не известно и мы включаем в UM только те стратегии, для которых процесс «получается» предельным переходом из решений сто­хастических уравнений с гладкими коэффициентами.

3амечание 1.1. Пусть UM. Оказывается, что тогда – стандартный процесс в том смысле, что если взять , Mt – пополнение Nt по мере , то и – строго марковский процесс относительно . Кроме того, он имеет сильно феллеровскую переходную функцию , т. е. такую функцию, определенную при , и борелевских , что – вероятностная мера по Г, непрерывная по (t, x) при t > 0, удовлетворяет уравнению Колмогорова–Чепмена и

(п. н.) при .

Справедливость этого замечания стандартным образом вытекает из общих свойств сильно феллеровских процессов, из свойств диффузионных процессов, отвечающих операторам с гладкими коэффициентами (см. [18]), из теоремы IV.2.5 [19], в которой дана оценка модуля непрерывности решения параболического уравнения, не зависящая от степени гладкости коэффициентов уравнения, и, наконец, из слабой сходимости распределе­ний решений (1.3) к распределениям .

Одним из основных результатов работы является следующая

Теорема 1.1. U ≠, и если B ≠, то существует α0 ϵ B ∩ UM такой, что

. (1.5)

При этом , , .

Эта теорема, в частности, говорит, что в безусловной задаче оптималь­ная стратегия всегда существует и ее можно выбрать марковской (даже класса UM).

Теорема 1.1, как мы увидим ниже, непосредственно вытекает из сле­дующих результатов и того, что, как будет доказано в конце параграфа, U ≠.

Теорема 1.2. Пусть α ϵ U, тогда существует β ϵ UM такое, что

при всех и борелевских ограниченных h. В частности, (при h ≡ 0) .

При этом , , .

Заметим, что если из формулировки теоремы 1.2 исключить h, то она окажется частным случаем теоремы 1.1, который получается при V = {}.

По теореме 1.2 верхняя грань в (1.5) не изменится, если B заменить на B ∩ UM. Оказывается, что если взять любую (например, максимизирую­щую ) последовательность αn ϵ B ∩ UM , то по некоторой подпосле­довательности распределения процессов в при любом T будут сходиться к распределению некоторого процесса , причем найдется α ϵ B ∩ UM такое, что и по некоторой подпоследовательности . Этот факт нетрудно доказать с помощью вероятностной интерпретации рассуждений из [20], что и будет сделано в другом месте. Разумеется, теорема 1.1 вытекает из приведенного факта и теоремы 1.2. Нам кажется, однако, что с точки зрения того приема, которым доказывается теорема 1.2, более последовательным (хотя суммарно и не более коротким) является вывод теоремы 1.1 из следующей теоремы, которая заодно дает аналитическое (не вероятностное) описание множества всех значений , когда α пробегает U (или UM). В теореме 1.3 числа δ0, берутся из теоремы 2.1 и зависят от d, ε и радиуса шара, содержащего A; δ0, вообще говоря, мало, N0 – велико. Кроме того, положим

.

Теорема 1.3. Пусть , , . Тогда следующие утверждения эквивалентны:

а) при некотором U;

б) при всех ,

; (1.6)

в) при всех .

Кроме того, при всех

, (1.7)

. (1.8)

Выведем теорему 1.1 из теорем 1.2, 1.3. Заметим, что при каждых λ, u множество v, удовлетворяющих (1.6), выпукло и замкнуто. В силу эквивалентности а), б) множество U} (выпукло и) замкнуто как пересечение выпуклых замкнутых множеств. Оно очевидным образом также ограниченно. Поэтому множество ограничено и замкнуто. В последнем множестве, если оно непусто, найдется точка с наибольшей первой координатой (ей будет соответствовать стратегия U), и после этого для доказательства теоремы 1.1 останется применить теорему 1.2.

Обратим внимание читателя на то, что теоремы 1.1 – 1.3 могут оказать­ся полезными, даже если А(х) при всяком х состоит из одной точки. Может оказаться полезной также и следующая интерпретация одного варианта теоремы 1.2 с точки зрения эллиптических уравнений. Перед ее формули­ровкой введем некоторые объекты.

Возьмем некоторый эллиптический оператор

, (1.9)

Коэффициенты которого будем предполагать измеримыми по Борелю, ограниченными и удовлетворяющими условиям (1.1) при всех и почти всех . Для ограниченной борелевской h рассмотрим уравнение

в . (1.10)

Разрешимость этого уравнения при тех общих предположениях о коэффициентах, которые мы наложили, и при d ≥ 3 не доказана. Поэтому поступим следующим образом. Возьмем последовательность операторов с коэффициентами и будем, что эти коэффициенты равномерно ограничены по k, x, бесконечно дифференцируемы по x, удовлетворяют условию (1.1) при каждом k и сходятся к соответствующим коэффициентам L при почти всюду. Существование таких операторов может быть обеспечено с помощью операции усреднения. При всяких , как известно из теории эллиптических уравнений, существует единственное ограниченное и бесконечно дифференцируемое решение уравнения

в Ed.

Кроме того, операторы L(k) имеют функцию Грина g(k, x, y), т. е. для uk имеем:

, (1.11)

причем ,

. (1.12)

Ниже (см. конец § 2) мы докажем, что справедлив такой факт

Лемма 1.1. Существуют такие, , зависящие только от d, ε и от оценок верхних граней , , по k, х, что при всех k

.

По этой лемме из последовательности функций g (п, 0, у) можно выбрать сходящуюся слабо в Ld/(d-1) ( ) подпоследовательность g(n',0,y). Обозначим ее слабый предел через g (у). Тогда

(1.13)

при всех ограниченных борелевских h. Правую часть (1.13) можно принять за значение в нуле «обобщенного решения» уравнения (1.10) и g(у) мы назовем функцией Грина оператора L в точке 0. Вообще говоря, неизвест­но, единственным ли образом определяется g по L. В § 2 мы докажем сле­дующий факт.

Теорема 1.4. Пусть операторы L1, L2 удовлетворяют условиям, нало­женным на L, gi – некоторая функция Грина оператора Li в точке 0, i = 1, 2. Тогда 1/2 (g1 + g2) – функция Грина в точке 0 для оператора

. (1.14)

Утверждение этой теоремы по сути дела означает, что формула (1.14) имеет смысл (gi > 0 п. в.) и что L3 можно приблизить операторами с глад­кими коэффициентами, для которых функции Грина в точке 0 слабо схо­дятся к 1/2(g1 + g2).

В заключение параграфа докажем лемму, которая показывает, в част­ности, что множества UM (и U) непусты.

Лемма 1.2. а) Пусть – борелевская функция на Ed со значениями в . Тогда на Ed существует борелевская функция со значениями в А такая, что почти всюду на Ed

, (1.15)

.

б) Пусть на Ed определена борелевская функция со значениями в А, для которой при почти всех х справедливо (1.15). Тогда существует стратегия UM такая, что при всех t, ω

.

Доказательство. а) Определим следующие подмножества про­странства x Ed :

при всех ,

.

Множество Y1 можно записать как счетное пересечение множеств, для каждого из которых выполнение неравенства

(1.16)

требуется только при одном наборе (utj, ut, и, λ), а счетное множество этих наборов выбрано всюду плотным в . Отсюда видно, что Y2 – борелев­ское подмножество x Ed (обе части неравенства (1.16) – борелевские функции от (а, b, с, f, x)). Кроме того, из возможности отделить любую точку от замкнутого выпуклого множества в евклидовом пространстве вытекает, что неравенство (1.16) выполнено при всех (utj, ui, и, λ) тогда и только тогда, когда (а, b, с,f) ϵ А(x). Стало быть,

,

т. е. Y1 – график отображения .

Множество Y2 определяется как множество, где совпадают две боре­левские функции. Поэтому оно и Y являются борелевскими множествами. Отметим, что проекция Y на совпадает с . Действительно, в силу замкнутости А(x) для всякого x можно найти (a, b, c, f) ϵ A(x) так, чтобы (a, b, c, f, x) ϵ Y2.

Теперь по лемме Янкова (см., например, [21, с. 298]) существует борелевская функция такая, что все ее значения лежат в Y, а при почти всех x, что и требовалось.

б) По теореме II.6.1 [3] существует вероятностное пространство, скажем, , и винеровский процесс такие, что уравнение (1.4) имеет решение . При доказательстве этой теоремы проводятся оценки, которые показывают, что процесс проводит нулевое время в множествах лебеговой меры нуль, в частности, там, где не выполняется (1.15). Поэтому

при почти всех . Стало быть, набор лежит в U, и остается вспомнить, что в [3] доказательство существования решения основано на приближении коэффициентов уравнения (1.4) гладкими функциями. Лемма доказана.

§ 2. Доказательство теорем 1.1 — 1.4

Как сказано в § 1, теорема 1.1 непосредственно следует из теорем 1.2, 1.3. Для доказательства теорем 1.2—1.4 нам потребуется следующая теорема, которая будет доказана в § 4. Обозначим Λ множество пар (L, f), где L — оператор вида (1.9), f – функция со значениями в , причем при почти всех при всех и функция измерима по Борелю.