Теория вероятностей (стр. 5 )

вектора

- симметричная положительно определенная матрица размера k x k,

матрица, обратная к

- транспонированная матрица,

- определитель матрицы A.

Распределение с плотностью

называется многомерным нормальным распределением с параметрами

Многомерное нормальное (гауссовское распределение) является обобщением одномерного нормального распределения и обычно используется для моделирования опытов, в которых одновременно имеются несколько одномерных нормальных величин, связанных между собой.

Если матрица диагональная, то случайные координаты многомерного нормального случайного вектора независимы.

В важном частном случае (k=2) многомерное нормальное распределение превращается в двумерное. Матрица

где диагональные элементы положительны,

положительно определена и плотность имеет вид

Смысл параметров

и, в общем случае элементов матрицы

будет объяснен в дальнейшем. График плотности при

приведен ниже

Числовые характеристики случайных величин и векторов

В данном разделе определяются основные числовые характеристики случайных величин и векторов – математическое ожидание, дисперсия, ковариация, коэффициент корреляции и т. д.

Интеграл Лебега – математическое ожидание

Пусть

основное вероятностное пространство и

случайная величина.

Наша цель – определить интеграл Лебега от случайной величины

который в теории вероятностей называется математическое ожидание (среднее значение) случайной величины

Вначале определим этот интеграл для простых случайных величин.

Если случайная величина простая

то интегал Лебега от простой случайной величины определяется так

В частности

Ясно, что, таким образом определенный, интеграл обладает следующими очевидными свойствами

Свойства интеграла Лебега (математического ожидания)

1. 

2. 

3. 

4. 

5. 
для независимых случайных величин

Доказательство последнего свойства следует из того, что для независимых случайных величин

Пусть теперь случайная величина неотрицательна. Тогда для нее существует последовательность простых случайных величин монотонно приближающая ее снизу.

Интеграл Лебега определим как предел интегралов от простых случайных величин.

Заметим, что так как последовательность интегралов от монотонно возрастающих функций тоже монотонно возрастает, у этой последовательности обязан быть предел, пусть даже равный бесконечности. Можно показать, что этот предел не зависит от последовательности приближающих простых случайных величин, т. е. определение корректно.

Для произвольной случайной величины положим

если хотя бы один из этих интегралов конечен.

Скажем, что у случайной величины

конечное математическое ожидание, если конечны оба этих интеграла, или что то же самое, конечен интеграл

Свойства интегралов от простых случайных величин переносятся на случай произвольных случайных величин без изменений.

Заметим, что свойство нормированности вероятности при построении интеграла не использовалось. Таким образом можно строить интегралы по произвольным мерам.

Неравенства

Неравенство Маркова

Доказательство следует из очевидного неравенства

и свойств 1) и 3) математического ожидания.

Неравенство Чебышева. Дисперсия

Доказательство следует из неравенства Маркова, примененного к случайной величине

Величина

называется дисперсия случайной величины. Она является естественной мерой разброса случайной величины относительно ее математического ожидания. Очевидны следующие свойства дисперсии.

1. 

2. 

3.  для независимых с. в.

Следующее свойство выявляет смысл математического ожидания и дисперсии, как экстремальных характеристик с. в. Будем обозначать точку экстремума (минимума и максимума) функции так

Тогда

Для доказательства заметим, что по переменной x выражение

представляет собой квадратный трехчлен.

Неравенство Коши-Буняковского-Шварца. Ковариация

Доказательство. Если

то

и неравенство превращается в равенство.

Если

то, используя очевидное неравенство

получаем

что эквивалентно доказываемому неравенству.

Применяя неравенство КБШ к случайным величинам

получаем

Величина

называется ковариация случайных величин

и, как мы увидим в дальнейшем, является естественной мерой связи этих случайных величин между собой.

Величина

называется коэффициент корреляции случайных величин

Из неравенства КБШ следует, что

и если

то между этими случайными величинами существует (почти наверное) линейная зависимость

с положительным коэффициентом a. В этом случае говорят, что случайные величины положительно коррелированы. Если

то коэффициент a отрицателен и случайные величины отрицательно коррелированы. Коэффициент корреляции используют как меру зависимости случайных величин.

Неравенство Йенсена. Выпуклые функции

Функция f(x) называется выпуклой (как ), если

Например, функции , exp(x) выпуклы.

Для выпуклых функций справедливо неравенство Йенсена

Доказательство следует из определения выпуклой функции, если в нем положить

и воспользоваться свойствамиматематического ожидания.

Моменты

Величина

называется к-тый момент (к-тый начальный момент) случайной величины.

Величина

называется к-тый абсолютный момент случайной величины.

Величина

называется к-тый центральный момент случайной величины.

Ясно, что математическое ожидание это первый момент, а дисперсия второй центральный момент. Моменты часто используются в качестве дополнительных характеристик случайных величин.

Вычисление математического ожидания.

Если случайная величина простая, то ее математическое ожидание вычисляется непосредственно по определению. Например, если все значения

случайной величины

равновероятны, то ее математическое ожидание равно среднему арифметическому этих значений

Заметим, что у простой случайной величины математическое ожидание всегда конечно.

Для дискретной случайной величины, принимающей счетное число различных значений, имеем (приближая ее снизу последовательностью простых случайных величин)

Этот ряд не всегда сходится, и поэтому существуют дискретные случайные величины, не имеющие конечного математического ожидания. Простым достаточным условием конечности математического ожидания является ограниченность модуля случайной величины сверху (константой или другой случайной величиной, имеющей конечное математическое ожидание).

Заметим, что для вычисления математического ожидания дискретной случайной величины нам достаточно знать только ее распределение. Этот факт справедлив и в общем случае, что показывает следующая теорема.

Теорема Лебега о замене переменных

Пусть

случайная величина и g(x) – борелевская функция

Тогда

если хотя бы один из этих интегралов существует.

Вычисление интеграла Лебега на прямой.

Так как на распределение на прямой однозначно определяется функцией распределения

то интеграл Лебега часто обозначают так

и называют интегралом Лебега-Стильтьеса от функции g по функции F.

Если функция распределения имеет плотность

то предыдущий интеграл интеграл превращается в интеграл

где

мера Лебега на прямой.

Можно показать, что

если функция g (x) интегрируема по Риману, то

где последний интеграл понимается в смысле Римана.

Таким образом, в практически важных случаях вычисление интеграла Лебега сводится к вычислению конечной суммы, ряда или интеграла Римана (или их комбинаций). В дальнейшем для интегралов по мере Лебега будем опускать символ и использовать такое же обозначение как и для интегралов Римана.

Вычисление маргинальных плотностей

Пусть

случайный вектор с совместной плотностью распределения

Можно показать, что существует плотность распределения каждого подвектора

данного вектора, которая получается интегрированием совместной плотности по всем «свободным» переменным. В частности плотность i-той координаты вектора выглядит так

Плотность подвектора называется частная или маргинальная плотность.

Нетрудно показать, например, что маргинальные плотности многомерного нормального вектора также являются многомерными нормальными плотностями.

Вычисление числовых характеристик важных распределений.

Вычислим математическое ожидание и дисперсию для наиболее важных распределений.

Название распределения	Математическое ожидание	Дисперсия
Вырожденное в точке a	a	0
Биномиальное (n, p)
Геометрическое p
Пуассоновское
Нормальное стандартное	0	1
Нормальное
Равномерное на отрезке (0,1)	1/2	1/12
Равномерное на отрезке (A, B)
Бета
Экспоненциальное
Гамма

Если случайные величины имеют многомерное нормальное распределение

то

Суммирование независимых случайных величин

Чрезвычайно важным объектом теории вероятностей является сумма независимых случайных величин. Именно исследования распределения сумм независимых случайных величин заложили фундамент для развития аналитических методов теории вероятностей.

Распределение суммы независимых случайных величин

В данном разделе мы получим общую формулу, позволяющую вычислить функцию распределения суммы независимых случайных величин, и рассмотрим несколько примеров.

Распределение суммы двух независимых случайных величин. Формула свертки

Пусть

независимые случайные величины с функциями распределения

соответственно

Тогда функцию распределения F суммы случайных величин

можно вычислить по следующей формуле (формула свертки)

Плотность распределения суммы двух независимых случайных величин

Если распределения обеих случайных величины имеют плотности, то плотность суммы этих случайных величин можно вычислить по формуле

Если распределение случайной величины (или ) имеет плотность, то плотность суммы этих случайных величин можно вычислить по формуле

Для доказательства этих утверждений достаточно воспользоваться определением плотности.

Кратные свертки

Вычисление суммы конечного числа независимых случайных величин производится с помощью последовательного применения формулы свертки. Функция распределения суммы k независимых одинаково распределенных случайных величин с функцией распределения F

называется k –кратной сверткой функции распределения F и обозначается

Примеры вычисления распределения сумм независимых случайных величин

В этом пункте приведены примеры ситуаций, при суммировании случайных величин сохраняется вид распределения. Доказательства представляют собой упражнения на суммирование и вычисление интегралов.

Суммы независимых случайных величин. Нормальное распределение

Пусть

тогда

Суммы независимых случайных величин. Биномиальное распределение

Пусть

тогда

Суммы независимых случайных величин. Пуассоновское распределение

Пусть

тогда

Суммы независимых случайных величин. Гамма распределение

Пусть

тогда

Пуассоновский процесс

Пусть

последовательность независимых одинаково распределенных случайных величин, имеющих экспоненциальное распределение с параметром

Случайная последовательность точек

на неотрицательной полуоси называется пуассоновский (точечный) процесс.

Вычислим распределение числа точек

пуассоновского процесса в интервале (0,t)

События

эквиваленты, поэтому

Но распределение случайной величины

является распределением Эрланга порядка k, поэтому

Таким образом распределение количества точек пуассоновского процесса в интервале (o, t) это пуассоновское распределение с параметром

Пуассоновский процесс используется для моделирования моментов наступления случайных событий – процесса радиоактивного распада, моментов поступления звонков на телефонную станцию, моментов появления клиентов в системе обслуживания, моментов отказа оборудования.

Сходимость последовательностей случайных величин и их распределений

В теории вероятностей в отличие от математического анализа рассматриваются несколько различных видов сходимости последовательности функций (случайных величин) и их распределений. Это связано с тем, что в теории вероятностей принято пренебрегать маловероятными событиями и делать это можно по разному.

Сходимость по вероятности

Последовательность случайных величин

сходится к случайной величине

по вероятности, если

Сходимость по вероятности обозначается так

Сходимость в среднеквадратическом

Последовательность случайных величин

сходится к случайной величине

в среднеквадратическом (в L2) , если

Сходимость в среднеквадратическом обозначается так

Слабая сходимость распределений

Последовательность случайных величин

сходится к случайной величине

слабо (по распределению), если

во всех точках непрерывности функции

Слабая сходимость обозначается так

Основным отличием слабой сходимости от остальных видов сходимости является то, что от случайных величин не требуется, чтобы они были определены на одном вероятностном пространстве, так как условия сходимости формулируются с использованием только их функций распределения.

Взаимосвязь различных видов сходимости

Взаимосвязь различных видов сходимости представлена на следующей диаграмме.

Заметим, что ни одну из стрелок на данной диаграмме нельзя, вообще говоря, повернуть назад, т. е. любые два вида сходимости неэквивалентны. Практическое значение имеют, в основном, слабая сходимость и сходимость в среднеквадратическом потому что они позволяют производить приближенные вычисления вероятностей и математических ожиданий и заменять одни математические модели другими. Остальные виды сходимости используются в основном при доказательстве слабой сходимости или исследовании качественных свойств модели. Покажем, вначале, что из сходимости по вероятности следует слабая сходимость.

Закон больших чисел в форме Бернулли

Пусть - число успехов в n испытаниях по схеме Бернулли с вероятностью успеха p. Тогда

Доказательство.

Доказательство завершено.

Таким образом, для доказательства слабой сходимости достаточно доказать сходимость по вероятности или в среднеквадратическом.

Предельные теоремы теории вероятностей

Предельные теоремы представляют собой утверждения, устанавливающие условия сходимости (в том или ином смысле) последовательности случайных величин или последовательности распределений для некоторого класса вероятностных моделей. Роль, которую играют в теории вероятностей предельные теоремы объясняется тем, что в ряде случаев они представляют единственный способ качественного и количественного анализа сложных вероятностных моделей. Эти теоремы устанавливают близость (в некотором строго определенном смысле) одних вероятностных моделей другим. Применение предельных теорем позволяет выделить главные и второстепенные с количественной точки зрения свойства исследуемой вероятностной меры. Первой вероятностной моделью, для которой были получены предельные теоремы, является схема суммирования независимых слагаемых.

Схема суммирования независимых слагаемых

Рассмотрим последовательность независимых одинаково распределенных случайных величин

Обозначим

В данной схеме обычно исследуется предельное поведение величины

и ее нормированных вариантов и при больших n.

Примерами предельных теорем для частного случая классической схемы (схемы Бернулли) могут служить теорема Пуассона и закон больших чисел в форме Бернулли.

Современные предельные теоремы являются обычно собирательными утверждениями, т. е. такими утверждениями, которые справедливы сразу для большого класса объектов (в нашем случае вероятностных моделей). Первым примером предельной теоремы такого рода является закон больших чисел в форме Чебышева.

Закон больших чисел в форме Чебышева

Пусть у случайных величин классической схемы суммирования существуют математическое ожидание и дисперсия. Тогда

Доказательство.

Т. е.

и следовательно

Доказательство завершено.

Собирательность этих утверждений состоит в том, что они справедливы для широкого класса распределений слагаемых. Знание точного распределения слагаемых необязательно, лишь бы существовали математические ожидания и дисперсии

Закон больших чисел в форме Хинчина

Пусть у случайных величин классической схемы суммирования существует математическое ожидание. Тогда

Законы больших чисел устанавливают предельное постоянство среднего арифметического растущего числа случайных величин. Форма предельного распределения нормированного отклонения от этого предела устанавливается в так называемых центральных предельных теоремах.

Центральная предельная теорема в форме Леви

Теорема Леви

Пусть у случайных величин классической схемы суммирования существует математическое ожидание и дисперсия. Тогда

Частным случаем теоремы Леви является знаменитая теорема Муавра-Лапласа.

Теорема Муавра-Лапласа

Пусть - число успехов в n испытаниях по схеме Бернулли с вероятностью успеха p. Тогда

Доказательство следует из теоремы Леви, если вспомнить, что число успехов в схеме Бернулли является суммолй независимых одинаково распределенных случайных величин.

Условное математическое ожидание, условная плотность и условное распределение

Условное математическое ожидание, условные распределение и плотность являются одними из основных понятий современной теории вероятностей. Они позволяет дать корректное определение условной вероятности относительно возможных (непустых) событий, имеющих нулевую вероятность. Необходимость такого определения становится ясной из следующего примера.

Пусть - случайная равномерно распределенная точка на единичном квадрате. Тогда случайные величины независимы, равномерно распределены на единичном отрезке и

С одной стороны в силу независимости случайных величин условная вероятность события при условии должна совпадать с его безусловной вероятностью

с другой стороны формальное вычисление этой условной вероятности по формуле условной вероятности

невозможно.

Определение условного распределения и условной плотности

Условное распределение

Пусть и - случайные векторы произвольной конечной размерности (например, k и s ) заданные на некотороми вероятностном пространстве

Если у вектора существует совместная плотность распределения то функция

где

называется условной плотностью условного распределения случайной величины при условии

Через условную плотность можно определить условное математическое ожидание случайной величины относительно случайной величины

Пусть - борелевская функция из в , тогда

Приведем пример вычисления условной плотности и условного математического ожидания.

Пример.

Пусть распределение вектора является двумерным нормальным распределением

Тогда одномерная плотность равна

и условная плотность

Замечая, что данная плотность является плотностью нормального распределения с математическим ожиданием

получаем, что