Элементы теории вероятностей и математической статистики (стр. 2 )

Событие В — вынут белый шар.

Полная группа событий: А1 — выбрана первая урна, А2 — выбрана вторая урна. Р(А1)=Р(А2)=1/2.

В силу симметрии задачи все возможные распределения шаров по урнам можно сгруппировать в зависимости от общего количества шаров в первой урне X+Y. Эти распределения следующие:X+Y= 0, 1, 2, 3.

0 — все шары находятся во второй урне. Вероятность вынуть белый шар в этом случае равна 0.25. (Произведение вероятностей выбора второй урны и из нее вынуть белый шар).

Для вероятность вынуть белый шар вычисляется по формуле:

Р(В)=Р(В/А1)Р(А1)+Р(В/А2)Р(А2)=X/(X+Y)·1/2+(3–X)/(6–X–Y)·1/2.

1 — в первой урне один шар. Он может быть белым (X=1,Y=0)или черным (X=0,Y=1).

Соответствующие вероятности равны: 0,7 и 0,3.

2 — в первой урне два шара. Возможные комбинации: X=0,Y=2; X=1,Y=1; X=2,Y=0.

Соответствующие этим случаям вероятности равны: 0,375, 0,5, 0,625.

3 — в первой урне 3 шара. Возможные комбинации: X=0,Y=3; X=1,Y=2; X=2,Y=1; X=3,Y=0.

Соответствующие вероятности равны: 0,5, 0,5, 0,5, 0,5.

Максимальная вероятность соответствует такому распределению шаров в урнах, чтобы в одной из них был только один белый шар. При этом вероятность вынуть белый шар равна 0,7.

1.6. Формула Байеса

Теорема Байеса. Пусть Н1, Н2, …, Нn полная группа событий, которые мы будем называть гипотезами. В — произвольное событие. Тогда:

 

.

Пояснения. На практике очень часто возникают ситуации, когда происходит какое-то событие, относительно причины возникновения которого может быть высказано n различных (альтернативных) предположений. При этом других предположений возникновения события В не существует. Эти предположения и называются гипотезами.

Пример, событие В — потерпел аварию самолет. Возможные предположения могут быть, например: Н1 — отказ двигателя, Н2 — ошибка летчика, Н3 — он сбит ракетой, Н4 — другая причина.

Эти события могут наступить с вероятностями Р(Нk), которые называются априорными (вычисляемыми до опыта) вероятностями гипотез. То есть эти вероятности обусловлены объективными причинами и могут быть заранее рассчитаны.

После того, как событие В произошло, важно определить наиболее вероятную причину возникновения этого события. Эта вероятность Р(Нk/В) — называется апостериорной (вычисляемой после опыта) вероятностью гипотез.

Таким образом, теорема Байеса позволяет по результатам опыта рассчитать апостериорные вероятности гипотез, зная их априорные вероятности.

Доказательство теоремы Байеса. Воспользовавшись формулой Байеса (связи условных вероятностей между собой): , можно получить:

. Вероятность Р(В) можно вычислить по формуле полной вероятности: , что завершает доказательство теоремы Байеса.

Примеры решения задач на формулу Байеса.

Формулировки задач взяты из [3].

Пример 1

В урне лежит шар неизвестного цвета — с равной вероятностью белый или черный. В урну опускается один белый шар и после тщательного перемешивания наудачу извлекается один шар. Он оказался белым. Какова вероятность того, что в урне остался белый шар?

Решение задачи

До опыта с извлечением шара из урны можно высказать следующие гипотезы:

Н1 — в урне лежит белый шар. Н2 — в урне лежит черный шар.

Априорные вероятности событий: Р(Н1)=0,5, Р(Н2)=0,5.

Событие В — в урну опустили белый шар, тщательно перемешали и наудачу вытащили белый шар.

Найдем условные вероятности: Р(В/Н1) — вероятность вытащить из урны белый шар, при условии, что там находятся два белых шара. Очевидно, что эта вероятность равна 1.

Р(В/Н2)=0,5.

По формуле Байеса:

.

Так как нужно определить вероятность того, что в урне остался белый шар, то это равносильно определению апостериорной вероятности гипотезы Н1. Она равна 2/3.

Пример 2

На вход радиолокационного устройства с вероятностью 0,8 поступает смесь полезного сигнала и помехи, а с вероятностью 0,2 — только помеха. Если поступает полезный сигнал с помехой, то устройство регистрирует наличие какого-то сигнала с вероятностью 0,7; если только помеха — то с вероятностью 0,3. Известно, что устройство зарегистрировало наличие какого-то сигнала. Найти вероятность того, что в его составе есть полезный сигнал.

Решение задачи

До регистрации какого-либо сигнала можно высказать две гипотезы: Н1 — в смеси есть полезный сигнал; Н2 — в смеси нет полезного сигнала.

Априорные вероятности гипотез по условию задачи равны: Р(Н1)=0,8, Р(Н2)=0,2.

Событие В — устройство зарегистрировало какой-то сигнал.

Найдем условные вероятности событий: Р(В/Н1) — вероятность зарегистрировать сигнал, при условии, что в смеси есть полезный сигнал. По условию задачи эта вероятность равна 0.7. По условию задачи Р(В/Н2)=0,2.

Найдем апостериорную вероятность гипотезы Н1.

.

Пример 3

По каналу связи передается цифровой текст, содержащий только три цифры 1, 2. 3, которые могут появляться в тексте с равной вероятностью. Каждая передаваемая цифра в силу наличия шумов принимается правильно с вероятностью р и с вероятностью принимается за какую-либо другую цифру. Предполагается, что цифры искажаются независимо.

Найти вероятность того, что было передано 111, если принято 123.

Решение задачи

По условию задачи необходимо найти условную вероятность Р(передано 111/принято 123).

Так как цифры искажаются независимо, то для независимых событий:

Р(передано 111/принято 123)=

= Р(передано 1/принято 1)Р(передано 1/принято 2)Р(передано 1/принято 3).

Очевидно:

Р(передано 1/ принято 1) — вероятность правильного приема цифры, равна р.

Также известно, что

Р(передано 1/принято 2)= и Р(передано 1/принято 3)= .

И окончательно: Р(передано 111/принято 123)= .

Пример 4

Астрономический объект, за которым ведется наблюдение, может находиться в одном из двух состояний: Н1 или Н2. Априорные вероятности этих состояний Р(Н1)=0,6, Р(Н2)=0,4. Наблюдение ведется независимо двумя обсерваториями. Первая обсерватория обычно дает правильные сведения о состоянии наблюдаемого объекта в 90% случаев, а в 10% ошибается; вторая дает правильные сведения в 80% случаев, а в 20% ошибается. Первая обсерватория сообщила, что объект находится в состоянии Н1, а вторая — что в состоянии Н2. Найти апостериорную вероятность состояния Н1.

Решение задачи

Гипотезы, апостериорные вероятности которых необходимо найти, обозначены Н1 и Н2. Их априорные вероятности известны.

Обозначим В — событие, заключающееся в получении сообщений от обсерваторий 1 и 2.

Пусть В1 — сообщение от обсерватории 1, а событие В2 — сообщение от обсерватории 2.

В силу того, что сообщения получены от первой и от второй обсерваторий: В=В1·В2.

По условию задачи необходимо найти условную вероятность: Р(Н1/В).

По формуле Байеса: .

Заметим, что в силу независимости событий В1 и В2:

,

.

При этом Р(В1/Н1) — вероятность правильного сообщения от первой обсерватории, Р(В2/Н1) — вероятность ошибочного сообщения от второй обсерватории, Р(В1/Н2) — вероятность ошибочного сообщения от первой обсерватории, Р(В2/Н2) — вероятность правильного сообщения от второй обсерватории.

Подставляя соответствующие вероятности в формулу Байеса, получим:

.

2. Случайные величины

В том случае, если возможными исходами эксперимента являются числа, а множество элементарных событий представляет собой числовую ось (W=R), то с данным экспериментом может быть связана случайная величина.

Таким образом, случайная величина — это вероятностный эксперимент, исходами которого являются числа.

Будем обозначать случайные величины греческими буквами x, h, n.

Все события, связанные со случайной величиной — это подмножества числовой оси R.

Множества числовой оси, которые могут считаться событиями, составляют некоторый класс множеств.

Определение. Системой множеств называется всякое множество, элементы которого сами представляют собой какие-либо множества.

Определение. Пусть Х – некоторое множество. Система подмножеств множества Х называется алгеброй, если

1.  ,

2.  ,

3.  .

Таким образом, если два события принадлежат алгебре, то их сумма и произведение, а также противоположные события также принадлежат алгебре.

Из этого определения следует, что пустое множество также принадлежит алгебре.

Для того, чтобы можно было находить вероятности предельных событий вводят другую систему множеств:

Определение. Система подмножеств множества Х называется s-алгеброй, если она является алгеброй и, кроме того, выполнено следующее условие:

если то .

Определение. s-алгебра называется борелевской алгеброй на числовой прямой, если она содержит отрезки, интервалы и полуинтервалы числовой оси R.

Таким образом, событиями, связанными со случайной величиной, являются произвольные подмножества числовой оси, принадлежащие борелевской алгебре, то есть они могут быть получены из отрезков, интервалов и полуинтервалов, с помощью счетного числа операций объединения, пересечения и дополнения.

Рассмотрим, как же находить вероятности событий, связанные со случайными величинами.

2.1. Функция распределения случайной величины и ее свойства.

Определение. Функцией распределения случайной величины x называется функция одной переменной, удовлетворяющая условию:

для любого .

Функция распределения случайной величины x показывает, как меняется вероятность события (x < x) в зависимости от x.

Свойства функции распределения вытекают из ее определения.

1. .

2. - неубывающая функция.

3. - непрерывна слева и имеет пределы справа в каждой точке xÎR

Первое свойство вытекает из того, что событие: значения случайной величины меньше минус бесконечности – невозможное, а событие: значения случайной величины меньше плюс бесконечности – достоверное.

Докажем свойство 2.

Пусть x1<x2. Событие можно представить в виде суммы двух несовместных событий: =+. По второй аксиоме вероятности, получим:

. Так как вероятность любого события неотрицательна, то , следовательно .

Таким образом, вероятность попадания случайной величины в полуинтервал вычисляется по формуле: .

Доказательство свойства 3

Рассмотрим последовательность событий: . Предельное множество также является событием: . Последовательность является неубывающей и ограниченной сверху. Так что существует предел этой последовательности. Поэтому . Непрерывность слева доказана.

Рассмотрим последовательность событий: . Предельное множество также является событием: . Последовательность является не возрастающей и ограниченной снизу. Так что существует предел этой последовательности. Поэтому . Существование предела справа доказано.

Ранее мы показали, как находить вероятность попадания случайной величины в полуинтервал вида [x1,x2). Найдем вероятности попадания случайной величины в отрезок, интервал и полуинтервал вида (x1,x2]:

 

;

;

.

Действительно, .

Аналогично доказываются и остальные соотношения.

Заметим, что случайная величина полностью определяется своей функцией распределения.

Говорят, что случайные величины x и n одинаково распределены, если равны их функции распределения: .

В зависимости от вида функции распределения случайные величины подразделяются на дискретные, непрерывные и смешанные.

2.2. Дискретные случайные величины.

Определение. Случайная величина называется дискретной случайной величиной, если ее функция распределения кусочно-постоянна (рис. 3).

Рис. 3

Таким образом, функция распределения дискретной случайной величины имеет разрывы первого рода в точках x1, x2,..,xn,….

Заметим, что .

Вероятность того, что случайная величина приняла значение x, и в этой точке функция распределения непрерывна – равна нулю.

Таким образом, дискретная случайная величина с не нулевой вероятностью может принимать значения только в дискретном ряду точек x1, x2,..,xn,….

Набор чисел называется рядом распределения дискретной случайной величины. При этом .

Функция распределения дискретной случайной величины легко выражается через ряд распределения:

.

Примеры дискретных случайных величин.

Пример 1

Случайная величина x, принимающая два значения 1 и 0 с вероятностями p («успех») и q=1-p («неудача»), называется бернуллиевской.

Ее функция распределения имеет вид (рис. 4):

Рис.4

Вероятность принять определенное значение для этой случайной величины можно записать в виде: .

Пример 2

Биномиальной (или биномиально распределенной) называется случайная величина, принимающая значения 0, 1, 2,…,n с вероятностями:

.

Здесь - число сочетаний из n по k: .

Функция распределения имеет вид:

.

Вероятность любого события, связанного с попаданием дискретной случайной величины во множество В, можно найти по формуле:

.

2.3. Непрерывные случайные величины

Определение. Случайная величина называется непрерывной случайной величиной, если ее функция распределения является непрерывной функцией (рис. 5).

Рис. 5

В результате опыта непрерывная случайная величина может принять любое числовое значение в диапазоне, где функция распределения не равна нулю и не постоянна.

Ранее мы заметили, что если функция распределения непрерывна в точке x0, то вероятность события (x=x0) равна нулю (P(x=x0)=0).

Таким образом, событие (x=x0) возможно, но имеет нулевую вероятность. С другой стороны, противоположное этому событие имеет вероятность равную единице, но не является достоверным.

Если функция распределения не является кусочно-постоянной, то вероятность попадания в любой произвольно малый отрезок числовой оси около точки x0 ([x0,x0+e)) уже не равна нулю: . Отсюда следует, что для вычисления вероятностей попадания случайной величины в малые отрезки числовой оси нужно знать производную от функции распределения.

2.3.1. Плотность распределения вероятностей и ее свойства.

Определение. Плотностью распределения (плотностью вероятности) непрерывной случайной величины x в точке x называется производная ее функции распределения в этой точке:

.

Свойства плотности распределения случайной величины вытекают из ее определения:

1. ;

2. .

Связь функции распределения и плотности распределения:

Первое свойство плотности обусловлено тем, что производная от неубывающей функции – неотрицательна, а второе свойство – свойство нормировки – вытекает из свойств функции распределения ().

Вычислим вероятность попадания непрерывной случайной величины в интервал (любой полуинтервал или отрезок ) (х1,х2):

.

Вообще, вероятность попадания непрерывной случайной величины в произвольное борелевское множество числовой оси вычисляется по формуле:

.

Примеры непрерывных случайных величин и их плотностей распределения.

Пример 1

Пусть плотность распределения случайной величины задается соотношением:

.

График этой плотности приведен на рис. 6.

Рис. 6 Рис. 7

Случайная величина с такой плотностью называется равномерно распределенной на отрезке [0,1].

Функция распределения такой случайной величины имеет вид:

График этой функции распределения изображен на рис. 7.

Пример 2

Пусть плотность распределения случайной величины задается соотношением:

.

(а – положительный коэффициент).

График этой плотности приведен на рис. 8.

Рис. 8 Рис. 9

Функция распределения такой случайной величины имеет вид:

График этой функции распределения изображен на рис. 9.

Случайная величина с такой плотностью распределения называется экспоненциально распределенной случайной величиной.

Пример 3

Пусть плотность распределения случайной величины задается соотношением:

.

(а – произвольная величина, s>0).

График этой плотности приведен на рис. 10.

Рис. 10 Рис. 11

Функция распределения такой случайной величины имеет вид:

График этой функции распределения изображен на рис. 11.

Случайная величина с такой плотностью распределения называется нормально распределенной (гауссовской) случайной величиной.

Определение Случайная величина x называется смешанной случайной величиной, если ее функция распределения Fx(x) кусочно-непрерывна.

Таким образом, функция распределения смешанной случайной величины имеет непрерывные участки, а также в отдельных точках разрывы первого рода (скачки) (см. рис. 12).

Рис. 12

Для смешанной случайной величины, так же как и для дискретной случайной величины, понятие плотности распределения не применимо, так как функция распределения не дифференцируема.

2.3.2. Обобщение понятия плотности распределения вероятности

Плотность распределения можно определить не только для непрерывных, а для любых случайных величин, если воспользоваться обобщенными функциями [[4]].

В классическом математическом анализе изучаются функции, которые условимся называть обычными функциями. То есть это функции , определенные на числовой оси и интегрируемые в конечном промежутке . Однако, даже такую важную операцию, как дифференцирование, можно применять далеко не ко всем обычным функциям.

Уже давно в физике и технике употребляются так называемые сингулярные функции, которые не могут быть корректно определены в рамках классической теории функций.

Простейшим примером такой функции является дельта-функция . Дельта-функция равна нулю всюду, кроме одной точки , в этой точке равна бесконечности и интеграл от нее в пределах, включающих точку , равен единице. Она по определению обладает свойствами, не совместимыми с точки зрения классического определения функции и интеграла.

Заметим, что при решении конкретных задач сингулярные функции встречаются только под знаком интеграла в произведении с какой-либо достаточно хорошей функцией.

Поэтому нет необходимости отвечать на вопрос, что такое сингулярная функция сама по себе, достаточно уметь вычислять интеграл от произведения сингулярной функции на «хорошую».

Например, дельта-функция строго определяется соотношением:

, для любой непрерывной в точке функции .

Как мы уже говорили, далеко не для всякой обычной функции может быть выполнена операция дифференцирования. Примером такой функции может служить, например: - так называемая функция Хевисайда.

С помощью интегрального представления можно найти производную этой функции в классе обобщенных функций.

Покажем это.

Пусть дифференцируемая функция, тождественно равная нулю вне некоторого конечного интервала [a,b]. Тогда для ограниченной функции f(x) по правилу интегрирования по частям:

.

Внеинтегральный член обращается в нуль, так как тождественно равна нулю вне некоторого конечного интервала [a,b].

Так как функция Хевисайда ограниченная, для нее приведенное соотношение верно и мы можем записать:

.

Отсюда следует, что производная функции Хевисайда есть дельта-функция:

.

Таким образом, мы можем определить плотность распределения для любой случайной величины, если под плотностью распределения понимать производную функции распределения как обобщенную функцию.

Итак, пусть Fx(x) – кусочно-непрерывная функция, имеющая в точках разрывы первого рода со скачками и кусочно-непрерывную производную всюду, кроме указанных точек разрыва.

Плотность распределения соответствующей случайной величины будет иметь вид:

.

Используя обобщенные функции можно определить плотность распределения и для не случайной величины, например, число пять имеет плотность распределения:

.

Используя определение дельта-функции можно представить вероятность любого события, связанного со смешанной случайной величиной, в виде интеграла по соответствующему множеству:

.

Рассмотрим пример смешанных случайных величин.

Пример

Пусть непрерывная случайная величина подвергается преобразованию вида:

.

Найти плотность распределения случайной величины h.

Решение задачи

Вначале найдем функцию распределения случайной величины h, а потом плотность распределения как обобщенную производную функции распределения.

Из условия задачи видно, что случайная величина h принимает только неотрицательные значения, поэтому ее функция распределения не равна нулю только при неотрицательных значениях аргумента. При этом значение, равное нулю, она принимает с вероятностью . Так как в точке x=0 функция распределения имеет скачок, поэтому

.

Вероятности соответствующих событий в определении функции распределения случайной величины h равны:

Обобщенная производная функции распределения Fh(x) равна:

.

2.4. Числовые характеристики случайной величины

Ранее уже говорилось о том, что случайная величина полностью определяется своей функцией распределения. Также можно сказать, что она полностью определяется своей обобщенной плотностью распределения вероятностей или в дальнейшем будем говорить просто плотностью распределения. Во многих практических задачах представляет интерес не сама плотность распределения, а интеграл от произведения этой плотности на некоторую функцию. Эта операция в теории вероятностей имеет специальное обозначение и название.

Определение. Математическим ожиданием произвольной функции от случайной величины x называется: .

Особое место в теории вероятностей занимают математические ожидания степенных функций от случайной величины.

Определение. k-тым моментом случайной величины x называется .

Первый момент имеет особое название — математическое ожидание случайной величины x и обозначается .

В дальнейшем математическое ожидание случайной величины x будем обозначать mx.

Определение. Случайная величина называется центрированной случайной величиной.

Определение. k-тым центральным моментом случайной величины x называется k-й момент центрированной случайной величины:

.

Очевидно, первый центральный момент случайной величины всегда равен нулю.

Особое название имеет также второй центральный момент:

Определение. Дисперсией случайной величины x называется ее второй центральный момент: .

Для дисперсии случайной величины также введем обозначение .

Дисперсия (от латинского dispersio - рассеяние) показывает меру отклонения значений случайной величины от ее математического ожидания. То есть ее можно трактовать как меру случайности. Для не случайных величин дисперсия равна нулю.