Теория вероятностей (стр. 2 )

В опыте обязательно произойдет одно и только одно из этих событий.

Любые два противоположных подмножества образуют полную группу подмножеств.

Если пространство элементарных исходов конечно или счетно, то сами элементарные исходы являются полной группой подмножеств.

Алгебра и сигма-алгебра

При построении математической модели случайного объекта необходимо не только указать все возможные элементарные исходы опыта, но и определить (перечислить) все возможные события, которые могут произойти в этом опыте. Принято следующее определение:

Алгебра событий A это набор подмножеств пространства элементарных исходов для которого выполняются следующие условия:

Сигма - алгебра событий F это набор подмножеств пространства элементарных исходов для которого выполняются следующие условия:

и для любой счетной последовательности

Очевидно, что любая сигма-алгебра является алгеброй, но не наоборот.

Колмогоров показал, что естественной математической моделью для множества событий является сигма-алгебра.

Очевидным примером сигма-алгебры является набор всех подмножеств пространства элементарных исходов – это наибольшая сигма-алгебра, возможная на данном пространстве элементарных исходов.

Наименьшая (тривиальная) сигма-алгебра это следующий набор подмножеств

Если алгебра или сигма-алгебра содержит событие A, то она обязана содержать и отрицание A. Поэтому минимальное число подмножеств в нетривиальной сигма-алгебре равно 4.

Алгебры и сигма-алгебры обозначаем жирными наклонными латинскими буквами.

Случайные события

Элемент сигма-алгебры в дальнейшем будем называть случайным событием.

Полная группа событий

Полная группа событий это полная группа подмножеств, каждое из которых является событием. Говорят, что события полной группы это разбиение пространства элементарных исходов.

Конечно-аддитивная функция

Пусть A – алгебра. Функция n, отображающая алгебру в множество действительных чисел

называется конечно-аддитивной, если для любого конечного набора попарно несовместных событий

Счетно-аддитивная функция

Пусть F – алгебра или сигма-алгебра. Функция

называется счетно-аддитивной, если она конечно-аддитивна и для любого счетного набора попарно несовместных событий

Мера

Мера - это неотрицательная счетно-аддитивная функция, определенная на сигма-алгебре, удовлетворяющая условию

Конечная мера

Мера называется конечной, если

Вероятность

Вероятность (вероятностная мера) P это мера такая, что

С этого момента мы перестанем измерять вероятность в процентах и начнем измерять ее действительными числами от 0 до 1.

Когда вы пишите P всегда представляйте себе, какое пространство элементарных исходов и сигма-алгебра имеются в виду. Тогда вы сможете избежать многих ошибок

Обозначение P (Probability) для вероятности является стандартным, не стоит только забывать, что сама по себе (без определения пространства элементарных исходов и сигма-алгебры) вероятность не определена.

Число

называют вероятностью события A

Вероятностное пространство

Вероятностное пространство это совокупность трех объектов – пространства элементарных исходов, сигма-алгебры событий и вероятности.

Это и есть математическая модель случайного явления или объекта.

Парадокс определения вероятностного пространства

Вернемся к исходной постановке задачи теории вероятностей. Нашей целью было построение математической модели случайного явления, которая помогла бы количественно оценить вероятности случайных событий. В то же время для построения вероятностного пространства необходимо задать вероятность, т. е. вроде бы именно то, что мы ищем (?).

Разрешение этого парадокса в том, что для полного определения вероятности как функции на всех элементах F, обычно достаточно задать ее на лишь на некоторых событиях из F, вероятность которых нам легко определить, а затем, пользуясь ее счетной аддитивностью, вычислить на любом элементе F.

Независимые события

Важным понятием теории вероятностей является независимость.

События A и B называются независимыми, если

т. е. вероятность одновременного осуществления этих событий равна произведению их вероятностей.

Попарно

События в счетном или конечном наборе называются независимыми попарно, если любая пара из них является парой независимых событий

В совокупности

События в счетном или конечном наборе называются независимыми в совокупности, если вероятность одновременного осуществления любого конечного поднабора из них равна произведению вероятностей событий этого поднабора.

Ясно, что независимые в совокупности события независимы и попарно. Обратное неверно.

Условная вероятность

Условной вероятностью события A при условии, что произошло событие B называется величина

Условную вероятность пока определим лишь для событий B, вероятность которых не равна нулю.

Если события A и B независимы, то

Свойства и теоремы

Простейшие свойства вероятности

Следует из того, что А и не-А противоположны и свойства конечной аддитивности вероятности	Вероятность противоположного события
Следует из того, что невозможное и достоверное события противоположны	Вероятность невозможного события
Следует из того, что	Монотонность вероятности и в этом случае
Следует из того, что любое событие содержится в пространстве элементарных исходов	Ограниченность вероятности
Следует из представления	Вероятность объединения событий
Следует из предыдущего	Полуаддитивность вероятности
Следует из счетной аддитивности вероятности и определения полной группы событий	Вероятности полной группы событий Сумма вероятностей полной группы событий равна 1.
Следует из счетной аддитивности вероятности, определения полной группы событий и определения условной вероятности	Формула полной вероятности Если … - полная группа событий, то для любого события A Если вероятности всех событий полной группы больше нуля, то также
Следует из предудущей формулы и определения условной вероятности	Формула Байеса Если … - полная группа событий ненулевой вероятности, то для любого события A с ненулевой вероятностью

Дискретная вероятностная модель

Вероятностное пространство называется дискретным, если его пространство элементарных исходов конечно или счетно.

В данном пункте мы переходим к описанию типовых математических моделей случайных событий. Начнем с простейшего случая.

Конечное пространство элементарных исходов

Пространство элементарных исходов называется конечным, если оно содержит конечное число элементарных исходов.

Классическая вероятностная модель

Классическая вероятностная модель

включает в себя

1.  Конечное пространство элементарных исходов

2.  Наибольшую сигма-алгебру (содержащую все подмножества пространства элементарных исходов).

3.  Равномерную вероятностную меру, приписывающую равные вероятности всем элементарным исходам.

Из описания модели следует, что

·  Любое подмножество пространства элементарных исходов является событием

·  Любой элементарный исход имеет вероятность

Для того чтобы вероятность была конечно аддитивна

Вероятность любого события можно определить как

Априори – a priori, до опыта, т. е. с самого начала анализа до получения опытных данных.

Применять эту модель следует в тех случаях, когда априори ясно, что все исходы опыта симметричны (равновероятны).

Рассмотрим подробнее построение модели. Исходные данные для построения требуют, чтобы каждый элементарный исход имел одинаковую вероятность. Естественно потребовать, чтобы любое подмножество элементарных исходов было событием. Так как элементарные исходы образуют полную группу событий, то сумма их вероятностей должна быть равна 1, и из-за того, что все вероятности одинаковы, а количество элементарных исходов равно

имеем

Тогда для произвольного события A, используя конечную аддитивность вероятности получаем

Проверьте!

Нетрудно проверить, что так определенная функция P будет вероятностью, и что требованиям модели удовлетворяет только одна такая функция. Следовательно, математическая модель определена однозначно.

Связь классической вероятностной модели с комбинаторикой

Вычисления в классической модели сводятся к комбинаторной задаче определения количества элементов в множестве и его подмножествах. С другой стороны, если каким-либо иным образом узнать вероятность события в классической модели, то можно определить количество элементарных исходов в нем, т. е решить комбинаторную задачу методами теории вероятностей. Напомним некоторые формулы комбинаторики.

Основная формула комбинаторики

Пусть

и количество разных значений первой координаты равно n, а второй m. Тогда количество разных элементарных исходов равно m*n. Для доказательства достаточно представить все варианты в виде прямоугольной таблицы, строки которой пронумерованы значениями первой, а столбцы – второй координаты. Применяя индукцию можно распространить эту формулу на вектора с n координатами.

И этой формулы следует в частности, что количество всех двоичных векторов размерности n равно 2 n. И что количество всех подмножеств конечного множества с n элементами равно 2 n. И что количество различных вариантов выпадения очков на трех игральных костях равно 216. И т. д……

Факториал

Количество всех различных перестановок n различных чисел равно

Формула Стирлинга

Для приближенного вычисления факториалов больших чисел используется формула Стирлинга

Биномиальный коэффициент

Количество двоичных векторов размерности n с ровно k единицами равно

Бином Нютона

Полиномиальная формула

Схема выбора с возвращением

Частным случаем классической вероятностной модели является так называемая схема выбора с возвращением. Элементарный исход – это вектор

Схема является примером того, как можно строить сложные вероятностные модели из более простых. Эта схема применяется для описания ситуаций, в которых некоторый простой опыт с N возможными равновероятными исходами повторяется n раз.

Название схема получила от следующей ее интерпретации.

В урне находится N различных шаров. Из урны случайно вынимается один шар и записывается его номер

После этого шар возращается обратно в урну, и опыт поворяется снова (всего n раз).

Пример вычисления вероятности события в схеме выбора с возвращением.

Игральная кость бросается 20 раз. Найти вероятность того, что выпадет 2 единицы, 4 пятерки, 3 шестерки (событие A)

Решение.

В этом случае n=20, N=6.

Обратите внимание, что мы не ищем сразу вероятность исходного события, а придумываем как легче выразить это событие через другие, вероятность которых легче подсчитать

Найдем вначале вероятность того, что в результате опыта выпадет i1 единиц, i2 двоек, i3 троек, i4 четверок, i5 пятерок, i6 шестерок (событие A(i1, i2 , i3 , i4, i5 , i6 )). Для этого необходимо подсчитать количество элементарных исходов, удовлетворяющих этому требованию. Используя формулы комбинаторики получаем, что искомое количество равно Следовательно, вероятность равна В нашем случае Осталось сложить вероятности всех подходящих событий и найти вероятность A Суммирование ведется по всем возможным значениям индексов, удовлетворяющих условиям. В частности, по i1=1, по i2 от 1 до 6, по i3 от 1 до 6 и т. д.

Попробуйте вычислить эту вероятность.

Вычисление этой вероятности не так то просто даже при наличии компьютера. Для этого придется написать небольшую программу.

Схема выбора без возвращения

Схема выбора без возвращения отличается от предыдущей тем, что выбранный шар в урну не возвращается. Очевидно, что повторение опыта возможно лишь при n <=N. В этом случае

Соответствующий пример рассмотрим на семинаре.

Обе схемы являются частными случаями так называемой урновой схемы.

Урновая схема

Придумайте свою урновую схему и опишите ее в виде вероятностного пространства

Урновой схемой называется схема выбора, при которой в урне содержатся в некотором количестве шары разных цветов и после вынимания шара (или нескольких шаров) какого либо цвета в урну добавляются шары того же или иного (по некоторому правилу) цвета. Эти схемы можно использовать для описания более сложных опытов.

Общее определение вероятности для экспериментов с конечным или счетным числом исходов

Пусть пространство элементарных исходов конечно или счетно. Пусть сигма-алгебра событий наибольшая (содержит все подмножества пространства элементарных исходов). Тогда любое подмножество пространства элементарных исходов является событием, содержит не более счетного числа элементарных исходов, и любая вероятность может быть представлена следуюшим образом:

Если определить функцию

по формуле

,

то предыдущее равенство превратится в следующее

Таким образом, для дискретного пространства, если известны вероятности всех элементарных исходов, то можно найти вероятность любого события. Пользуясь счетностью пространства элементарных исходов можно перенумеровать все элементарные исходы

и определив последовательность

получим, что эта последовательность является последовательностью общих членов сходящегося числового ряда с суммой равной 1

Ряд

состоит из неотрицательных чисел, следовательно сходится абсолютно, и его сумма не зависит от перестановки (перенумерации) членов.

Таким образом с любой вероятностью на дискретном пространстве можно связать сходящийся числовой ряд с неотрицательными членами и единичной суммой.

Если исходная сигма - алгебра не наибольшая, то все сказанное остается верным. Таким образом на на счетном пространстве элементарных исходов существуют лишь вероятности указанного вида

Можно доказать обратное – с любым числовым рядом, обладающим указанными свойствами, можно связать вероятность по формуле

Дискретное распределение и вероятность

Последовательность pk называется дискретное распределение (вероятностей), если

Вероятность, определяемая формулой

называется дискретной вероятностью.

Равномерное распределение - классическая вероятностная модель

Распределение на конечном пространстве называется равномерное распределение, если

т. е., задав на конечном пространстве равномерное распределение, получим классическую вероятностную модель.

Биномиальное распределение – схема Бернулли

Пусть

- некоторые параметры (параметры распределения)

Воспользовавшись определением pk и биномом Ньютона, нетрудно проверить, что

Распределение на конечном пространстве называется биномиальное распределение, если

Указанное распределение возникает в следующей вероятностной схеме, называемой схема Бернулли.

Рассмотрим последовательность из n независимых (с точки зрения здравого или физического смысла) опытов, в каждом из которых может произойти или не произойти некоторое событие A (“успех”). Пусть нам известна вероятность p, того что событие А произойдет в одном опыте. Поставим задачу найти вероятность того, что в n опытах событие A произойдет ровно k раз.

Построим вероятностную модель этого эксперимента.

Если обозначить 1 наступление события A, то моделью одного опыта будет следующее вероятностное пространство:

p1(1)=p, p1(0)=1-p

Элементарный исход, описывающий эксперимент целиком, естествено определить как n-мерный двоичный вектор

Проверьте, что таким образом заданная функция является распределением и что события независимы в совокупности

Определим вероятность элементарного исхода так, чтобы исходы отдельных опытов были независимы в совокупности. где -  количество появлений события A

Теперь мы в состоянии подсчитать вероятность того, что в n опытах событие A произойдет ровно k раз. Обозначим это событие

Тогда

Говорят, что данная формула дает вероятность получить k успехов в n опытах. Отметим, что в крайних случаях, когда p=1 или p=0, неопределенность отсутствует – всегда либо все, либо ноль опытов заканчиваются успехами.

Мультиномиальное распределение – схема бросания частиц по ячейкам

Пусть

-  некоторые параметры (параметры распределения)

Воспользовавшись определением распределения и полиномиальной формулой, нетрудно проверить, что сумма вероятностей всех элементарных событий равна единице

Распределение на конечном пространстве, состоящем из целочисленных векторов называется мультиномиальное (полиномиальное) распределение, если

Указанное распределение возникает в следующей вероятностной схеме, называемой мультиномиальная (полиномиальная) схема или схема бросания частиц по ячейкам.

Рассмотрим последовательность из n независимых (с точки зрения здравого или физического смысла) опытов (бросание n частиц в N ячеек), в каждом из которых может произойти одно и только одно из событий A1,…,AN (Ai - попадание частицы в ячейку с номером i ). Пусть нам известна вероятность pi, того что событие Аi произойдет в одном опыте (вероятность того, что частица попадет в i-тую ячейку) Поставим задачу найти распределение количества частиц в ячейках после n бросаний - мультиномиальное распределение.

Эта схема обобщает схему выбора с возвращением и схему Бернулли.

Элементарный исход, описывающий эксперимент целиком, естествено определить как n-мерный вектор, каждая координата которого может принимать одно из N значений 1,2,…,N.

Так же как и в схеме Бернулли определим вероятность элементарного исхода так, чтобы исходы отдельных опытов были независимы в совокупности. Дальнейшие рассуждения аналогичны рассуждениям, примененным при выводе формул в примере для схемы выбора с возвращением.

Геометрическое распределение – испытания до первого успеха

Пусть

Используя формулу для суммы членов бесконечной геометрической прогрессии покажите, что таким образом заданная функция является распределением

Распределение на пространстве натуральных чисел называется геометрическое распределение, если

Указанное распределение возникает в следующей вероятностной схеме, называемой схема испытаний до первого успеха.

Рассмотрим последовательность из независимых (с точки зрения здравого или физического смысла) опытов, в каждом из которых может произойти или не произойти некоторое событие A (“успех”). Пусть нам известна вероятность p, того что событие А произойдет в одном опыте. Вероятность того, что в первый раз событие A произойдет в k – том опыте дается формулой