Теория вероятностей (стр. 1 )

Лекции для студентов специальности 220100 –Вычислительные машины, комплексы, системы и сети

Теория вероятностей

и

математическая статистика

Doc-To-Help Standard Manual

Алексей Михайлович Протасов

Содержание

Кафедра теории вероятностей и математической статистики.. 4

Теория вероятностей.. 4

Введение в теорию вероятностей.. 4

Предмет теории вероятностей. 4

Возникновение и развитие теории вероятностей. 4

До появления аксиоматики Колмогорова. 4

В наше время. 4

Необходимость теории вероятностей как науки. 5

Возможность анализа случайных явлений. 5

Расчет шансов и прогнозирование последствий. 5

Типичные ошибки при решении вероятностных задач без применения теории вероятностей. 5

Понимание природы вещей и причин явлений. 6

Парадокс движения автобусов. 6

Игра с тремя разными костями. 6

Новый язык для описания объектов. 6

Распространение вероятностной и статистической терминологии. 6

Примеры практических задач, при решении которых применяется теория вероятностей. 7

Расчет размера буфера в устройствах передачи и обработки информации. 7

Определение объема закупки товара или выпуска продукции на рынок. 8

Управление продажей авиабилетов. 8

Расчет надежности сложной системы.. 8

Оценка доли брака или стоимости коллекции. 8

Принятие типового решения в условиях неопределенности. 8

Примеры практических задач, при решении которых не стоит применять теорию вероятностей. 8

Принятие важного решения, от которого зависит успех всего проекта. 8

Игра по крупному. 8

Основные понятия и определения.. 9

Первичные понятия. 9

Опыт (эксперимент) 9

Элементарный исход. 9

Пространство элементарных исходов. 10

Определения. 10

Подмножества. 10

Операции над подмножествами. 11

Отношения между подмножествами. 12

Формулы.. 12

Полная группа подмножеств. 13

Алгебра и сигма-алгебра. 13

Случайные события. 14

Полная группа событий. 14

Конечно-аддитивная функция. 14

Счетно-аддитивная функция. 14

Мера. 14

Конечная мера. 14

Вероятность. 14

Вероятностное пространство. 15

Парадокс определения вероятностного пространства. 15

Независимые события. 15

Условная вероятность. 16

Свойства и теоремы.. 16

Простейшие свойства вероятности. 16

Дискретная вероятностная модель.. 17

Конечное пространство элементарных исходов. 17

Классическая вероятностная модель. 17

Связь классической вероятностной модели с комбинаторикой. 18

Основная формула комбинаторики. 19

Факториал. 19

Формула Стирлинга. 19

Биномиальный коэффициент. 19

Бином Нютона. 19

Полиномиальная формула. 19

Схема выбора с возвращением.. 19

Схема выбора без возвращения. 20

Урновая схема. 21

Общее определение вероятности для экспериментов с конечным или счетным числом исходов. 21

Дискретное распределение и вероятность. 22

Равномерное распределение - классическая вероятностная модель. 22

Биномиальное распределение – схема Бернулли. 22

Мультиномиальное распределение – схема бросания частиц по ячейкам.. 23

Геометрическое распределение – испытания до первого успеха. 24

Распределение Паскаля – испытания до m-того успеха. 25

Пуассоновское распределение - теорема Пуассона. 25

Независимость событий и условная вероятность. Построение моделей. 26

Независимость. 26

Различие между независимостью попарно и в совокупности. Пример Бернштейна. 26

Использование понятия независимости для построения моделей. Произведение вероятностных пространств. 27

Примеры построения моделей. 28

Условная вероятность. 32

Урновая схема. 32

Марковская зависимость. 34

Формула полной вероятности и формула Байеса. 35

Случайные величины... 36

Отображения вероятностных пространств. 36

Случайная величина. 37

Борелевская сигма-алгебра. 37

Определение случайной величины.. 37

Борелевская функция. 38

Примеры случайных величин. 38

Случайный вектор. 39

Распределения случайных величин и векторов.. 39

Функция распределения. 39

Дискретные распределения на прямой. 40

Вырожденное распределение. 40

Бернуллиевское распределение. 40

Биномиальное распределение. 41

Геометрическое распределение. 42

Пуассоновское распределение. 43

Произвольное дискретное распределение. 44

Функция распределения случайной величины.. 44

Непрерывные распределения на прямой. 44

Равномерное распределение на отрезке. 44

Мера Лебега на прямой. 46

Плотность распределения. 46

Вероятностный смысл плотности распределения. 47

Бета-распределение на отрезке [0,1] 48

Смеси распределений. 51

Нормальное (гауссовское) распределение. 52

Экспоненциальное (показательное) распределение. 54

Гамма-распределение. 55

Построение меры в конечномерном пространстве. 56

Борелевская сигма-алгебра в конечномерном пространстве. 56

Определение случайного вектора. 57

Мера Лебега в конечномерном пространстве. 58

Мера Лебега на квадрате - Задача о встрече. 58

Независимые случайные величины.. 58

Многомерное нормальное распределение. 59

Числовые характеристики случайных величин и векторов.. 60

Интеграл Лебега – математическое ожидание. 60

Свойства интеграла Лебега (математического ожидания) 61

Неравенства. 62

Вычисление математического ожидания. 65

Теорема Лебега о замене переменных. 65

Вычисление интеграла Лебега на прямой. 66

Вычисление числовых характеристик важных распределений. 67

Суммирование независимых случайных величин.. 68

Распределение суммы независимых случайных величин. 68

Распределение суммы двух независимых случайных величин. Формула свертки. 68

Плотность распределения суммы двух независимых случайных величин. 68

Кратные свертки. 69

Примеры вычисления распределения сумм независимых случайных величин. 69

Пуассоновский процесс. 70

Сходимость последовательностей случайных величин и их распределений.. 71

Сходимость по вероятности. 71

Сходимость в среднеквадратическом.. 71

Слабая сходимость распределений. 71

Взаимосвязь различных видов сходимости. 72

Закон больших чисел в форме Бернулли. 72

Предельные теоремы теории вероятностей.. 73

Схема суммирования независимых слагаемых. 73

Закон больших чисел в форме Чебышева. 73

Закон больших чисел в форме Хинчина. 74

Центральная предельная теорема в форме Леви. 74

Теорема Леви. 74

Теорема Муавра-Лапласа. 74

Условное математическое ожидание, условная плотность и условное распределение 75

Определение условного распределения и условной плотности. 75

Условное распределение. 75

Кафедра теории вероятностей и математической статистики

Кафедра находится на 4 этаже здания МГИЭМ на Б. Трехсвятительском пер. 3/12. Заведующий кафедрой – профессор, д. ф.-м. н ,академик Академии Криптографии,

Теория вероятностей

Введение в теорию вероятностей

Предмет теории вероятностей

Математическая модель - это средство описания объектов и процессов реального мира в математических терминах, с помощью первичных, неопределяемых символических объектов (точка, множество...) и строго определяемых отношений между ними (функция, оператор...).

Теория вероятностей – это математическая дисциплина, изучающая математические модели случайных явлений. Предметом теории вероятностей является математический аппарат для построения и анализа математических моделей случайных явлений, возникающих в науке, технике, экономике, бизнесе и повседневной деятельности людей. Важным следствием построения такой модели является возможность находить вероятности случайных событий.

Возникновение и развитие теории вероятностей

До появления аксиоматики Колмогорова

Развитие теории вероятностей как науки началось в середине XVII века в связи с расчетом шансов в азартных играх. Первые теоремы были доказаны Я. Бернулли и Муавром. В 1812 году появился первый большой трактат по теории вероятностей Лапласа. В это время теория вероятностей начинает применяться в естествознании, технике и военном деле (теория ошибок наблюдений, теория стрельбы). Во второй половине 19 века вероятностные методы уже используются в демографии, статистике и страховании. Первым российским математиком, внесшим значительный вклад в теорию вероятностей, был Чебышев, работы которого были продолжены Марковым и Ляпуновым.

В наше время

Современный период в развитии теории вероятностей начинается с работ Бернштейна, Бореля и Колмогорова. Теория вероятностей стала математической наукой в 1933 году после выхода книги Колмогорова "Основные понятия теории вероятностей", в которой предложена аксиоматика теории вероятностей. С помощью этой аксиоматики удалось объяснить многочисленные парадоксы теории вероятностей, в ее рамках теория вероятностей развивается до сих пор. Наиболее бурно развивающиеся сейчас разделы теории вероятностей это теория случайных процессов, стохастическая геометрия, статистические приложения теории вероятностей.

Необходимость теории вероятностей как науки

Теория вероятностей необходима тогда, когда требуется дать количественную оценку неопределенности, возникающей при анализе случайных явлений, предсказать наиболее вероятный исход опыта, оценить средние значения случайных факторов и отклонения от них, исследовать взаимосвязь явлений, между которыми нет жесткой зависимости. Теория вероятностей позволяет дать специальный язык для описания некоторых объектов реального мира. Методы теории вероятностей помогают анализировать большие объемы статистических данных и предлагать для них математические модели. Отказ от использования методов теории вероятностей при анализе даже простейших задач со случайными факторами или неправильное их применение может привести к значительным количественным ошибкам и ложным качественным заключениям.

Возможность анализа случайных явлений

Случайное явление – это представитель совокупности явлений, исход каждого из которых в отдельности непредсказуем, но которые все вместе подчиняются некоей общей закономерности.

Возможность анализа случайных явлений и получения точных количественных оценок основана на существовании объективной закономерности, которой подчиняется совокупность случайных явлений, рассматриваемая в целом. Например, невозможно предсказать, какая сторона монеты выпадет при конкретном бросании, но из опыта известно, что при большом числе бросаний симметричной монеты количество гербов и решек будет приблизительно одинаково.

Расчет шансов и прогнозирование последствий

Первые задачи на расчет вероятностей были связаны с анализом азартных игр. Знание шансов различных вариантов выпадения игральных костей может помочь в правильном определении ставок, знание вероятности появления в прикупе нужной комбинации карт может помочь принять правильное решение о выборе варианта игры. Первые ошибки в расчетах были связаны также с азартными играми.

Типичные ошибки при решении вероятностных задач без применения теории вероятностей

Ошибка шевалье де Мере (XVII век)

Рассмотрим опыт, состоящий в бросании трех симметричных игральных костей. Наблюдается сумма очков на их верхних гранях.

Вопрос:

Какое значение суммы вероятней – 11 или 12? Подсчет де Мере показывал, что шансы одинаковы, однако на опыте 11 выпадало чаще. Правильный ответ на вопрос Почему? дал Паскаль.

Ошибка Д’Аламбера

В семье из двух детей могут быть два мальчика, две девочки или мальчик и девочка. Следовательно, вероятность того, что в семье есть мальчик, равна (по Д'Аламберу) 2/3. На практике, однако, доля семей с двумя детьми, из которых один мальчик, близка к 1/2 . Почему?

Задача о днях рождения

Более половины всех типичных (24-30 студентов) студенческих групп содержат как минимум двух студентов с одинаковыми днями рождения. Опрос студентов о шансах такого совпадения дает величину вероятности порядка одной сотой - одной десятой. Почему вероятность > 0.5?

Понимание природы вещей и причин явлений

В результате занятий теорией вероятностей возникает так называемая вероятностная интуиция, помогающая лучше понимать природу окружающего мира и причины явлений. Принятие решений становится более обоснованным.

Парадокс движения автобусов

Интервал движения автобусов в среднем 10 минут. На первый взгляд кажется, что среднее время ожидания автобуса на остановке – 5 минут. Однако на практике оно больше, и может составлять те же 10 минут или даже больше. Почему?

Игра с тремя разными костями

Правила игры просты: На 18 гранях трех игральных костей проставлены разные числа от 1 до 18. Игрок предлагает Вам на выбор любую игральную кость из трех. После этого он выбирает себе одну из оставшихся и предлагает Вам бросить эту пару костей. Если на Вашей кости выпадет больше, то выигрыш Ваш. Вы имеете полную возможность выбрать "наилучшую" кость из трех, попробовать снова и снова. Почему же Вы чаще проигрываете, чем выигрываете?

Новый язык для описания объектов

Теория вероятностей дала точное определение многим обыденным понятиям (вероятность, среднее значение …) и ввела в повседневный обиход много специальных терминов (математическое ожидание, корреляция, гауссовское распределение…)

Распространение вероятностной и статистической терминологии

В настоящее время вероятностная и статистическая терминология начала широко распространяться. Приведу несколько произвольных примеров, взятых из Интернет. Не считайте использование этой терминологии в данных примерах обязательно удачным.

"Еще первобытный вождь понимал, что у десятка охотников вероятность поразить копьем зубра гораздо больше, чем у одного" – из статьи о теории вероятностей - http://fmf. biysk. *****/pub/Starowikova/Teoria. html

"В теории вероятности различаю БЕЗУСЛОВНУЮ и УСЛОВНУЮ вероятность: 50% - это БЕЗУСЛОВНАЯ вероятность движения цены вверх или вниз. Но если Вы собираетесь на нее "опираться", то, - с учетом накладных расходов, - математическое ожидание Вашего дохода... весьма плачевно ;-))) : : Если уж обсуждать, а тем более - применять теорию вероятности, то нужно использовать УСЛОВНУЮ вероятность, где условием каждый раз является некоторое описание "инерции" рынка в момент принятия решения об открытии позиции" – из обсуждения на форуме в Интернет

"Мы будем считать, что для любого (в том числе и российского) общества состояние культуры общества может быть описано при помощи некой гауссообразной кривой, причем ордината каждой точки на этой кривой есть уровень культуры." – из статьи "ОБЩЕСТВЕННЫЙ КРИЗИС В РОССИИ. ПОИСК ПУТЕЙ ПРЕОДОЛЕНИЯ".Л Балеева.

"Поясните, пожалуйста: если цена актива описывается случайным процессом (типа броуновского движения) с гауссовским распределением относительных изменений цен (или в общем случае симметричным относительно нуля), то возможно ли создание прибыльной торговой системы?" – из переписки в конференции "Форум РТС для аналитиков".

Примеры практических задач, при решении которых применяется теория вероятностей

Область практических приложений теории вероятностей очень широка и будет расширяться в дальнейшем.

Расчет размера буфера в устройствах передачи и обработки информации

Потоки информации в информационных системах и устройствах передачи данных заранее предсказать невозможно. Для уменьшения потерь и ускорения обработки информации предусматриваются буферные устройства и кэши. Как рассчитать необходимые размеры буфера и кэша, позволяющие с минимумом затрат добиться заданного качества?

Определение объема закупки товара или выпуска продукции на рынок

Сколько мороженого заказать для продажи на завтрашнем футбольном матче? Какой объем партии продукта разумно разместить для продажи на заданном рынке? Как добиться максимальной прибыли от вложения средств – ведь будущий спрос случаен.

Управление продажей авиабилетов

Действительно, так и делают.

Нельзя ли зная статистику продаж билетов на авиарейсы определить оптимальные тарифы на них? Как сделать так, чтобы пассажир, готовый выложить 600$ за 200$-ый билет, выложил их, и позволил авиакомпании перевезти на свободных местах еще трех студентов со скидкой?

Расчет надежности сложной системы

Если из 10 ракет долетело 8, то надежность равна 80%.

Как сделать так, чтобы для проверки надежности баллистической ракеты, нацеленной на Пентагон, не пришлось запускать ее десять раз по цели?

Оценка доли брака или стоимости коллекции

Цена бриллианта очень сильно зависит от его физических параметров. Ценность мешка бриллиантов не связана его весом.

Как проверить качество партии жвачки, не жуя каждую пластинку? Как оценить качество патронов, не расходуя их всех? Сколько их действительно надо проверить, чтобы не проиграть войну? Как оценить мешок бриллиантов, не оценивая каждый камушек в отдельности?

Принятие типового решения в условиях неопределенности

Теория вероятностей хорошо подходит для обоснования стратегии, решения или способа поведения в повторяющихся (типовых) ситуациях, когда можно, построив математическую модель объекта или процесса, заранее рассчитать наиболее верное решение и его последствия.

Задача о студенте на экзамене

Студент знает только 20 билетов из 30. Каким по порядку ему лучше идти на экзамен, чтобы вероятность получить хороший билет была наибольшей?

Примеры практических задач, при решении которых не стоит применять теорию вероятностей

В некоторых случаях теорию вероятностей лучше не применять

Принятие важного решения, от которого зависит успех всего проекта

Неопределенность присутствует во многих практических задачах, но не всегда она является случайностью в рассматриваемом в теории вероятностей смысле. Например, решение участвовать в крупном проекте, требующем значительных затрат, должно учитывать положение на фондовом рынке. Если успех проекта зависит от неизвестного фактора, то не стоит считать его случайным. Полезнее оценить его возможные значения и принять решение, которое минимизирует потери при наихудшем развитии событий.

Игра по крупному

Если у Вас всего 1000$, то играть в игру, ставка в которой 1000$, не стоит даже, если шансы выиграть равны 60%. Если у Вас в кармане миллион, то играть в такую игру Вам чем чаще, тем выгодней.

Основные понятия и определения

Первичные понятия

Опыт (эксперимент)

Одним из важнейших этапов в построении математической модели случайного объекта или процесса является его описание в первичных терминах. В теории вероятностей принято называть это описание описанием опыта или эксперимента. Основным в этом описании является определение элементарного исхода опыта. Главная трудность при построении математической модели состоит в том, что одному случайному явлению можно сопоставить бесчисленное множество разных описаний в виде опыта и, соответственно, разных вариантов элементарных исходов.

Элементарный исход

Элементарный исход является первичным понятием, и пояснить его можно только на примере. Элементарный исход является мельчайшей неделимой единицей описания опыта, мельчайшим случайным событием. Предполагается, что у одного опыта одновременно не может произойти два разных элементарных исхода. Например,

1. Опыт: бросание монеты

Элементарные исходы: герб, решка – всего два различных исхода

2. Опыт: бросание игральной кости

Элементарные исходы, 1 вариант: число очков на верхней грани –6 исходов

Элементарные исходы, 2 вариант: выпала четная или нечетная грань –2 исхода

3.Опыт: бросание двух игральных костей

3.1 Элементарные исходы, 1 вариант: выпало в сумме 6 очков или не выпало –2 исхода

3.2 Элементарные исходы, 2 вариант: выпало в сумме 7 очков или не выпало –2 исхода

3.3 Элементарные исходы, 3 вариант: сумма выпавших очков – 11 исходов

3.4 Элементарные исходы, 4 вариант: числа очков на костях без различения игральных костей [{1,1},{1,2},{1,3},{1,4},{1,5},{1,6},{2,2},{2,3},{2,4},{2,5},{2,6}, {3,3}…] – 21 исход

3.5 Элементарные исходы, 5 вариант: числа очков на костях без c различением игральных костей [(1,1),(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(2,2),…] –36 исходов

Пространство элементарных исходов

Мощность множества измеряется не в лошадиных силах, а в кардинальных числах. Бывают множества с конечной, счетной, континуум мощностью и даже больше. Если элементы множества можно пересчитать, но оно не конечное, то оно счетное.

Множество элементарных исходов опыта в теории вероятностей называется пространством элементарных исходов. Элементарные исходы являются элементами (точками) этого множества. В предыдущих примерах видно, что одному реальному опыту можно сопоставить несколько описаний пространства элементарных исходов. Таким образом, для описания экспериментов в качестве первичных математических понятий используются множества. В своей общей части теория вероятностей не использует никаких специфических свойств элементарных исходов и множеств, кроме числа элементов в них или их мощности. Поэтому любые два пространства элементарных исходов с одинаковым числом элементов или одинаковой мощностью с точки зрения теории вероятностей эквивалентны. Например, в опыте с бросанием монеты мы можем выбрать в качестве исходов слова "герб" и "решка" или числа "0" и "1". Обозначается пространство элементарных исходов обычно так: а сам элементарный исход так Можно записать отношение между пространством элементарных исходов и элементарными исходами так

Советы по построению пространства элементарных исходов.

Имейте в виду задачу, которую вы хотите решить - то случайное событие, вероятность которого вам необходимо найти, должно описываться с помощью указания элементарных исходов, приводящих к этому событию.

На первых порах старайтесь вводить наиболее детальное описание опыта, – потом начнете понимать, в каких случаях можно, без ущерба для конечного результата, упростить модель.

Между разными подходящими моделями предпочтительнее выглядит модель, в которой элементарные исходы симметричны и равновероятны.

Очень удобно выбирать элементарные исходы в виде векторов, размерность которых равна количеству различных случайных факторов (источников) в случайном явлении, а координаты которых соответствуют различным вариантам значений этих факторов. Например, при бросании двух костей элементарный исход имеет размерность 2 и каждая координата 6 значений. При одновременном бросании монеты и кости вектор имеет размерность 2, первая координата 2 значения, вторая – 6 (или наоборот). Если бросаем 10 монет, то в качестве пространства элементарных исходов можно взять множество различных двоичных векторов размерности 10 из нулей и единиц.

Определения

Подмножества

Если пространство элементарных исходов определено, то появляется возможность описать любое событие, происшедшее в опыте, просто указав, какие элементарные исходы ему соответствуют.

Пример.3.5 Элементарные исходы, 5 вариант: числа очков на костях без различения игральных костей [(1,1),(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(2,2),…] –36 исходов.

Элементарный исход можно представить в виде

,

где i – число очков на первой кости, j – второй кости.

Тогда событие «на двух костях выпало в сумме 7 очков» можно представить в виде следующего подмножества элементарных исходов:

Заметим, что порядок перечисления элементарных исходов может быть произвольным. В дальнейшем подмножества пространства элементарных исходов будем обозначать большими латинскими буквами A, B, C…

A =

Пустое подмножество обозначим

Так как пустое подмножество не содержит никаких элементарных исходов, в теории вероятностей оно обозначает невозможное событие.

Множество всех элементарных событий W называется, естественно, достоверное событие.

Элементарный исход как случайное событие представляет собой простейшее одноточечное подмножество.

Операции над подмножествами

Стандартные операции над подмножествами, естественно, применяются в теории вероятностей и имеют вероятностную интерпретацию.

Дополнение

Дополнение до подмножества A - это подмножество

т. е. дополнением к A является подмножество, включающее в себя все элементарные исходы, не содержащиеся в A. С точки зрения теории вероятностей подмножество A представляет событие, которое естественно назвать отрицание A или не-A. Т. е. A в опыте не произошло («не наступило»).

Объединение

Объединением двух подмножеств A и B является подмножество

Соответственно и интерпретация : произошло или A или B.

Пересечение

Пересечением двух подмножеств : A и B является подмножество

Соответственно и интерпретация : и A и B произошли одновременно.

Разность

Разностью двух подмножеств A и B является подмножество

Соответственно и интерпретация : A произошло, B - нет.

Симметричная разность

Симметричной разностью двух подмножеств A и B является подмножество

Соответственно и интерпретация : произошло только одно из этих двух событий.

Количество элементов в подмножестве

Если количество элементов в подмножестве A конечно, то будем обозначать его так

Отношения между подмножествами

Вложение

Подмножество В вложено в подмножество A, если любой элементарный исход, содержащийся в B также содержится и в A.

Интерпретация:

Стрелкой будем пользоваться также и для утверждений типа: “из A следует B” в формулировках определений и теорем

из B следует A

Т. е, если произошло B, то произошло и A.

Несовместность

Подмножества A и B называются несовместными (непересекающимися), если они не содержат общих элементарных исходов.

В теории вероятностей это означает, что A и B одновременно произойти не могут.

Противоположность

Подмножества A и B называются противоположными или дополнительными друг к другу, если они несовместны и их объединение достоверно.

В теории вероятностей это означает, что в опыте обязательно произойдет одно и только одно из этих событий.

Формулы

Для доказательства равенства двух подмножеств A и B достаточно показать, что A вложено в B, и что B вложено в A

Следующие формулы позволяют выразить одни операции с подмножествами через другие. Доказательства проведите сами.

Полная группа подмножеств

Полной группой подмножеств называется конечный набор или счетная последовательность попарно несовместных подмножеств объединение которых достоверно: