Элементы теории вероятностей и математической статистики (стр. 1 )

Министерство образования Российской Федерации

Южно-Уральский государственный университет

Кафедра “Естественные науки”

519

Б484

ЭЛЕМЕНТЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ

И МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ

Учебное пособие

Челябинск

Издательство ЮУрГУ

2003

УДК 519.2(07)

Родионов теории вероятностей и математической статистики: Учебное пособие. — Челябинск: Изд-во ЮУрГУ, 2003. — 80 с.

В учебном пособии излагаются основные разделы теории вероятностей и математической статистики. Большое внимание уделяется функциональным преобразованиям случайных величин и векторов, а также комплексным случайным векторам. Рассмотрены байессовский и не байессовский подходы к задаче оценки параметров и проверки статистических гипотез. Пособие может быть рекомендовано студентам технических специальностей вузов.

Ил. 19, табл. 4, список лит. — 5 назв.

Одобрено учебно-методическим советом филиала ЮУрГУ в г. Кыштыме.

Рецензенты: , .

Ó Издательство ЮУрГУ, 2003.

Оглавление

1. Основные понятия теории вероятностей.. 4

1.1. События. Операции над событиями.. 4

1.2. Вероятность. Аксиомы вероятности.. 6

1.3. Условная вероятность. 7

1.4. Независимость событий.. 7

1.5. Формула полной вероятности.. 9

1.6. Формула Байеса.. 13

2. Случайные величины... 16

2.1. Функция распределения случайной величины и ее свойства. 16

2.2. Дискретные случайные величины. 18

2.3. Непрерывные случайные величины... 19

2.3.1. Плотность распределения вероятностей и ее свойства. 20

2.3.2. Обобщение понятия плотности распределения вероятности. 23

2.4. Числовые характеристики случайной величины... 25

2.5. Характеристическая функция случайной величины... 27

2.6. Функциональные преобразования случайных величин.. 29

3. Случайные векторы... 35

3.1. Векторы и матрицы... 35

3.2. Случайные векторы... 37

3.3. Функция распределения случайного вектора и ее свойства.. 38

3.4. Плотность распределения случайного вектора и ее свойства.. 38

3.5. Условная плотность распределения случайного вектора. Независимость случайных величин. 39

3.6. Числовые характеристики случайного вектора.. 42

3.7. Корреляционная и ковариационная матрицы случайного вектора. Коэффициент корреляции.. 43

3.8. Характеристическая функция.. 46

3.9. Гауссовский случайный вектор. 46

3.10. Функциональные преобразования случайного вектора.. 50

3.10.1. Закон распределения суммы двух случайных величин. 51

3.10.2. Закон распределения разности двух случайных величин. 52

3.10.3. Закон распределения произведения двух случайных величин. 53

3.10.4. Закон распределения отношения двух случайных величин. 54

3.10.5. Закон распределения модуля и фазы гауссовского случайного вектора. 54

3.11. Комплексные случайные величины и векторы... 56

4. Математическая статистика.. 61

4.1. Методы статистического описания результатов наблюдений.. 61

4.2. Оценка параметров распределения по результатам наблюдения случайной величины... 63

4.2.1. Квадратичная функция потерь. 65

4.2.2. Простая функция потерь. 67

4.2.3. Оценки максимального правдоподобия. 69

4.2.4. Доверительные интервалы и доверительная вероятность. 72

4.3. Проверка статистических гипотез. 74

4.3.1. Критерий Неймана-Пирсона. 76

Библиографический список.. 80

1. Основные понятия теории вероятностей

1.1. События. Операции над событиями

При проведении любого эксперимента можно заранее определить возможные исходы этого эксперимента, которые составляют множество возможных исходов, обозначаемое W.

Например, при бросании монеты возможные исходы эксперимента — это выпадение «орла» (О) или «решки» (Р). Другие возможные исходы, как, например пропадание монеты или установка монеты на ребро, в этой модели не учитываются. При бросании шестигранной игральной кости возможные исходы эксперимента — это выпадение одной из граней 1, 2, 3, 4, 5, 6. Также установка кости на одно из ребер или ее пропадание не учитываются.

Сами возможные исходы эксперимента называются элементарными событиями (обозначаются w), а множество возможных исходов — множеством элементарных событий W ().

При проведении эксперимента во многих случаях интересуются не только элементарными исходами, а некоторой совокупностью элементарных исходов, удовлетворяющих какому-либо условию. Например, при бросании игральной кости может представлять интерес событие, заключающееся в выпадении четного числа очков, или событие, заключающееся в том, что число выпавших очков меньше 5 и т. д.

Такие события состоят из некоторого множества элементарных событий и в этом смысле являются подмножествами множества элементарных событий. То есть . Причем . С этой точки зрения само множество элементарных событий также является событием и называется достоверным событием.

Определение. Любое подмножество множества элементарных событий называется событием.

Пустое множество (множество, не содержащее элементов) также является событием, которое называется невозможным событием и обозначается .

Таким образом, если А событие, то .

Так как любое событие это некоторое множество, то все теоретико-множественные операции допустимы над событиями, которые в теории вероятностей имеют следующий смысл.

Таблица 1

В теории множеств	В теории вероятностей
— объединение множеств	— сумма событий
— пересечение множеств	— произведение событий
— дополнение А до универсального множества W	Событие, противоположное А.

Поясним, что означает термин «событие А произошло». Это означает, что исход эксперимента принадлежит множеству А, то есть при проведении эксперимента произошло хотя бы одно элементарное событие, принадлежащее множеству А.

Теперь дадим теоретико-вероятностную трактовку приведенным выше операциям над событиями.

. Событие С происходит тогда и только тогда, когда произойдет событие А или событие B или эти события произойдут совместно.

. Событие С произойдет тогда и только тогда, когда совместно произойдут события А и B.

происходит тогда и только тогда, когда не происходит событие А.

W — происходит всегда.

- не происходит никогда.

Определение. События А и B называются несовместными, если .

Очевидно, что .

Определение. Совокупность событий составляет полную группу событий, если они попарно несовместны и сумма этих событий есть достоверное событие.

То есть, и .

Полную группу событий графически можно изобразить так (рис. 1):

Рис. 1

Операции над событиями обладают следующими свойствами.

1.  Переместительный закон:

.

2.  Сочетательный закон:

.

3.  Распределительный закон:

.

Очевидны также следующие свойства:

.

1.2. Вероятность. Аксиомы вероятности

Каждому событию А может быть сопоставлено некоторое число, которое называется вероятностью этого события. Таким образом, вероятность события А (обозначается ) есть некоторая функция, областью определения которой являются события, а областью значений числовая ось. Такая функция называется функцией множеств.

Для того чтобы некоторая функция множеств являлась вероятностью, она должна удовлетворять следующей системе аксиом, предложенной советским ученым [[1]].

1.  Для достоверного события: , для любого события А: .

2.  Для любых двух несовместных событий А и B (): .

3.  Если имеется счетное множество несовместных событий при , то

.

Докажем, что вероятность невозможного события равна нулю.

Из свойств событий вытекает, что . Тогда применяя вторую аксиому вероятности, получим: . Откуда следует: .

Найдем вероятность суммы двух произвольных событий.

Чтобы применить вторую аксиому вероятности нужно сумму двух произвольных событий представить в виде суммы несовместных событий. Исходя из теоретико-вероятностной трактовки суммы событий, следует, что событие С=А+B произойдет тогда и только тогда, когда произойдет только событие А и не произойдет событие B, или произойдет только событие B и не произойдет А, или совместно произойдут события А и B: .

Покажем справедливость этого равенства и что эти события несовместны.

Так как А=А+А, то, прибавив в правой части равенства событие , получим:

.

Несовместность: и т. д.

Таким образом, в соответствии со второй аксиомой вероятности: .

Заметим, что . Откуда

, . То есть:

. Откуда получаем:

.

Нетрудно установить связь между вероятностями противоположных событий: . Или .

1.3. Условная вероятность

Рассмотрим следующую задачу. В урне имеется 5 белых и 7 черных шаров. Очевидно, вероятность вытянуть белый шар из урны в этом эксперименте равна 5/12.

Рассмотрим другой эксперимент с этой же урной. Известно, что некто уже вытащил белый шар из этой урны. Какова вероятность вынуть белый шар из урны в этом эксперименте? Очевидно 4/11. Эти эксперименты чем - то отличаются? Да, перед проведением второго эксперимента произошло событие: из урны удалили белый шар. Тем самым вероятности событий во втором эксперименте изменились.

Такие измененные вероятности называются условными вероятностями событий при условии, что некоторое событие произошло.

Если до наступления события B с вероятностным экспериментом связывалось множество элементарных событий W, то после того, как произошло событие B, вероятностный эксперимент изменился, и достоверным событием теперь стало не все множество W, а событие B. Все возможные события в этом новом эксперименте теперь являются подмножествами этого множества B.

Таким образом, вероятность любого события А в этом новом эксперименте определяется соотношением: .

Событие в числителе – это множество всех исходов события А, которые также принадлежат и В (так как событие В произошло). Деление на вероятность события В - для нормировки, так как событие В стало достоверным ().

Определение. Условной вероятностью события А при условии, что событие B произошло, называется следующее соотношение: ().

Из этого определения вытекает формула умножения вероятностей:

 

.

Связь условных вероятностей между собой:

 

— формула Байеса.

Очень важными понятиями в теории вероятностей являются понятия статистической зависимости и статистической независимости событий.

1.4. Независимость событий

Определение. События А и В называются статистически независимыми, если и статистически зависимыми в противном случае.

Не надо путать статистическую зависимость с функциональной (детерминированной, не случайной) зависимостью. Если события связаны функциональной зависимостью, то они и статистически зависимы. С другой стороны существование статистической зависимости не гарантирует наличие функциональной зависимости. Например, между ростом и весом человека существует статистическая зависимость, но нет функциональной зависимости. С другой стороны, между напряжением и током через резистор существует функциональная зависимость и, следовательно, статистическая тоже.

Очевидно, что если события А и В независимы, то и .

Докажем последнее равенство.

Так как , то .

Откуда .

Для совокупности событий различают попарную независимость событий и независимость событий в совокупности.

Определение Пусть — некоторая совокупность событий. События этой совокупности называются попарно независимыми, если . События называются независимыми в совокупности, если .

События могут быть попарно независимыми, но зависимыми в совокупности и наоборот.

Пример [[2]]

Одним из методов проверки достоверности передачи двоичного кода по линии связи является, так называемая, проверка на четность (нечетность). Пусть передаются два информационных бита и один контрольный так, что по модулю 2 (перенос в старший разряд теряется). Биты независимы и с равной вероятностью принимают значения 0 и 1. Очевидно, что бит функционально зависит от , следовательно, зависит и статистически. То есть события должны быть зависимы в совокупности.

По условию задачи и .

Найдем вероятности событий .

Рассмотрим таблицу возможных исходов эксперимента.

Таблица 2

x1	x2	x3
0	0	1
0	1	0
1	0	0
1	1	1

По условию задачи все исходы эксперимента равновозможные, то есть имеют вероятность 1/4.

Очевидно (Бит четности равен нулю тогда и только тогда, когда только один из информационных бит равен 1).

.

, .

То есть события попарно независимы.

С другой стороны , так как это событие невозможное (в таблице исходов эксперимента нет строчки, содержащей все нули).

Таким образом, эти события зависимы в совокупности.

Покажем, что могут быть события, которые являются независимыми в совокупности, но попарно зависимыми.

Пусть имеется множество равновозможных пар чисел . Рассмотрим события:

, , .

Заметим, что эти события независимы в совокупности, так как

.

С другой стороны эти события попарно зависимы, так как

. .

Контрольный вопрос: являются ли независимыми несовместные события?

При практическом вычислении вероятностей событий обычно применяется вторая аксиома вероятности. Для этого надо разложить искомое событие на сумму несовместных событий, вероятности которых легко рассчитываются, и просуммировать соответствующие вероятности.

В этом помогает рассматриваемая ниже формула полной вероятности.

1.5. Формула полной вероятности

Формула полной вероятности. Пусть полная группа событий. В — событие, вероятность которого необходимо найти. Тогда, .

Доказательство. Так как - полная группа событий, то справедливы следующие соотношения: , .

Заметим, что события попарно несовместны, поэтому к сумме событий может быть применена вторая аксиома вероятности: .

По правилу вычисления вероятности произведения событий: . Откуда получаем: .

Рассмотрим примеры задач, в которых применяется формула полной вероятности.

Формулировки задач взяты из [[3]].

Пример 1

В продажу поступают телевизоры трех заводов. Продукция первого завода содержит 20% телевизоров со скрытым дефектом, второго — 10% и третьего — 5%. Какова вероятность приобрести исправный телевизор, если в магазин поступило 30% телевизоров с первого завода, 20% — со второго 50% — с третьего?

Решение задачи

Пусть В — событие, вероятность которого необходимо найти, то есть приобретение исправного телевизора.

Определим события, составляющие полную группу. В магазине могут быть только: А1 — телевизоры 1-го завода; А2 — телевизоры 2-го завода и А3 — телевизоры 3-го завода.

Очевидно А1+А2+А3=W — все телевизоры в магазине. А1А2=Ø, А1А3=Ø, А2А3=Ø.

Вычислим условную вероятность события В при условии, что событие А1 произошло. То есть это вероятность купить исправный телевизор, при выборе телевизора только из продукции первого завода. Очевидно: P(B/A1)=0,8. Аналогично вычислим: P(B/A2)=0,9, P(B/A3)=0,95.

Из условия задачи следует: P(A1)=0,3, P(A2)=0,2, P(A3)=0,5.

Применяя формулу полной вероятности, получим:

P(B)=P(B/A1)P(A1)+P(B/A2)P(A2)+P(B/A3)P(A3)=0,8·0,3+0,9·0,2+0,95·0,5=0,895.

Ответ: Вероятность купить исправный телевизор равна 0,895.

Пример 2

Два цеха штампуют однотипные детали. Первый цех дает a% брака, второй — b%. Для контроля отобрано n1 деталей из первого цеха и n2 из второго. Эти детали смешаны в одну партию и из нее наудачу извлекают одну деталь. Какова вероятность того, что она бракованная?

Решение задачи

В — событие, вероятность которого мы хотим найти: извлеченная деталь — бракованная.

Какие события из условия задачи составляют полную группу?

А1 — в партии детали первого цеха, А2 — в партии детали второго цеха.

Очевидно: P(A1)=n1/(n1+n2), P(A2)=n2/(n1+n2).

Определим условные вероятности: P(B/A1) — вероятность извлечь бракованную деталь при условии, что в партии детали только первого цеха. Ясно, что P(B/A1)= a/100.

Аналогично: P(B/A2)=b/100.

По формуле полной вероятности искомая вероятность равна:

P(B)=P(B/A1)P(A1)+P(B/A2)P(A2)= a/100·n1/(n1+n2)+ b/100·n2/(n1+n2).

Пример 3

На рисунке 2 изображена схема дорог. Туристы выходят из пункта П1, выбирая каждый раз на развилке дорог дальнейший путь наудачу. Какова вероятность, что они попадут в пункт П2?

Рис. 2

Решение задачи

Событие В — попасть из пункта П1 в пункт П2.

Определим события, составляющие полную группу. Это все пути, приводящие из пункта П1 в первую развилку. В соответствии с рисунком обозначим их сверху вниз А1, А2, А3, А4. Вероятности этих событий равны 1/4.

Найдем условные вероятности событий P(B/Ai).

Вероятность попасть в пункт П2, если туристы выбрали путь А1, равна 1/3, если выбрали путь А2 — 1/2, если выбрали путь А3 — 1, если выбрали путь А4 — 2/5.

По формуле полной вероятности:

P(B)= 1/4·(1/3+1/2+1+2/5)=67/120.

Пример 4

Из десяти студентов, пришедших сдавать экзамен по теории вероятностей и взявших билеты, Иванов и Петров знают 20 билетов из 30, Сидоров плохо занимался весь семестр и знает только 15 билетов, остальные студенты знают все 30 билетов. По прошествии отведенного времени на подготовку экзаменатор наудачу вызывает отвечать одного из студентов. Какова вероятность того, что вызванный сдал экзамен, если знание билета гарантирует сдачу экзамена с вероятностью 0,85, а при незнании билета можно сдать экзамен лишь с вероятностью 0,1?

Решение задачи

Событие В — вызванный отвечать студент сдал экзамен.

События, составляющие полную группу:

А1 — вызвали Иванова или Петрова; А2 — вызвали Сидорова; А3 — вызвали кого-либо из остальных студентов.

Вероятности этих событий: P(A1)=2/10, P(A2)=1/10, P(A3)=7/10.

Условные вероятности событий: P(B/A1) — вероятность сдать экзамен Иванову или Петрову, P(B/A2) — вероятность сдать экзамен Сидорову, P(B/A3) — вероятность сдать экзамен кому-либо из остальных студентов.

Рассмотрим, какова вероятность сдать экзамен Иванову или Петрову. Эту вероятность также нужно вычислять по формуле полной вероятности. Полную группу событий в этом случае составляют события: H1 — взят билет, который знаешь и H2 — взят билет, который не знаешь.

Следовательно: P(B/A1)=P(B/A1H1)P(H1)+P(B/A1H2)P(H2).

Здесь P(B/A1H1) — условная вероятность сдать экзамен при условии, что сдает экзамен Иванов или Петров, и они вытянули билет, который знают. По условию задачи эта вероятность равна 0,85. Очевидно P(B/A1H2)=0,1.

Следовательно, P(B/A1)=0,85·20/30+0,1·10/30=0,6.

Таким же образом подсчитаем остальные условные вероятности:

Для Сидорова вероятности событий Н1 и Н2 другие, чем для Иванова и Петрова!

P(B/A2)= P(B/A2H1)P(H1)+P(B/A2H2)P(H2)=0,85·15/30+0,1·15/30=0,475.

Для остальных студентов P(H1)=1, P(H2)=0.

Р(В/А3)=0,85.

Окончательный результат:

Р(В)=Р(В/А1)Р(А1)+Р(В/А2)Р(А2)+Р(В/А3)Р(А3)=0,6·0,2+0,475·0,1+0,85·0,7=0,7625.

Пример 5

Шесть шаров, среди которых 3 белых и 3 черных, распределены по двум урнам. Наудачу выбирается урна, а из нее один шар. Как нужно распределить шары по урнам, чтобы вероятность вынуть белый шар была максимальной?

Решение задачи

Пусть в первой урне X белых и Y черных шаров, тогда во второй урне 3–X белых и 3–Y черных шаров.