Элементы теории вероятностей и математической статистики (стр. 4 )

.

Квадратная матрица называется симметрической, если .

Симметрическая матрица называется неотрицательно определенной, если.

Вектор можно рассматривать как матрицу размером , а вектор - как матрицу размером .

Пусть А матрица размером , В — матрица размером , тогда можно определить произведение матриц: . Элементы матрицы С определяются по формуле: .

Для произведения матриц справедливы соотношения: .

Если квадратная матрица А имеет определитель , не равный нулю, то она имеет обратную матрицу . Справедливы следующие соотношения:

.

3.2. Случайные векторы

Ранее мы ввели понятие случайной величины, как вероятностного эксперимента, исходами которого являются числа. По аналогии случайный вектор — это вероятностный эксперимент, исходами которого являются совокупность чисел — числовой вектор.

Случайные вектора будем обозначать жирными греческими буквами , а составляющие этот вектор случайные величины греческими буквами с индексом: .

Все события, связанные со случайным вектором — это подмножества n-мерного пространства .

Борелевская s-алгебра в пространстве строится из параллелепипедов с помощью счетного числа операций объединения, пересечения и дополнения.

3.3. Функция распределения случайного вектора и ее свойства

Также как и случайная величина, случайный вектор полностью определяется свой функцией распределения.

Определение. Функцией распределения случайного вектора называется функция n переменных, удовлетворяющая условию:

Свойства функции распределения.

1. ;

2.

3.

4. Функция распределения непрерывна слева по каждому аргументу и имеет пределы справа по каждому аргументу.

5. Функция распределения является неубывающей функцией по каждому аргументу.

Первое, второе и третье свойства вытекают непосредственно из определения. Четвертое и пятое свойства доказываются точно так же, как для функции распределения случайной величины.

Также как и случайные величины, случайные вектора подразделяются на дискретные, непрерывные и смешанные.

Свойство 3. показывает связь функции распределения последовательности из n случайных величин с функцией распределения последовательности из меньшего числа случайных величин.

Функция распределения n случайных величин (n-мерного случайного вектора) называется также n-мерной функцией распределения. Функция распределения какой-либо компоненты случайного вектора называется одномерной функцией распределения.

3.4. Плотность распределения случайного вектора и ее свойства

Если функция распределения непрерывна и существует вторая смешанная производная, то говорят, что случайный вектор непрерывен и может быть задан своей плотностью распределения:

.

Свойства плотности распределения.

1. .

2.

3. .

4. .

Вероятность попадания случайного вектора в любое борелевское множество в пространстве вычисляется через плотность распределения:

.

Введя операцию обобщенного дифференцирования по каждой переменной можно распространить понятие плотности распределения на любые (в том числе дискретные и смешанные) случайные величины.

3.5. Условная плотность распределения случайного вектора. Независимость случайных величин.

Ранее мы ввели понятие условной вероятности одного события при условии, что другое событие произошло:

, (4)

при условии, что .

Пусть — случайный вектор с плотностью распределения ; и — некоторые события.

В соответствии с (4), получим:

.

Заметим, что вероятности, стоящие справа от знака равенства можно записать через интеграл от плотности вероятности случайного вектора :

.

Величина слева от знака равенства — это условная вероятность попадания случайной величины в полуинтервал, включающий точку x1, при условии, что случайная величина попала в полуинтервал, включающий точку y1. Разделим обе части равенства на и устремим и к нулю. Слева получим условную плотность вероятности случайной величины , при условии, что случайная величина приняла значение y1:

 

. (5)

Из соотношения (5) вытекает формула для вычисления совместной плотности вероятности двух случайных величин через условную плотность вероятности:

 

(6)

Формула Байеса для плотностей:

 

.

Здесь — называется априорной плотностью вероятности случайной величины , а — апостериорной плотностью вероятности случайной величины .

Распространяя выражение (6) на случайные векторы большей размерности, получим:

.

Здесь: — условная плотность распределения случайной величины , при условии, что случайная величина приняла значение x2, а случайная величина приняла значение x3.

Заметим, что условная плотность распределения — как функция x1 удовлетворяет всем свойствам плотности распределения:

;.

Ранее мы ввели понятие независимости событий. Введем аналогичное понятие для случайных величин.

Определение. Случайные величины называются независимыми в совокупности, если .

Отсюда следует, что плотность распределения независимых случайных величин равна произведению плотностей соответствующих случайных величин:

.

А из (6) следует, что для независимых случайных величин условная плотность распределения равна безусловной:

.

Примеры случайных векторов

Пример 1

Пусть - две случайных величины, совместная плотность распределения которых имеет вид: .

Найти значение постоянной с, плотности распределения случайных величин . Независимы ли они?

Решение

Из условия нормировки, зная область определения плотности, получим: . Отсюда, вычисляя интеграл, получим: .

.

.

Случайные величины и зависимы, так как .

Найдите самостоятельно условную плотность распределения случайной величины : ?

Пример 2

Пусть случайные величины и принимают только значения 1 или 2.

Известно, что .

Найти константу с. Записать совместную плотность распределения случайных величин и и их одномерные плотности распределения. Зависимы ли случайные величины?

Решение

Плотность распределения случайных величин и сосредоточена в точках (1,1), (1,2), (2,1), (2,2). Таким образом, совместная плотность распределения случайных величин и записывается через дельта функцию:

.

Нетрудно видеть, что константа с=1/9.

Одномерные плотности имеют вид: .

Таким образом, и случайные величины и — независимы.

3.6. Числовые характеристики случайного вектора

Определение. Математическим ожиданием произвольной функции от случайного вектора называется:

.

Как уже отмечалось, особое место в теории вероятностей занимают такие понятия, как математическое ожидание и дисперсия случайного вектора.

Определение. k-тым моментом случайного вектора называется вектор .

Первый момент, как и для случайной величины, называется математическим ожиданием случайного вектора.

В дальнейшем математическое ожидание случайного вектора будем обозначать .

Помимо обычных моментов для случайного вектора вводится понятие смешанного момента:

Определение. k-тым смешанным моментом случайного вектора называется k-мерный массив чисел вида:

.

В практике теории вероятностей наибольшее употребление нашел второй смешанный момент случайного вектора, который может быть представлен в виде квадратной матрицы с элементами: . Эта матрица называется корреляционной матрицей случайного вектора, а ее элементы корреляцией случайных величин и .

Случайный вектор — называется центрированным случайным вектором.

Определение. k-тым центральным моментом случайного вектора называется k-й момент центрированного случайного вектора.

Определение. Дисперсией случайного вектора называется его второй центральный момент: .

Определение. k-тым смешанным центральным моментом случайного вектора называется k-мерный массив чисел вида: .

В практике теории вероятностей наибольшее употребление нашел второй смешанный центральный момент случайного вектора, который может быть представлен в виде квадратной матрицы с элементами:

.

Эта матрица называется ковариационной матрицей случайного вектора, а ее элементы ковариацией случайных величин и

3.7. Корреляционная и ковариационная матрицы случайного вектора. Коэффициент корреляции

Выше были даны определения корреляционной и ковариационной матриц случайного вектора.

Пусть . Нетрудно видеть, что

.

С другой стороны

.

Воспользовавшись приведенными выше понятиями вектора и матрицы можно дать следующее определение корреляционной и ковариационной матриц:

, .

Из этих соотношений нетрудно найти связь ковариационной и корреляционной матриц:

.

Свойства корреляционной и ковариационной матриц

1.  Симметричность: .

2.  Неотрицательная определенность: для любого вектора x:.

Докажем это.

Очевидно, что . Следовательно . Раскрывая квадрат под знаком математического ожидания, получим:

.

Определение. Пусть А — матрица, x — вектор. Рассмотрим уравнение

, — число. Если и x удовлетворяют этому уравнению, то называется собственным значением матрицы А, а x — собственным вектором, отвечающим .

Все собственные значения неотрицательно определенной матрицы неотрицательны. Собственные вектора ортонормированы: .

Так как ковариационная матрица неотрицательно определенная, ее собственные значения неотрицательны, а собственные вектора ортонормированы. Собственные вектора ковариационной матрицы будем обозначать символом .

Обозначим , .

Тогда для ковариационной матрицы справедливо соотношение:

. (7)

Заметим, что в силу ортонормированности, матрица собственных векторов любой симметрической неотрицательно определенной матрицы удовлетворяет соотношению [1]:

. (8)

Умножим соотношение (7) справа на , учитывая (8), получим представление корреляционной матрицы через свои собственные векторы и собственные значения:

.

Или в покомпонентной записи:

.

Аналогичные соотношения справедливы и для корреляционной матрицы.

Определитель ковариационной матрицы легко находится через собственные значения: . Это следует из того, что , и .Кроме того, заметим, что определитель матриц равен единице.

Найдем представление матрицы, обратной ковариационной (если она существует) через собственные векторы и собственные значения исходной матрицы.

Из определения обратной матрицы от произведения матриц, получим:

Таким образом, элементы матрицы, обратной ковариационной (если она существует) имеют представление:

.

Дисперсию случайной величины в дальнейшем будем обозначать символом ;

Для ковариации и корреляции двух случайных величин справедливо неравенство:

.

Покажем это.

По определению . Так как плотность распределения неотрицательна, положим: .

Тогда .

В соответствии с неравенством Коши-Буняковского:

.

Это неравенство легко доказывается приемом, аналогичным при доказательстве неравенства для скалярного произведения двух векторов.

Определение. Коэффициентом корреляции двух случайных величин и называется: . Отсюда .

Из неравенства Коши-Буняковского вытекает, что .

Коэффициент корреляции показывает меру линейной зависимости между случайными величинами и . Так, если случайные величины и связаны между собой линейной зависимостью, то коэффициент корреляции по модулю равен единице. Покажем это.

. .

. Поэтому .

Если ковариация двух случайных величин равна нулю, то говорят, что случайные величины некоррелированы. В этом случае равен нулю и коэффициент корреляции этих случайных величин.

Заметим, что из некоррелированности случайных величин не следует их статистическая независимость. С другой стороны, если случайные величины статистически независимы, то они некоррелированы.

Действительно, пусть случайная величина имеет нулевое математическое ожидание и дисперсию . Случайная величина связана с функциональной зависимостью: . Ковариация случайных величин и равна: . Если плотность распределения случайной величины четная функция, то ее третий момент равен нулю. То есть мы получили, что для функционально (а значит и статистически) связанных случайных величин корреляция равна нулю!

3.8. Характеристическая функция

Также как и для случайных величин, для случайного вектора можно ввести понятие характеристической функции.

Определение. Характеристической функцией случайного вектора называется:

Зная характеристическую функцию случайного вектора можно найти ее плотность распределения:

.

Если случайные величины — независимы, то характеристическая функция случайного вектора равна произведению характеристических функций его компонент:

.

Характеристическая функция суммы независимых случайных величин легко вычисляется:

.

3.9. Гауссовский случайный вектор

Ранее мы ввели понятие гауссовской случайной величины. Определили ее плотность распределения, функцию распределения и характеристическую функцию.

Введем понятие гауссовского случайного вектора следующим образом. Пусть — произвольный не случайный вектор.

Определение. Случайный вектор называется гауссовским случайным вектором, если для любого не случайного вектора x случайная величина является гауссовской случайной величиной.

Отсюда следует, что компоненты гауссовского случайного вектора — гауссовские случайные величины. Для этого достаточно положить вектор x =(0,0,..1,..0). Очевидно, и из определения следует, что гауссовская случайная величина.

Теперь легко записать плотность распределения гауссовского случайного вектора с независимыми компонентами:

Из определения гауссовского случайного вектора следует:

Теорема. Любое линейное преобразование гауссовского случайного вектора есть гауссовский случайный вектор.

Доказательство

Пусть А — матрица размером , — гауссовский случайный вектор. — случайный вектор размерности n. Покажем, что этот случайный вектор тоже гауссовский.

Из определения следует, что для того, чтобы вектор был гауссовским необходимо и достаточно, чтобы для любого вектора случайная величина — была гауссовской.

Заметим, что . Но вектор гауссовский, поэтому скалярное произведение тоже гауссовская случайная величина для любого не случайного вектора . Следовательно, вектор h также гауссовский случайный вектор.

Зная плотность распределения гауссовского случайного вектора с независимыми компонентами, найдем характеристическую функцию произвольного гауссовского случайного вектора.

Определим произвольный гауссовский случайный вектор как произвольное линейное преобразование гауссовского вектора с независимыми компонентами: .

По определению характеристической функции случайного вектора с независимыми компонентами, получим:

.

Характеристическая функция вектора имеет вид:

.

Следовательно, в выражение для характеристической функции вектора x вместо компонент вектора v необходимо подставить компоненты вектора .

Тогда получим:

.

Так как , то, подставив его в выражение для характеристической функции, получим:

.

Здесь — элементы ковариационной матрицы вектора h;  — математическое ожидание вектора h.

Действительно, при произвольном линейном преобразовании случайного вектора математическое ожидание случайного вектора h равно: . Ковариационная матрица вектора h равна: