Теория вероятностей и математическая статистика. Учебно-методический комплекс (стр. 11 )

где = - частость появления события А в i–ой выборке;

- частота появления события А в i–ой выборке;

- объем i–ой выборки;

=– частость появления события А во всех выборках;

=(1-) – частость появления события , противоположного событию A, во всех выборках.

Для проверки нулевой гипотезы строят правостороннюю критическую область, границу которой определяют из условия: P (>(α; ν))= α. (10.31)

Если < - нет оснований отвергнуть нулевую гипотезу, если > - нулевую гипотезу отвергают.

Гипотезы о виде законов распределения генеральной совокупности

Проверка гипотез о виде законов распределения генеральной совокупности осуществляется с помощью критериев согласия.

Критерием согласия называется статистический критерий, предназначенный для проверки гипотезы Н0 о том, что ряд наблюдений х1, х2,…хn образует случайную выборку, извлеченную из генеральной совокупности Х с функцией распределения F(x)=F(x;θ1; θ2;… θk), где общий вид функции F(x) считается заданным, а параметры θ1; θ2;… θk , от которых она зависит могут быть, как известными, так и неизвестными. Критерии согласия основаны на использовании различных мер расстояний между анализируемой эмпирической функцией распределения Fn(x), определяемой по выборке, и функцией распределения F (x) генеральной совокупности Х.

Математически, нулевую гипотезу можно записать в следующем виде:

Н0: =р1, = р2, = рl,

- относительная частота i-го интервала вариационного ряда или i-го варианта, принимаемого случайной величиной Х;

рl – вероятность попадания случайной величины в i-тый интервала или вероятность того, что дискретная величина примет i-тое значение (Х=хi).

Критерий Пирсона (критерий - ) имеет наибольшее применение при проверке согласования теоретической и эмпирической функций распределения.

Процедура проверки статистической гипотезы о виде распределения с помощью критерия согласия Пирсона состоит из следующих этапов.

1. Весь диапазон значений исследуемой случайной величины разбивается на ряд интервалов группирования Δ1, Δ2, …,Δl, необязательно одинаковой длины.

2. Подсчитывается число точек, попавших в каждый из интервалов группирования Δi.

3. На основе сгруппированных данных вычисляются оценки k неизвестных параметров распределения θ k.

4. Вычисляется вероятность рi попадания случайной величины Х в каждый из интервалов группирования Δi.

5. Вычисляется наблюдаемое значение статистики критерия

=, (10.32)

сравнивается с табличным значением , найденным для уровня значимости α и числа степеней свободы ν = l-k-1, где l - число интервалов, k – число параметров, которыми определяется функция распределения.

Если , то гипотеза о том, что генеральная совокупность Х подчиняется закону распределения F (x) принимается.

В случае нормального закона распределения вероятность попадания случайной величины Х в соответствующие интервалы вычисляется по интегральной теореме Лапласа: рi = Р(аi<x<bi) =, (10.33)

где t1i =  , t2i =  ; аi, bi – нижняя и верхняя граница соответствующего интервала i.

11 Анализ статистической связи

Корреляционный анализ является методом исследования взаимозависимости признаков в генеральной совокупности. Основная задача корреляционного анализа состоит в оценке корреляционной матрицы генеральной совокупности по выборке и определении на ее основе оценок коэффициентов корреляции.

В рамках реализации статистических процедур корреляционного анализа необходимо: выбрать (с учетом специфики и природы анализируемых переменных) подходящий измеритель статистической связи (коэффициент корреляции, корреляционное отношение, ранговый); оценить с помощью точечной и интервальной оценок его числовое значение по выборочным данным; проверить гипотезу о том, что полученное числовое значение анализируемого измерителя связи действительно свидетельствует о наличии статистической связи.

Парная корреляция занимается изучением характеристик взаимосвязи двух случайных величин. Корреляционная зависимость двух случайных величин задается моделью X=X(Y,Z) и Y= Y(Х,Z), где Z – набор внешних случайных факторов.

Основой получения этих характеристик служит совместное распределение случайных величин F(x,y) = P.

Плотность двумерного нормального закона распределения определяется пятью параметрами: - математическое ожидание Х; - математическое ожидание Y; - дисперсия Х; - дисперсия Y; - парный коэффициент корреляции между Х и Y.

Парный коэффициент корреляции характеризует тесноту линейной связи между двумя переменными. Выборочное значение парного коэффициента корреляции ρ подсчитывается по исходным статистическим данным по формуле:

. (11.1)

Коэффициент корреляции не имеет размерности и изменяется в диапазоне
-1 ρ+1. Положительность коэффициента корреляции означает одинаковый характер тенденции взаимосвязанного изменения случайных величин Х и Y: с увеличением Х наблюдается тенденция увеличения соответствующих индивидуальных значений Y. Отрицательное значение говорит о противоположной тенденции взаимосвязанного изменения случайных величин Х и Y. Если ρ=0, можно сделать вывод, что линейная связь между Х и Y отсутствует. Однако это не означает, что Х и Y статистически независимы, так как не отрицается возможность существования нелинейной связи между Х и Y. Значение ρ= говорит о функциональном характере связи между Х и Y.

В рамках корреляционного анализа можно построить линии условных математических ожиданий (линий регрессии у по х и х по у)

у(х)=М(Y/X=x), x(y)=М(X/Y=y) ; (11.2)

а также линии условных дисперсий, которые характеризует, насколько точно линии регрессии передают изменение одной случайной величины при изменении другой,

= М, (11.3)

= М.

Точные (или приближенные) прямолинейные регрессии

y(x) = , x(y) = (11.4)

задаются следующими коэффициентами:

;, (11.5)

,.

Если случайные величины Х и Y независимы, ρ=0 , то все условные математические ожидания и дисперсии не зависят от фиксированного значения другой случайной величины и совпадают с безусловными.

Стоит отметить, что выборочные коэффициенты корреляции могут быть формально вычислены для любой двумерной системы наблюдений.

Для проверки значимости парного коэффициента корреляции выдвигается гипотеза Н0: ρ=0. При проверки нулевой гипотезы используется статистика:

, (11.6)

имеющая распределение Стьдента с ν=n-2 числом степеней свободы.

Если <, нулевая гипотеза не отвергается, следовательно, случайные величины Х и Y независимы. Если >, коэффициент корреляции считается значимым.

На практике для проверки нулевой гипотезы пользуются также распределением Фишера-Йетса. На уровне значимости α по таблице распределения Фишера-Йетса находят (α, ν=n-2). Если , гипотеза отвергается, коэффициент корреляции считается значимым. - взятое по модулю значение выборочного коэффициента корреляции.

Для значимых параметров связи можно построить интервальную оценку.

При определении границ доверительного интервала коэффициента корреляции ρ используется преобразование Фишера: . (11.7)

Предварительно устанавливают интервальную оценку для из условия:

Р() ==Ф(), (11.8)

где находят по таблице интегральной функции Лапласа для данного уровня .

Получив доверительный интервал для , , при помощи таблицы z - преобразования Фишера делают обратный переход от и к и . Таким образом окончательно получаем:.

При выборе и следует учитывать нечетность z - функции.

Трехмерная корреляционная модель является частным случаем множественной корреляционной модели. На примере анализа трехмерной корреляционной модели удобно показать все свойства множественной корреляции. Трехмерная нормально распределенная генеральная совокупность, образуемая тремя признаками X, Y, Z, определяется девятью параметрами: тремя математическими ожиданиями, тремя дисперсиями и тремя парными коэффициентами корреляции:

,, - математические ожидания Х, Y и Z соответственно;

,, - дисперсии Х, Y и Z соответственно;

- парный коэффициент корреляции между Х и Y,

- парный коэффициент корреляции между Х и Z,

- парный коэффициент корреляции между Z и Y.

При изучении корреляционной зависимости между более чем двумя случайными величинами с заданным совместным многомерным распределением используют множественные и частные коэффициенты корреляции.

Частный коэффициент корреляции – это мера линейной зависимости между двумя случайными величинами из некоторой совокупности Х1, Х2,…,Хn, когда исключено влияние остальных случайных величин. Частный коэффициент корреляции обладает всеми свойствами парного коэффициента корреляции. В общем случае частный коэффициент корреляции выражается через элементы корреляционной матрицы R =, составленной из коэффициентов парной корреляции.

В рамках простой трехмерной корреляционной модели могут быть рассчитаны три частных коэффициента корреляции:

; ; . (11.9)

Для проверки значимости частного коэффициента корреляции выдвигается гипотеза Н0: =0. При проверки нулевой гипотезы используется статистика:

, (11.10)

имеющая распределение Стьюдента с ν=n-3 числом степеней свободы.

Если <, нулевая гипотеза не отвергается, следовательно, случайные величины Х и Y независимы. Если >, коэффициент корреляции считается значимым.

Как и в случае парной корреляции на практике для проверки нулевой гипотезы чаще пользуются распределением Фишера-Йейтса. На уровне значимости α по таблице распределения Фишера-Йейтса находят (α, ν=n-3). Если , гипотеза отвергается, частный коэффициент корреляции считается значимым. - взятое по модулю значение выборочного частного коэффициента корреляции.

При определении границ доверительного интервала коэффициента корреляции ρ используется преобразование Фишера: (11.11)

Предварительно устанавливают интервальную оценку для из условия:

Р() ==Ф(), (11.12)

где находят по таблице интегральной функции Лапласа для данного уровня .

Получив доверительный интервал для , , при помощи таблицы z - преобразования Фишера делают обратный переход от и к и . Таким образом окончательно получаем:.

Множественный коэффициент корреляции R служит мерой линейной зависимости между случайной величиной Х1 и набором случайных величин Х2,…,Хn. В общем случае множественные коэффициенты корреляции выражаются через элементы корреляционной матрицы. Для трехмерной модели может быть рассчитано три множественных коэффициента корреляции:

;

; (11.13)

.

Множественный коэффициент корреляции изменяется в диапазоне 0R+1. Если, например, = 1, то связь между случайной величиной Х и двумерной случайной величиной (Х, Z) является функциональной; если = 0, то случайная величина Х и двумерная случайная величина (Х, Z) независимы.

Множественный коэффициент детерминации показывает долю дисперсии случайной величины Х1, обусловленную влиянием остальных факторов Х2,…,Хn, входящих в многомерную модель. Множественный коэффициент детерминации может увеличиваться при введении в модель дополнительных признаков и не увеличиваться при исключении некоторых признаков из модели. Для двухмерной корреляционной модели коэффициент детерминации равен квадрату парного коэффициента корреляции.

При проверке значимости множественного коэффициента корреляции (множественного коэффициента детерминации) выдвигается гипотеза Н0: =0 (или=0 ). При проверке нулевой гипотезы используется статистика:

, (11.14)

имеющая распределение Фишера-Снедекора с числом степеней свободы =2 и n-2.

Если (α,,), нулевая гипотеза отвергается, следовательно, множественный коэффициент корреляции (множественный коэффициент детерминации) считается значимым.

Корреляционное отношение. Как уже отмечалось выше коэффициент корреляции является адекватной мерой статистической взаимозависимости только в случае линейного характера связи между признаками. Для изучения связи между признаками, выражаемой нелинейной функцией, применяется более общий показатель тесноты связи – корреляционное отношение. В теории статистики разработан специальный критерий оценки нелинейности связи между двумя переменными:

, (11.15)

где - корреляционное отношение между X и Y,

- коэффициент корреляции между X и Y.

Если >2,5, то корреляционную связь можно считать нелинейной.

Использование корреляционного отношения основано на разложении общей дисперсии зависимой переменной на составляющие: дисперсию, характеризующую влияние объясняющей переменной, и дисперсию, характеризующую влияние неучтенных факторов:

, (11.16)

где - общая дисперсия зависимой переменной,

- дисперсия функции регрессии относительно среднего значения зависимой переменной, характеризующая влияние объясняющей переменной.

- остаточная дисперсия.

Корреляционное отношение определяется по формуле:

= (11.17)

Корреляционное отношение не имеет размерности и изменяется в диапазоне 0 +1.

Для проверки значимости корреляционного отношения выдвигается гипотеза Н0: =0. При проверке нулевой гипотезы используется статистика:

, (11.18)

которая имеет распределение Стьюдента с числом степеней свободы ν=n-2. Если <, нулевая гипотеза не отвергается, следовательно, случайные величины Х и Y независимы. Если >, коэффициент корреляции считается значимым.

Доверительный интервал имеет вид: , (11.19)

где находят по таблице интегральной функции Лапласа для данного уровня .

Ранговая корреляция. Для изучения взаимосвязи признаков, не поддающихся количественному измерению, используются различные показатели ранговой корреляции. Под ранговой корреляцией понимается статистическая связь между порядковыми переменными. В статистической практике эта связь анализируется на основании исходных статистических данных, представленных упорядочениями (ранжировками) n рассматриваемых объектов. Методы ранговой корреляции широко используются, в частности, при организации и статистической обработке различного рода систем экспертных обследований.

Для измерения тесноты связи между порядковыми переменными используются различные показатели, такие как коэффициент Спирмена, коэффициент Кэнделла, коэффициенты конкордации, ассоциации, контингенции.

Рассмотрим пример расчета рангового коэффициента корреляции Спирмена.

, (11.20)

где - разность значений рангов, расположенных в двух рядах у одного и того же объекта.

Если два ряда полностью совпадают, то =0, и следовательно, =1. При полной обратной связи ранги двух рядов расположены в обратном порядке и =-1. При отсутствии корреляции между рангами =0.

Для проверки значимости рангового коэффициента корреляции Спирмена выдвигается гипотеза Н0: =0. При проверке нулевой гипотезы вычисляется критическая точка:

, (11.21)

где определяется по таблице распределения Стьюдента для уровня значимости α и числа степеней свободы ν=n-2. Если нулевая гипотеза не отвергается, следовательно, случайные величины Х и Y независимы. В противном случае ранговый коэффициент корреляции считается значимым.

Регрессионный анализ – статистический метод исследования зависимости случайной величины Y от переменных Х1, Х2,…,Хm , рассматриваемых как неслучайные величины, независимо от истинного закона распределения Хi .

Регрессия – функция f(Х1, Х2,…,Хm), описывающая зависимость условного математического ожидания зависимой переменной Y (вычисленного при условии, что независимые переменные зафиксированы на уровнях Х1, Х2,…, Хm) от заданных фиксированных значений независимых переменных.

В рамках регрессионного анализа решаются следующие задачи: выбор математической модели, описывающей изучаемый процесс; отбор наиболее информативных объясняющих переменных (регрессоров); вычисление оценок для неизвестных значений параметров, участвующих в записи уравнения искомой зависимости; анализ точности полученного уравнения связи.

Выбор конкретной формы уравнения регрессии зависит от экономической сущности изучаемого явления или процесса. На практике чаще всего встречаются следующие виды уравнений регрессии:

1) - двумерное линейное;

2) - многомерной линейное;

3) - полиномиальное;

4) - гиперболическое;

5) - степенное.

Так как аппарат исследования линейных функций разработан наиболее полно, на практике чаще всего прибегают к линейному преобразованию (линеаризации) степенных, полиномиальных, гиперболических, а также любых других нелинейных функций, поддающихся такому преобразованию. Например, степенное регрессионное уравнение может быть приведено к линейной форме путем логарифмирования:

,

и далее

,

где = lg, = lg, =.

Общая модель линейной относительно оцениваемых параметров регрессии может быть представлена следующим образом:

+ε,

где - некоторая функция переменных ,

- неизвестные параметры уравнения регрессии, которые необходимо оценить по выборочным данным,

- случайное слагаемое или ошибка модели (возмущение), с нулевым математическим ожиданием и дисперсией .

Для оценки неизвестных параметров модели используются уже описанные выше статистические методы оценивания: метод максимального правдоподобия (ММП), метод наименьших квадратов (ММП) и метод моментов. В теории регрессионного анализа доказывается, что ММП– и МНК–оценки являются наилучшими линейными оценками неизвестных параметров уравнения регрессии, обладающими свойствами несмещенности и эффективности.

Ввиду относительной простоты реализации в практических приложениях чаще всего используется метод наименьших квадратов. Для получения несмещенных и эффективных МНК-оценок неизвестных параметров необходимо выполнение некоторых предпосылок, касающихся как всего уравнения в целом, так и его отдельных составляющих.

Основные предпосылки формулируются следующим образом:

1. Объем наблюдений n больше числа оцениваемых параметров m.