Лекция 5
Статистическая гипотеза
1. Принцип практической уверенности
Прежде чем перейти к рассмотрению понятия статистической гипотезы, сформулируем так называемый принцип практической уверенности, лежащий в основе применения выводов и рекомендаций с помощью теории вероятностей и математической статистики:
Если вероятность события А в данном испытании очень мала, то при однократном выполнении испытания можно быть уверенным в том, что событие А не произойдет, и в практической деятельности вести себя так, как будто событие А вообще невозможно.
Этот принцип не может быть доказан математически; он подтверждается всем практическим опытом человеческой деятельности, и мы постоянно (хотя и бессознательно) им руководствуемся. Например, отправляясь самолетом в другой город, мы не рассчитываем на возможность погибнуть в авиационной катастрофе, хотя некоторая (весьма малая) вероятность такого события все же имеется.
Обратим внимание на то, что принцип практической уверенности о невозможности маловероятных событий сформулирован «при однократном выполнении испытания». Если же произведено много испытаний, в каждом из которых вероятность события А даже очень мала, то существенно повышается вероятность того, что событие А произойдет хотя бы один раз в массе испытаний. Действительно, пусть вероятность 
, где. 
Тогда вероятность события В, состоящего в том, что событие А произойдет хотя бы один раз в п независимых испытаниях, равна (при 
): 
т. е. вероятность Р(В) увеличилась по сравнению с Р(А) в n раз.
Таким образом, при многократном повторении испытаний мы уже не можем считать маловероятное событие А практически невозможным.
Вопрос о том, насколько мала должна быть вероятность 
события А, чтобы его можно было считать практически невозможным, выходит за рамки математической теории и решается в каждом отдельном случае с учетом важности последствий, вытекающих из наступления события А. В одних случаях считается возможным пренебрегать событиями, имеющими вероятность меньше 0,05, а в других, когда речь идет, например, о разрушении сооружений, гибели судна и т. п., нельзя пренебрегать событиями, которые могут появиться с вероятностью, равной 0,001.
2. Статистическая гипотеза и общая схема ее проверки
С теорией статистического оценивания параметров тесно связана проверка статистических гипотез. Она используется всякий раз, когда необходим обоснованный вывод о преимуществах того или иного способа инвестиций, измерений, стрельбы, технологического процесса, об эффективности нового метода обучения, управления, о пользе вносимого удобрения, лекарства, об уровне доходности ценных бумаг, о значимости математической модели и т. д.
Определение.Статистической гипотезой называется любое предположение о виде или параметрах неизвестного закона распределения.
Различают простую и сложную статистические гипотезы. Простая гипотеза, в отличие от сложной, полностью определяет теоретическую функцию распределения случайной величины. Например, гипотезы «вероятность появления события в схеме Бернулли равна 1/2», «закон распределения случайной величины нормальный с параметрами 
являются простыми, а гипотезы «вероятность появления события в схеме Бернулли заключена между 0,3 и 0,6», «закон распределения не является нормальным» — сложными.
Проверяемую гипотезу обычно называют нулевой и обозначают 
. Наряду с нулевой гипотезой рассматривают альтернативную, или конкурирующую, гипотезу 
, являющуюся логическим отрицанием . Нулевая и альтернативная гипотезы представляют собой две возможности выбора, осуществляемого в задачах проверки статистических гипотез.
Суть проверки статистической гипотезы заключается в том, что используется специально составленная выборочная характеристика (статистика) 
полученная по выборке 
, точное или приближенное распределение которой известно. Затем по этому выборочному распределению определяется критическое значение
— такое, что если гипотеза верна, то вероятность 
мала, так что в соответствии с принципом практической уверенности в условиях данного исследования событие 
можно (с некоторым риском) считать практически невозможным. Поэтому, если в данном конкретном случае обнаруживается отклонение , то гипотеза 
отвергается, в то время как появление значения 
считается совместимым с гипотезой , которая тогда принимается (точнее, не отвергается). Правило, по которому гипотеза отвергается или принимается, называется статистическим критерием.
Таким образом, множество возможных значений статистики критерия (критической статистики) 
разбивается на два непересекающихся подмножества: критическую область (область отклонения гипотезы) 
и область допустимых значений (область принятия гипотезы) 
. Если фактически наблюдаемое значение статистики критерия попадает в критическую область , то гипотезу отвергают. При этом возможны четыре случая (таблица 1).
Определение. Вероятность α допустить ошибку 1-го рода, т. е. отвергнуть гипотезу , когда она верна, называется уровнем значимости критерия. Вероятность 
не допустить ошибку первого рода, т. е. принять гипотезу 
, когда она верна, иногда называют оперативной характеристикой критерия.
Вероятность допустить ошибку 2-го рода, т. е. принять гипотезу , когда она неверна, обычно обозначают 
.
Определение. Вероятность (
) не допустить ошибку 2-го рода, т. е. отвергнуть гипотезу , когда она неверна, называется мощностью (или функцией мощности) критерия.
Таблица 1
Гипотеза Н0 | Принимается | Отвергается |
Верна | Правильное решение | Ошибка 1-го рода |
Неверна | Ошибка 2-го рода | Правильное решение |
Пользуясь терминологией статистического контроля качества продукции, можно сказать, что вероятность а представляет «риск поставщика», связанный с забраковкой по результатам выборочного контроля изделий всей партии, удовлетворяющей стандарту, а вероятность 
— «риск потребителя», связанный с принятием по анализу выборки партии, не удовлетворяющей стандарту.
Применяя юридическую терминологию, — вероятность вынесения судом обвинительного приговора, когда на самом деле обвиняемый невиновен, 
— вероятность вынесения судом оправдательного приговора, когда на самом деле обвиняемый виновен в совершении преступления. В ряде прикладных исследований ошибка первого рода а означает вероятность того, что предназначавшийся наблюдателю сигнал не будет им принят, а ошибка второго рода — вероятность того, что наблюдатель примет ложный сигнал.
Возможностью двойной ошибки (1-го и 2-го рода) проверка гипотез отличается от рассматриваемого выше интервального оценивания параметров, в котором имелась лишь одна возможность ошибки: получение доверительного интервала, который на самом деле не содержит оцениваемого параметра.
Вероятности ошибок 1-го и 2-го рода (
) однозначно определяются выбором критической области. Очевидно, желательно сделать как угодно малыми . Однако это противоречивые требования: при фиксированном объеме выборки можно сделать как угодно малой лишь одну из величин — а или р, что сопряжено с неизбежным увеличением другой. Лишь при увеличении объема выборки возможно одновременное уменьшение вероятностей а и р.
Какими принципами следует руководствоваться при построении критической области 
?
Предположим, что используемая для проверки нулевой гипотезы 
статистика критерия 
имеет нормальный закон распределения 
. В качестве критической области, отвечающей уровню значимости, можно взять множество областей - таких, что площадь соответствующих им криволинейных трапеций под кривой распределения составляет 5/100 от общей площади под кривой распределения. Например, (рис 1). [I] — область больших положительных отклонений (при 
) — область больших отрицательных отклонений (при 
); [III] — область больших по абсолютной величине отклонений (при 
); [IV] — область малых по абсолютной величине отклонении (при 
) и т. д.
Рис.1 Рис. 2
Какую из этих областей предпочесть в качестве критической? Пусть с проверяемой гипотезой Н0 конкурирует другая, альтернативная, гипотеза Н1 при котором распределение статистки критерия 6„ нормально - 
, где α1 > α0 (рис 2). Очевидно, следует предпочесть ту критическую область, при которой мощность критерия будет наибольшей. Если, например, критическая область типа [I], то в случае 
< 
, гипотеза Н0 принимается. Но в этом случае может быть верна конкурирующая гипотеза Н1 с вероятностью ошибки второго рода β. Вероятность β интерпретируется площадью под кривой распределения φ(
) левее , а мощность критерия (1- β) — площадью Р1 правее (см. рис. .2). Здесь отчетливо видно, что если увеличить ,то ошибка а 1-го рода уменьшится (станет меньше, чем 0,05), но увеличится ошибка 2-го рода β, и наоборот; одновременно же уменьшить и α, и β невозможно Аналогично интерпретируют мощность критерия при критических областях соответственно II, III и IV типов (на рис. 2 площади Р1—РIV заштрихованы. Очевидно, что в данном случае целесообразно выбрать в качестве критической область [I], т. е. правостороннюю критическую область, так как такой выбор гарантирует максимальную мощность критерия. Здесь отчетливо видно, что если увеличить (, то ошибка а 1-го рода уменьшится (станет меньше, чем 0,05), но увеличится ошибка 2-го рода, и наоборот; одновременно же уменьшить и а, и р невозможно
Т. О критическую область следует выбирать так, чтобы вероятность попадания в нее статистики критерия 
была минимальной и равной α, если верна нулевая гипотеза, и максимальной в противоположном случае. Другими словами, критическая область должна быть такой, чтобы при заданном уровне значимости а мощность критерия 1— β была максимальной. Задача построения такой критической области (или, как говорят, построения наиболее мощного критерия) для простых гипотез решается с помощью теоремы Неймана—Пирсона, излагаемой в более полных курсах математической статистики.
В зависимости от вида конкурирующей гипотезы Н1, выбирают правостороннюю, левостороннюю или двустороннюю критическую область. Так, в рассмотренном примере мы убедились, что при конкурирующей гипотезе Н1 ,
α0 > α1 следовало использовать правостороннюю критическую область [1]. Аналогично можно показать, что в случае Н1. α0 <α1 0 следовало использовать левостороннюю критическую область [II], а при гипотезе Н1: α0 
α1 — двустороннюю критическую область [III]. Границы критических областей 
при заданном уровне значимости α определяются соответственно из соотношений:
для правосторонней критической области 
для левосторонней критической области 
для двусторонней критической области 
Принцип проверки статистической гипотезы не дает логического доказательства ее верности или неверности. Принятие гипотезы Н1 в сравнении с альтернативной Н0 не означает, что мы уверены в абсолютной правильности 0 или что высказанное в гипотезе Н0 утверждение является наилучшим, единственно подходящим; просто гипотеза Н0 не противоречит имеющимся у нас выборочным данным, таким же свойством наряду с о могут обладать и другие гипотезы. Более того, возможно, что при увеличении объема выборки п либо при испытании Н0 против другой альтернативной гипотезы Н2 гипотеза Н0 будет отвергнута. Так что принятие гипотезы Н0 следует расценивать не как раз и навсегда установленный, абсолютно верный содержащийся в ней факт, а лишь как достаточно правдоподобное, не противоречащее опыту утверждение.
В описанной выше схеме проверка гипотез основывается на предположении об известном законе распределения генеральной совокупности, из которого следует определенное распределение критерия. Критерии проверки таких гипотез называются параметрическими. Если закон распределения генеральной совокупности неизвестен, то соответствующие критерии получили название непараметрических. Естественно, что непараметрические критерии обладают значительно меньшей мощностью, чем параметрические. Это означает, что для сохранения той же мощности при использовании непараметрического критерия по сравнению с параметрическим нужно иметь значительно больший объем наблюдений.
По своему прикладному содержанию статистические гипотезы можно подразделить на несколько основных типов:
• о равенстве числовых характеристик генеральных совокупностей;
• о числовых значениях параметров;
• о законе распределения;
• об однородности выборок (т. е. принадлежности их одной и той же генеральной совокупности).
