Методы теории оценивания

3.3. Методы теории оценивания

В теории оценивания предполагается, что закон распределения генеральной совокупности известен, и требуется оценить неизвестный параметр распределения. Эта оценка осуществляется на основании выборки с помощью некоторой функции, называемой оценкой. Основной задачей в теории оценивания является выбор оценки, позволяющий с достаточно высокой точностью и достоверностью оценить значение неизвестного параметра. Существуют точечный и доверительный методы оценивания.

3.3.1. Точечные оценки и их свойства

Точечной оценкой параметра называется функция выборки . Точечная оценка является функцией случайных величин и поэтому сама является случайной величиной.

Оценка называется несмещенной, если______________________________

____________________________________________________________________

Смещением оценки называется____________________________________

Если , то оценка называется асимптотически несмещенной.

Оценка называется эффективной в классе оценок, если

____________________________________________________________________

Эффективностью оценки называется отношение:

.

Если , то оценка называется асимптотически эффективной.

Оценка называется слабо состоятельной, если______________________

____________________________________________________________________

Оценка называется сильно состоятельной, если_____________________

____________________________________________________________________

Метод подстановок (эмпирический метод)

Этот метод оценивания состоит в том, что___________________________

____________________________________________________________________

Например, оценкой для функции распределения генеральной совокупности будет эмпирическая функция распределения , для математического ожидания – выборочное среднее , для дисперсии – выборочная дисперсия .

Теорема. Если генеральная совокупность с неизвестной функцией распределения имеет математическое ожидание , то выборочное среднее как оценка параметра , является несмещенной, состоятельной и в классе линейных несмещенных оценок эффективной оценкой для математического ожидания генеральной совокупности.

Заметим, что не всегда эмпирический метод оценивания дает хорошую оценку. Например, выборочная дисперсия является смещенной оценкой. Действительно, . Смещение , следовательно, это асимптотически несмещенная оценка. Эту оценку легко поправить так, чтобы она стала несмещенной, взяв

, .

Выборочная дисперсия является состоятельной оценкой дисперсии генеральной совокупности.

Метод моментов

Метод моментов является самым простым общим методом нахождения оценок параметров распределения. Идея этого метода______________________

____________________________________________________________________

Теоретическим моментом -го порядка называется функция

____________________________________________________________________

Эмпирическим моментом -го порядка называется функция

____________________________________________________________________

Если распределение зависит от параметров, тогда рассматриваем первых теоретических моментов данного распределения.

Предположим, что система разрешима относительно параметров:

По выборке вычисляем эмпирические моменты:

Подставляем эмпирические моменты вместо теоретических и получаем оценки неизвестных параметров:

Метод максимального правдоподобия

Функцией правдоподобия называется функция, зависящая от выборки и неизвестного параметра :

Оценкой максимального правдоподобия называется решение уравнения правдоподобия

обращающее в максимум функцию правдоподобия.

Логарифмической функцией правдоподобия называется функция:

.

Эти функции достигают максимума при одном и том же значении . Поэтому вместо отыскания максимума функции можно искать максимум функции , что удобнее.

Основным недостатком точечного метода оценивания является малая достоверность полученных решений.

3.3.2. Доверительное (интервальное) оценивание

Пусть – оцениваемый параметр изучаемой случайной величины, для которой получена выборка. Нужно построить некоторую область, которая с вероятностью не меньше, чем содержит неизвестное значение параметра. Если одномерный параметр, что область ищется в виде интервала.

Интервал называется доверительным для параметра с уровнем доверия , если _____________________________________________

____________________________________________________________________

Концы и доверительного интервала называются доверительными границами для оцениваемого параметра .

Наикратчайшим доверительным интервалом с уровнем доверия называется интервал, обладающий свойствами:

;

.

С ростом объема выборки математическое ожидание длины доверительного интервала стремится к нулю.

Рассмотрим доверительное оценивание параметров нормальных выборок.

1. Доверительным интервалом с доверительной вероятностью для математического ожидания нормально распределенной случайной величины (а) при известном среднеквадратическом отклонении s является интервал:

,

где – выборочное среднее, а – решение уравнения .

2. Доверительным интервалом с доверительной вероятностью для математического ожидания нормально распределенной случайной величины с неизвестным среднеквадратическим отклонением является интервал

,

где – исправление выборочное среднеквадратическое отклонение, – решение уравнения , – функция распределения Стьюдента.

3.4. Проверка статистических гипотез

Пусть – независимая выборка, соответствующая неизвестной функции распределения . Статистической гипотезой называется___________________________________________________________

____________________________________________________________________

Простой гипотезой называют предположение, состоящее в том, что неизвестная функция отвечает некоторому совершенно конкретному вероятностному распределению.

Сложной гипотезой называют предположение о том, что неизвестная функция принадлежит некоторому множеству распределений, состоящему из более, чем одного элемента.

Проверить статистическую гипотезу — это значит,_________________

____________________________________________________________________Таким образом, в пространстве выделяется область критических значений , где гипотеза отвергается.

Рассмотрим этапы проверки гипотезы.

Этап I. Имеется только независимая выборка .

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

Два следующих события являются противоположными: 1) по выборке будет принято решение о справедливости для данной генеральной совокупности гипотезы , и 2) по выборке будет принято решение о справедливости для данной генералы ой совокупности гипотезы .

Этап II. ________________________________________________________

При принятии гипотез возможны ошибки.

Ошибка I рода — _______________________________________________

В силу случайной природы наблюдаемых данных возможна ситуация , в то время, когда гипотеза справедлива. Однако, согласно критерию, в этом случае верная гипотеза будет отвергнута, т. е. будет допущена ошибка. В случае простой гипотезы вероятность попасть в критическую область, при условии, что гипотеза верна равна

.

Эта вероятность называется уровнем значимости статистического критерия.

Ошибка II рода — ______________________________________________

В случае простой гипотезы вероятность попасть в область допустимых значений, при условии, что гипотеза не верна, равна

.

Принципиально нельзя достичь безошибочных решений. Если уменьшаем вероятность ошибок I рода (уменьшаем область ), то растет вероятность ошибок II рода.

____________________________________________________________________

____________________________________________________________________

При выборе критической области фиксируется вероятность совершения ошибки I рода:

.

При этом минимизируется вероятность совершения ошибки II рода:

.

Этап III. Для проверки статистических гипотез используется подход, основанный на выборе критической области :

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

Такое решающее правило называется критерием, основанным на критическом множестве .

Критерии согласия

Критериями согласия____________________________________________

____________________________________________________________________

Пусть одномерная случайная величина имеет распределение . Выдвигается гипотеза о законе распределения. Нужно построить критерий, который на основании выборки позволят принять решение о законе распределения генеральной совокупности.

На основании выборки можно найти эмпирическую функцию распределения. Известно, что с ростом объема выборки эмпирическая функция распределения сходится к теоретической функции распределения равномерно по почти наверное. Следовательно,

1)______________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

2)_____________________________________________________________

____________________________________________________________________

____________________________________________________________________

____________________________________________________________________

3)_____________________________________________________________

____________________________________________________________________

Критерий Колмогорова

1) Определяем отклонение между теоретическим и эмпирическим распределениями:

____________________________________________________________________

2) Теорема Колмогорова: если функция распределения генеральной совокупности – непрерывная, то при закон распределения характеристики _________________________ есть распределение Колмогорова.

3) По заданному или по таблице распределения Колмогорова отыскивается критическое значение . По выборке определяем значение случайной величины и сравниваем его с . Если отклонение существенно, т. е. , то гипотеза отвергается; если , то гипотеза принимается.

Критерий Пирсона

Осуществляется разбиение выборочного пространства. Обозначим – теоретические вероятностные меры элементов разбиения. Разбиения должны быть такими, что . Тогда частоты эмпирические вероятностные меры элементов разбиения.

1) Определяем отклонение между теоретическим и эмпирическим распределениями:

____________________________________________________________________

2) Теорема Пирсона. При закон распределения характеристики есть распределение .

3) По заданному или по таблице распределения отыскивается критическое значение . По выборке определяем значение случайной величины и сравниваем его с . Если отклонение существенно, т. е. , то гипотеза отвергается; если , то гипотеза принимается.