Эконометрика, конспект лекции 3, (часть 2) (стр. 1 )

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

ВСЕРОССИЙСКИЙ ЗАОЧНЫЙ ФИНАНСОВО-ЭКОНОМИЧЕСКИЙ

ИНСТИТУТ

Филиал в г. Брянске

Кафедра экономико-метематических моделей

ЭКОНОМЕТРИКА

Конспект лекции 3

(часть 2)

Применение обобщенного метода наименьших квадратов для оценивания параметров эконометрических моделей

ПЛАН

1. ОБЫЧНЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ. 2

1.1. Предпосылки обычного метода наименьших квадратов. 2

1.2. Свойства оценок обычного метода наименьших квадратов. 5

2. ОБОБЩЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ. 6

2.3. Обобщенная модель регрессии. 6

2.4. Оценивание параметров моделей с гетероскедастичностью возмущений 10

Пример 1. 13

2.5. Оценивание параметров моделей с коррелированными возмущениями 16

Пример 2. 16

ЛИТЕРАТУРА. 19

ОБЫЧНЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

1.1. Предпосылки обычного метода наименьших квадратов

Пусть рассматривается возможность построения линейной модели множественной регрессии. В матричной форме модель имеет вид:

,

(1)

где Y — вектор значений результата Y размера n; X — матрица значений факторов размера ; b — вектор параметров модели размера ; e — вектор возмущений размера n.

Уравнение регрессии модели (1) в матричной форме выглядит следующим образом:

,

(2)

где — вектор предсказываемых уравнением регрессии значений результата Y размера n; b — вектор оценок параметров модели по выборочным наблюдениям размера .

Указанные матрицы имеют вид:

; ; ; ; ; .

Разность матриц Y и является вектором-столбцом остатков размера n:

.

(3)

Условие обычного метода наименьших квадратов (Ordinary Least Squares) в матричной форме записывается как

,

(4)

откуда вектор оценок b параметров модели (1) определяется по формуле

.

(5)

(Индекс «T» обозначает операцию транспонирования матриц, а индекс «–1» — операцию обращения матриц.)

Для получения несмещенных, эффективных и состоятельных оценок параметров модели (1) необходимо выполнение следующих предпосылок:

1. Возмущение ei (i=1, 2, …, n) есть величина случайная, а факторы X1, X2, …, Xp — величины неслучайные. Это означает, что вектор возмущений e — случайный вектор, а матрица значений факторов X — неслучайная (детерминированная).

Проверка выполнения этой предпосылки может проводиться с помощью разных критериев. Наиболее простыми из них являются метод серий и метод поворотных точек, которыми исследуется ряд остатков регрессии. Иногда достаточным оказывается визуальный анализ графика (графиков) остатков.

2. Математическое ожидание возмущения равно нулю ei:

(i=1, 2, …, n).

(6)

Другими словами, математическое ожидание вектора возмущений e есть нулевой вектор размера n:

.

(7)

Данная предпосылка всегда выполняется для линейных моделей и моделей, нелинейных по переменным. Для моделей, нелинейных по параметрам и приводимых к линейному виду логарифмированием, предпосылка выполняется для логарифмов исходных данных.

3. Дисперсия возмущения одинакова для всех наблюдений результата Y:

(i=1, 2, …, n).

(8)

Это условие называется условием гомоскедастичности или равноизменчивости возмущений. В матричной форме данная предпосылка имеет вид:

,

(9)

где In — единичная матрица n-го порядка.

Выполнение этой предпосылки может проверяться разными методами. Ниже рассмотрена процедура проверки предпосылки методом Голдфельда–Квандта.

4. Возмущения не коррелированны между собой. Это означает, что ковариация между отдельными возмущениями ej и ek () равна нулю:

(10)

где m(ej) и m(ek) равны нулю в силу предпосылки 2.

Матричная форма записи предпосылки 4 имеет вид:

,

(11)

где — ковариационная матрица возмущений

,

(12)

в которой все элементы, не лежащие на главной диагонали, равны нулю, а все элементы, лежащие на главной диагонали, равны одной и той же дисперсии :

(i=1, 2, …, n).

(13)

Равенство (13) вытекает из определения дисперсии и предпосылки 2. Так в соответствии с определением, дисперсией s2(Z) некоторой случайной величины Z называется математическое ожидание квадрата ее отклонения от математического ожидания: . Согласно предпосылке 2 , отсюда

.

(14)

Видно, что матричные записи условий предпосылок 3 и 4 — (9) и (11) соответственно, совпадают. Проверка выполнения предпосылки 4 с помощью d‑статистики Дарбина–Уотсона рассмотрена ниже.

5. Возмущение ei есть нормально распределенная случайная величина, а вектор возмущений e — нормально распределенный случайный вектор:

.

(15)

Обоснованием такого допущения служит центральная предельная теорема теории вероятностей, согласно которой сумма большого числа случайных величин имеет приближенно нормальное распределение независимо от индивидуального распределения слагаемых. Отклонение фактических значений результата Y от теоретических вызывается, как правило, множеством случайных и неучтенных факторов, каждый из которых не оказывает доминирующего влияния. Поэтому нормальное распределение является приемлемой моделью суммарной погрешности, т. е. возмущения.

Выполнение этой предпосылки может проверяться разными способами, например, с помощью R/S-критерия.

6. Матрица является неособенной, т. е. ее определитель не равен нулю. Это означает, что столбцы матрицы значений факторов X должны быть линейно независимыми. Следовательно матрица X должна иметь максимальный ранг: , где p — число факторов в модели. Кроме того, число наблюдений n должно превосходить ранг матрицы X:

,

(16)

поскольку в противном случае невозможно получение сколько-нибудь надежных статистических выводов.

1.2. Свойства оценок обычного метода наименьших квадратов

Модель, для которой выполняются все рассмотренные выше предпосылки, называется классической нормальной линейной моделью множественной регрессии (Classic Normal Linear Multiple Regression Model).

При выполнении предпосылок 1 — 4 и 6 вектор оценок параметров модели b обладает следующими свойствами:

1. Вектор b есть несмещенная оценка вектора b:

.

(17)

2. Вектор b является наиболее эффективной оценкой вектора b, т. е. обладает наименьшей дисперсией:

.

(18)

3. Вектор b является состоятельной оценкой вектора b. Это означает, что при увеличении числа наблюдений n увеличивается точность оценки, и для каждого отдельного параметра bj модели (1) выполняется соотношение:

.

(19)

Требование выполнения предпосылки 5 необходимо для корректной оценки точности уравнения регрессии и его параметров.

2. ОБОБЩЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

2.3. Обобщенная модель регрессии

При несоблюдении основных предпосылок обычного метода наименьших квадратов приходится корректировать модель: изменять ее форму, добавлять или, наоборот, исключать факторы, преобразовывать исходные данные и т. п. Особенно часто на практике приходится сталкиваться с ситуациями, в которых не выполняются предпосылки 3 и 4 о том, что возмущения модели имеют постоянную дисперсию и не коррелированны между собой.

Невыполнение предпосылки 3, т. е. нарушение условия гомоскедастичности возмущений (8), означает, что дисперсия возмущения зависит от значений факторов. Такие регрессионные модели называются моделями с гетероскедастичностью возмущений. Например, при исследовании зависимости стоимости туристической путевки (переменная Y) от среднемесячного дохода клиента турагенства (фактор X) можно ожидать, что для более обеспеченных клиентов разброс расходов на отдых выше, чем для менее обеспеченных, т. е. дисперсия возмущений не будет одинаковой для разных значений фактора X (рис. 1).

рис. 1. Линейная модель регрессии с гетероскедастичностью возмущений

Если имеет место гетероскедастичность возмущений, то оценки параметров модели (1) обычным методом наименьших квадратов не будут эффективными, т. е. их дисперсии не будут наименьшими. Рассчитанные значения стандартных ошибок коэффициентов уравнения регрессии (2) могут быть заниженными, а при проверке статистической значимости коэффициентов может быть ошибочно принято решение об их значимом отличии от нуля, тогда как на самом деле это не так.

При малом числе наблюдений, что характерно для эконометрических исследований, для выявления гетероскедастичности может использоваться метод Голдфельда–Квандта. Данный тест используется, если предполагается, что возмущения регрессионной модели распределены по нормальному закону, а среднее квадратическое отклонение возмущений (i=1, 2, …, n) возрастает пропорционально значению фактора. Проверка проводится для всех факторов, включенных в модель, либо только для факторов, предположительно влияющих на однородность исследуемой совокупности. Проверка по некоторому фактору Xj выполняется в следующей последовательности:

1. Все n остатков упорядочиваются по возрастанию значений фактора Xj.

2. В упорядоченном ряду выбирают k первых и k последних остатков, при этом k должно быть больше числа факторов, включенных в модель. Обычно принимают . Центральные остатки, таким образом, исключаются из рассмотрения.

3. По каждой из групп выбранных остатков определяется сумма их квадратов: и .

4. Рассчитывается F-статистика Фишера по формуле , если SS1>SS2, или по формуле , если SS2>SS1.

5. Статистическая гипотеза об одинаковой дисперсии возмущений не отклоняется, если F-статистика не превышает табличное значение F-критерия Фишера для принятого уровня значимости a и чисел степеней свободы числителя и знаменателя , где р — число факторов в модели (см. приложение).

Предпосылка 4 [условие (10)] может не выполняться при построении регрессионной модели по временным рядам исследуемых переменных, где ввиду наличия тенденции последующие уровни ряда могут зависить от предыдущих уровней. В таком случае говорят, что в модели имеется автокорреляция возмущений. Другими причинами автокорреляции являются:

Ø  неучет в модели какого-либо важного фактора;

Ø  неправильный выбор формы регрессионной зависимости;

Ø  наличие ошибок измерения результативного признака;

Ø  цикличность значений экономических показателей;

Ø  запаздывание изменения значений показателей по отношению к изменению экономических условий.

При наличии автокорреляции возмущений обычный метод наименьших квадратов дает несмещенные и состоятельные оценки параметров модели, которые однако неэффективны, т. е. их дисперсии не будут наименьшими. По сравнению с гетероскедастичностью возмущений автокорреляция приводит, наоборот, к завышению стандартных ошибок коэффициентов уравнения регрессии. На основе таких результатов может быть сделан ошибочный вывод о несущественном влиянии исследуемого фактора на зависимую переменную, в то время как на самом деле влияние фактора на нее значимо.

Автокорреляция возмущений бывает положительной или отрицательной. Положительная автокорреляция проявляется в том, что завышенные значения возмущений предыдущих наблюдений результата Y приводят к завышению возмущений последующих наблюдений. На графике временного ряда остатков регрессии это выражается, например, в чередовании зон положительных и отрицательных остатков (рис. 2). При отрицательной автокорреляции, наоборот, завышенные значения возмущений предыдущих наблюдений занижают возмущения последующих наблюдений, а остатки регрессии «слишком часто» меняют знак (рис. 3).

Автокорреляцию возмущений выявляют путем исследования ряда остатков с помощью разных критериев. Наиболее часто для этой цели используется тест Дарбина–Уотсона, основанный на предположении, что если имеется автокорреляция возмущений, то она присутствует и во временном ряду остатков регрессии. Тест основан на расчете d‑статистики

,

(20)

значение которой сравнивают с критическими значениями d1 и d2 (см. приложение). При этом могут возникнуть следующие ситуации:

·  если  , то возмущения признаются некоррелированными;

·  если  , то имеется положительная автокорреляция возмущений;

·  если  , то существует отрицательная автокорреляция;

·  если  или , то это указывает на неопределенность ситуации.

В последнем случае для выявления автокорреляции используется коэффициент автокорреляции остатков первого порядка

.

(21)

Статистическая гипотеза об отсутствии автокорреляции возмущений не отклоняется на принятом уровне значимости a, если коэффициент автокорреляции не превышает по абсолютной величине критическое значение (см. приложение). В противном случае делают вывод об автокорреляции возмущений: положительное значение коэффициента автокорреляции указывает на положительную автокорреляцию, а отрицательное — соответственно на отрицательную.

рис. 2. Модель регрессии с положительной автокорреляцией возмущений

рис. 3. Модель регрессии с отрицательной автокорреляцией возмущений

Невыполнение предпосылок 3 и 4 означает, что ковариации и дисперсии возмущений могут быть произвольными, т. е. задаваться некоторой положительно определенной матрицей W:

,

(22)

где W — ковариационная матрица вектора возмущений.

Модель множественной регрессии, для которой выполняется условие (22), называется обобщенной линейной моделью множественной регрессии (Generalized Linear Multiple Regression Model). Для получения несмещенных и наиболее эффективных оценок параметров такой модели применяют обобщенный метод наименьших квадратов (Generalized Least Squares), условие которого имеет вид:

.

(23)

Вектор оценок b* параметров обобщенной модели определяется как

.

(24)

Следует заметить, что коэффициент детерминации R2 для обобщенной модели не является удовлетворительной мерой ее качества и может использоваться лишь как приближенная характеристика модели.

На практике ковариационная матрица вектора возмущений W, как правило, неизвестна, и для реализации обобщенного метода наименьших квадратов приходится вводить дополнительные условия на структуру матрицы W. Поэтому устранение гетероскедастичности и автокорреляции возмущений производят раздельно, для чего используют частные случаи обобщенного метода наименьших квадратов.

2.4. Оценивание параметров моделей с гетероскедастичностью возмущений

Рассмотрим использование обобщенного метода наименьших квадратов для корректировки гетероскедастичности возмущений. Пусть строится линейная регрессионная модель (1). Будем считать, что модель гетероскедастична, т. е. дисперсии возмущений (i=1, 2, …, n) не равны между собой, а сами возмущения не коррелированны и их математические ожидания равны нулю. Это означает, что ковариационная матрица вектора возмущений W будет диагональной:

.

(25)

Для оценки параметров такой модели используется взвешенный метод наименьших квадратов (Weighted Least Squares), являющийся частным случаем обобщенного МНК.

Сущность взвешенного метода наименьших квадратов состоит в том, что каждый квадрат остатка (i=1, 2, …, n) «взвешивается» с помощью коэффициента , где s(ei) — среднее квадратическое отклонение i-го возмущения. Тем самым добиваются равномерного вклада остатков в остаточную сумму квадратов, что приводит, в конечном счете к получению несмещенных и наиболее эффективных оценок параметров модели.

Условие взвешенного метода наименьших квадратов имеет вид:

.

(26)

Вектор b* оценок параметров модели определяется по формуле (24).

На практике, однако, средние квадратические отклонения возмущений s(ei) почти никогда не бывают известны. Поэтому для применения взвешенного метода наименьших квадратов, необходимо сделать предположение о значениях s(ei). Весьма часто считают, что среднее квадратическое отклонение возмущений пропорционально значениям одного из факторов, предположительно делающих выборочную совокупность неоднородной.

Пусть имеются исходные данные для построения модели множественной регрессии (табл. 1).

Таблица	1
Исходные данные для построения модели множественной регрессии

Номер наблюдения (объекта)	Значение результата Y	Набор факторов и их значения
X0	X1	X2	…	Xj	…	Xp
1	y1	1	x11	x12	…	x1j	…	x1p
2	y2	1	x21	x22	…	x2j	…	x2p
…	…	…	…	…	…	…	…	…
i	yi	1	xi1	xi2	…	xij	…	xip
…	…	…	…	…	…		…	…
n	yn	1	xn1	xn2	…	xnj	…	xnp

Представим модель (1) в развернутом виде: