Эконометрика: Парная и множественная регрессия (стр. 3 )

Условия Гаусса–Маркова для модели парной регрессии:

1) случайный член регрессии в каждом наблюдении имеет нулевое математическое ожидание: , для любого i;

2) дисперсия случайного члена регрессии не зависит от номера наблюдения i;

3) случайные члены регрессии в разных наблюдениях не зависят друг от друга, то есть если i¹j;

4) случайный член регрессии и объясняющая переменная в каждом наблюдении независимы друг от друга, то есть для любого i.

Рассмотрим теперь эти условия более подробно.

1-е условие Гаусса–Маркова: , для любого i.

Иногда случайный член будет положительным, иногда отрицательным, но он не должен иметь систематическое смещение ни в одном из двух возможных направлений. Фактически, если уравнение регрессии включает постоянный член, то обычно бывает разумно предположить, что это условие выполняется автоматически, так как роль константы состоит в определении любой систематической тенденции в у, которую не учитывают объясняющие переменные, включенные в уравнение регрессии.

2-е условие Гаусса–Маркова: постоянна для всех наблюдений.

Иногда случайный член будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы он порождал большую ошибку в одних наблюдениях, чем в других.

Данное условие можно записать в виде , для всех i.

Так как , то данное условие можно переписать в виде , для всех i.

Величина , конечно, неизвестна, поэтому одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена. Если рассматриваемое условие не выполняется, то коэффициенты регрессии, найденные по обычному методу наименьших квадратов, будут неэффективными, а эффект, который при этом получается называется гетероскедастичностью . В этом случае можно получить более надежные результаты путем применения модифицированного метода наименьших квадратов.

3-е условие Гаусса–Маркова: если i¹j.

Это условие предполагает отсутствие систематической связи между значениями случайного члена в двух любых наблюдениях. Например, если случайный член велик и положителен в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что он будет большим и положительным в следующем наблюдении (или большим и отрицательным, или малым и положительным, или малым и отрицательным). Случайные члены должны быть абсолютно независимы друг от друга.

В силу того, что , данное условие можно записать следующим образом:

.

Если это условие не будет выполнено, то регрессия, оцененная по обычному методу наименьших квадратов, вновь даст неэффективные результаты, а эффект, вызванный нарушением этого условия, называется автокорреляцией.

4-е условие Гаусса–Маркова: для любого i.

Часто используется более сильное предположение о том, что объясняющая переменная не является стохастической, т. е. не имеет случайной составляющей. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, то есть полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.

Если это условие выполнено, то теоретическая ковариация между зависимой переменной и случайным членом равна нулю. Так как , то

.

Следовательно, данное условие можно записать также в виде: .

Наряду с условиями Гаусса–Маркова обычно также предполагается нормальность распределения случайного члена. Если случайный член u нормально распределен, то также будут распределены коэффициенты регрессии a и b.

Теорема

Если выполнены условия Гаусса–Маркова для модели парной регрессии, то МНК дает несмещенные, эффективные и состоятельные оценки параметров регрессии а и b.

При невыполнении предположений 1) и 4) нарушается свойство несмещенности. Если предположения 2) и 3) нарушены (т. е. дисперсия возмущений непостоянна и/или значения связаны друг с другом), то нарушается свойство эффективности.

Докажем, что b будет несмещенной оценкой b. Из (3.1) следует, что

.

Если использовать 4-е условие Гаусса–Маркова и предположим, что x - неслучайная величина, то можем считать известной константой и , следовательно

Таким образом, b – несмещенная оценка b. Можно получить тот же результат со слабой формой 4-го условия Гаусса–Маркова (которая допускает, что переменная x имеет случайную ошибку, но предполагает, что она распределена независимо от u).

За исключением того случая, когда случайные факторы в n наблюдениях в точности “гасят” друг друга, что может произойти лишь при случайном совпадении, b будет отличаться от b в каждой конкретной выборке. Несмещенность можно доказать и для коэффициента а.

Коэффициент регрессии a можно найти по формуле (2.6), которая имеет вид:

При выполнении 4-го условия Гаусса–Маркова, при котором , будет

.

Поскольку y определяется моделью парной регрессии (2.1), и если предположить, что выполнено 1-е условие Гаусса–Маркова, т. е. , то

.

Если перейти к средним значениям будет, то

Получим: .

Таким образом, а и b – несмещенные оценки параметров a и b при выполнения 1-го и 4-го условий Гаусса–Маркова. Безусловно, для каждой конкретной выборки фактор случайности приведет к расхождению оценки и истинного значения.

Можно доказать, что оценки a и b, полученные методом наименьших квадратов, являются состоятельными и эффективными. Условие состоятельности будет следовать непосредственно из вида стандартных отклонений, а доказательство условия эффективности более трудоемко, поэтому проводиться нами не будем.

Ранее рассматривали оценки математического ожидания m случайной величины x по данным выборочных наблюдений. Хотя использовалось выборочное среднее , было показано, что оно является лишь одной из возможных несмещенных оценок этого параметра. Причина предпочтения выборочного среднего всем другим оценкам состоит в том, что при определенных предположениях оно является состоятельной и эффективной оценкой.

Аналогичные рассуждения применимы и к коэффициентам регрессии. Можно провести прямую линию, черед два произвольных наблюдения и посмотреть, будут ли коэффициенты данной линии несмещенными оценками параметров модели. Возьмем первое и последнее наблюдение, тогда уравнение прямой будет иметь вид:

.

Выразив y, получаем уравнение

. (3.2)

Каковы свойства коэффициентов этого уравнения? Сначала мы исследуем, является ли оценка несмещённой. Имеем

Если выполняется первое условие Гаусса–Маркова, т. е. , то эта, на первый взгляд, “наивна” оценка является несмещенной. Аналогично, можно показать, что и оценка также является несмещенной оценкой для коэффициента a. Доказать данное утверждение несложно, поэтому можно провести его самостоятельно.

Это, разумеется, не единственная оценка, которая наряду с оценкой, полученной методом МНК, обладает свойством несмещенности. Можно получить сколько угодно оценок такого типа путем объединения двух или большего количества произвольно выбранных наблюдений. При этом, для их несмещенности достаточно потребовать выполнение первого условия Гаусса–Маркова.

При сравнении с менее “наивными” оценками превосходство оценки МНК в эффективности может быть не столь очевидным. Тем не менее, в том случае, если условия Гаусса–Маркова для остаточного члена выполнены, коэффициенты регрессии, построенной обычным методом наименьших квадратов, будут наилучшими линейными несмещенными оценками (best linear unbiased estimators, или BLUE).

3.2. Стандартные отклонения и стандартные ошибки коэффициентов регрессии

Рассмотрим теперь теоретические дисперсии оценок а и b. Они задаются следующими выражениями

, (3.3)

. (3.4)

Из уравнений можно сделать три очевидных заключения.

1.  Данные оценки являются состоятельными. Поскольку значение n находится в знаменателе, то дисперсии стремятся к нулю, при увеличении числа элементов в выборке.

2.  Дисперсии a и b прямо пропорциональны дисперсии остаточного члена . Чем больше фактор случайности, тем хуже будут оценки при прочих равных условиях.

3.  Чем больше дисперсия x, тем меньше будет дисперсия коэффициентов регрессии. В чем причина этого? Коэффициенты регрессии вычисляются на основании предположения, что наблюдаемые изменения y происходят вследствие изменений x, но в действительности они лишь отчасти вызваны изменениями x, а отчасти вариациями u. Чем меньше дисперсия x, тем больше будет влияние случайного фактора при определении отклонений y. В действительности важнее не абсолютные значения величин и , а их отношение.

На практике, как правило, нельзя вычислить теоретические дисперсии a или b, так как дисперсия случайного члена модели регрессии неизвестна. Однако можно получить оценку на основе остатков. Выборочная дисперсия остатков , которую мы можем измерить, сможет быть использована для оценки , которая имеет тенденцию занижать . Действительно, можно показать, что математическое ожидание , если имеется всего одна независимая переменная, будет

.

Следовательно, , будет несмещенной оценкой .

Если рассматривать не дисперсии, а суммы квадратов отклонений, то несмещенной оценкой параметра регрессии является оценка , где ESS – необъясненная сумма квадратов отклонений.

Поскольку имеется дисперсии коэффициентов регрессии (3и оценки данных значений, необходимо разделять данные понятия, следовательно, необходимы следующие определения:

стандартное отклонение случайной величины – корень квадратный из дисперсии случайной величины;

стандартная ошибка случайной величины – оценка стандартного отклонения случайной величины, полученная по данным выборки. Стандартная ошибка функции коэффициента регрессии будем обозначать в виде и . Таким образом, для парного регрессионного анализа имеем следующие оценки дисперсии и стандартные ошибки:

, (3.5)

,

(3.6)

Как правило, при работе в специализированных пакетах, стандартные ошибки (а не стандартные отклонения) будут подсчитаны автоматически одновременно с оценками а и b.

Подводя итог можно заключить:

1.  Оценка a для параметра a имеет нормальное распределение с математическим ожидание a и стандартным отклонением ;

2.  Оценка b для параметра b имеет нормальное распределение с математическим ожидание b и стандартным отклонением ;

3.  На практике, как правило, значение стандартного отклонения подсчитать невозможно, поэтому необходимо вычислять стандартные ошибками и , используя формулы (3.5) и (3.6).

§ 4. Некоторые распределения

До сих пор мы формально использовали термин нормально распределенная случайная величина. Сейчас рассмотрим основные свойства нормального распределения, а так же рассмотрим некоторые распределения, которые понадобятся для дальнейшего изложения.

4.1. Функция распределения и плотность распределения

Непрерывная случайная величина X может принимать значения из некоторого интервала. Вероятность того, что X примет значение, меньшее вещественного x, называется функция распределения случайной величины и определятся следующим образом . Иногда данную функцию называют интегральной функцией распределения.

Замечание.

В теории вероятностей принято обозначить случайные величины прописными (заглавными) буквами. Именно такое обозначение будет использоваться в данном параграфе.

Функция распределения для непрерывной случайной величины везде непрерывна, является неубывающей функций, при этом

При помощи функции распределения можно определить вероятность того, что случайная величина попадет в некоторый полуоткрытый полуинтервал.

Вычислим вероятность попадания случайной величины в некоторый малый интервал . Рассмотрим отношения этой вероятности к длине этого участка. Устремив к нулю, в пределе получим функцию производную от функции распределения

Функция f(x) называется плотностью распределения случайной величины (дифференциальной функцией распределения).

Плотность распределения является неотрицательной функцией, вследствие неубывания функции распределения и интеграл от минус до плюс бесконечности от функции плотности равняется 1:

Вероятность попадания случайной величины в заданный интервал через плотность распределения: .

4.2. Нормальное распределение

Плотность вероятности нормально распределенной случайной величины на интервале (-¥, +¥) задается формулой:

, (4.1)

а функция распределения

. (4.2)

Основные характеристики данного распределения имеют следующие значения , . Обычно нормально распределенная случайная величина обозначается следующим образом: .

График плотности вероятности нормального распределения имеет колоколообразный вид (рис. 5). Максимум этой функции находится в точке m ,растянутость вдоль оси y определяется параметром s. Чем меньше значение этого параметра, тем более острый и высокий максимум имеет плотность нормального распределения. Максимум данной функции достигается в точке с координатами .

Если случайная величина формируется под действием большого количества независимых факторов, вклад каждого из которых в значение случайной величины мал, то в силу центральной предельной теоремы эта случайная величина будет иметь нормальное распределение. В роли таких величин в экономике могут выступать: объем продаж, суммарные инвестиции, суммарное потребление домашних хозяйств и тому подобные величины, имеющие аддитивную природу, то есть складывающиеся из многих малых взаимно независимых величин.

Рассмотрим основные свойства нормального распределения. Главное из них – если ряд случайных величин имеет нормальное распределение, то их сумма или любая линейная комбинация также будет иметь нормальное распределение.

Распределение величины , представляющей собой взвешенную сумму n независимых нормально распределенных случайных величин с параметрами и , также будет иметь нормальное распределение с параметрами и . В частности, если все , все и одинаковы, то случайная величина имеет следующие характеристики: , .

Замечание.

Подобная случайная величина нами уже изучалась ранее. Данная величина называется выборочное среднее.

Плотность вероятности нормального распределения (4.1) пропорциональна безразмерной величине, , где z – определяемая выражением . Поэтому плотность нормального распределения экспоненциально убывает при удалении от среднего значения m. Случайная величина z имеет нулевое математическое ожидание и единичную дисперсию. Она, как и исходная случайная величина x, нормально распределена, но не зависит от каких-либо параметров. Поэтому ее распределение может быть протабулировано, то есть значения её плотности вероятности могут быть представлены в виде таблиц. Эта функция называется плотностью стандартного нормального распределения, а сама случайная величина стандартно нормальной и обозначается . На практике чаще используют таблицы значений функции распределения стандартной нормальной величины (приложение 1).

Операцией нормализации называется переход от произвольной случайной величины X к величине Z, определенной по правилу .

При нахождении вероятностью того, что нормально распределенная случайная величина попадает в интервал х1<X<х2, необходимо найти вероятность попадания нормально распределенной стандартной случайной величины в интервал z1<Z<z2 , где

Затем по таблице находим значения функции распределения F(z1) и F(z2) и определяем вероятность попадания случайной величины в заданный интервал P(z1<Z<z2) = F(z2) – F(z1). Данная вероятность совпадающую с вероятностью попадания случайной величины Х в интервал х1<X<х2. Геометрически эта вероятность изображается площадью под графиком функции плотностью вероятности в интервале (z1,z2).

Естественно, что данную процедуру можно применять, только если известно стандартное отклонение исследуемой случайной величины, что редко имеет место на практике. Поэтому при оценивании параметров и проверке гипотез чаще применяют другое распределение, которое является, по сути, выборочным аналогом нормального распределения и переходящее в него при бесконечно большом числе наблюдений. Это распределение Стьюдента или t-распределение.

Отметим, что иногда в таблицах стандартного нормального распределения приведена не функция распределения, а следующие функции:

1. определяет вероятность попадания случайной величины z в правый хвост распределения, то есть интервал [z, +¥);

2. определяет вероятность попадания случайной величины Z в интервал [0, z];

3. определяющая вероятность попадания случайной величины Z в интервал [-z, z].

Связь между собой трех вышеупомянутых функций очевидна и может быть получена самостоятельно.

Рассмотрим вероятность того, что случайная величина отклонится от своего математического ожидания не более чем на два или три стандартных отклонения, т. е.

– правило трех сигма,

– правило двух сигма.

Данные правила достаточно часто используются в математической статистике, поскольку указывают практически достоверный интервал, в который попадет значение случайной величины. Однако это мало, поскольку часто возникает необходимость нахождения интервала, в который нормально распределенная случайная величина попадает с заданной вероятностью.

Точка – односторонняя критическая точна, с уровнем a, если . То есть, критическая точка – это такое значение, что с вероятностью a, случайная величина z принимает значение меньше .

Наиболее часто находится интервал (-¥, z], в который случайная величина z попадает с вероятностью 0,95; 0,975; 0,99 или 0,995, то есть критические точки , ,, .

Иногда, определяют критическую точку из условия . То есть, такое значение , что значение случайной величины окажется правее данной точки с вероятностью 1–a.

Эти два определения эквиваленты между собой, однако, если в первом случае значение вероятностей берут достаточно большим, то во втором случае значение вероятности будет равно b=1–a, например, равна 0,05; 0,025; 0,01; 0,005.

Наряду с односторонней критической точкой вводится двусторонняя критическая точка из условия , то есть точка определяет границы отрезка от до , в который попадет случайная величина с вероятность a. Аналогично вводится критическая точка из условия .

Между данными критическими точками (односторонними и двусторонними) существует соотношения вида , смысл которого достаточно очевиден, поскольку функция плотности симметрична.

Если рассматривать критические точки, как границы интервала, в который случайная величина попадет с заданной вероятностью, то подобные рассуждения можно применить и к произвольной нормально распределенной случайной величине. А именно, если , то можно перейти к стандартной нормальной величине , и критические точки для x будут .

Иногда на практике приходится работать с функциями случайных величин. Пусть случайная величина X имеет нормальное распределение, тогда случайная величина Y=ex называется логарифмически нормальной. Можно показать, что плотность распределения этой величины определяется формулой:

(4.3)

Логарифмическое нормальное распределение возникает в случае, когда исследуемая случайная величина формируется под воздействием большого количества мультипликативных случайных факторов.

4.3. Распределение Стьюдента

Рассмотрим основные свойства распределения Стьюдента.

Во-первых, аналогом безразмерной величины z-статистики, определяемой выражением , служит также безразмерная величина t-статистика, определяемая выражением . Вместо стандартного отклонения стоит выборочное стандартное отклонение, являющееся случайной величиной и определяемое по данным наблюдений с помощью выражения:

,

здесь – выборочное среднее, n – число наблюдений.

Во-вторых, в отличие от стандартного нормального распределения, являющегося функцией лишь одной переменной z, t-распределение является не только функцией переменной t, но также зависит еще от одного параметра – числа степеней свободы n. Число степеней свободы равно общему числу наблюдений, уменьшенному на число линейных связей между ними. Если n выборочных наблюдений связаны s линейными уравнениями, то их распределение имеет n = n–s степеней свободы.

Пусть имеется набор независимых случайных величин распределенных по одному и тому же нормальному закону. Случайная величина, имеющая распределение c2 с n степенями свободы, задается следующим образом:

(4.4)

Распределение c2 (хи-квадрат, или распределение Пирсона) имеет сумма квадратов n независимых стандартных нормально распределенных случайных величин (с нулевыми средними значениями и единичными дисперсиями).

Распределение Стьюдента имеет случайная величина, равная отношению двух независимых случайных величин: стандартной нормально распределенной величины Z и величины . Вводя новую случайную величину

, (4.5)

получим, что она имеет распределение Стьюдента с n степенями свободы, для которой , .

Функции плотности вероятности распределения Стьюдента, как и стандартного нормального распределения, имеет симметричный колоколообразный вид. При увеличении числа степеней свободы дисперсия стремится к единице, а распределение Стьюдента стремится к нормальному распределению. На рисунке 6 представлены графики плотности распределения Стьюдента с 5,10 и 50 степенями свободы, а также плотность нормального распределения. Как правило, при числе степеней свободы 120 и более распределение Стьюдента отождествляют с нормальным распределением.

Важная роль распределения Стьюдента объясняется следующим фактом: если случайные величины Х0,Х1,Х2 ... ,Xn распределенные по одному и тому же закону с параметрами m,s то отношение

имеет распределение Стьюдента с n степенями свободы, которое не зависит от параметров m и s.

Поскольку t–распределение Стьюдента является функцией двух переменных, затабулировать её аналогично функции нормального распределения невозможно. Как правило, при работе с данным распределением необходимы критические точки. Напомним, что критическая точка имеет следующий смысл: . Поэтому таблицы для распределения Стьюдента задают значения критических точек для различных значений вероятности а, при соответствующем числе степеней свободы n (приложение 2).

Из симметричности функции Стьюдента вытекает важное соотношение между критическими точками . Критическая точка (например, ) находится на пересечении строки с числом степеней свободы (в данном случае n = 10) и столбца с заданной вероятностью (а = 0,05). Из таблицы можно найти, что .