УДК 330.43
ЧИСЛЕННАЯ РЕАЛИЗАЦИЯ ДОСТУПНОГО ОБОБЩЕННОГО
МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ
Рассмотрены вычислительные аспекты обобщенного метода наименьших квадратов.
статистика, распределения, МНК, точечные оценки
В доступном обобщенном методе наименьших квадратов (ДОМНК), применяемом в эконометрических расчетах [1-3], рассматривается модель линейной регрессии Y=Xβ+ε, где Y∈ℝ, X∈ℝ, β∈ℝ - вектор наблюдаемых величин, матрица значений факторов и вектор параметров соответственно (k<<n), в которой предполагается, что ε~N(0, σ2Θ) имеет гауссово распределение с математическим
ожиданием Е(ε) = 0, дисперсией σ2 и корреляционной матрицей
Θ = Θ (t) = , |t| < 1,
так что плотность распределения вектора ошибок ρε имеет вид:
rε(t, s, b) = .
Стандартный метод наибольшего правдоподобия позволяет в качестве функции
правдоподобия взять
L(t, σ, β) = ln(ρε(t, σ, β)) = const – n ln(s) - - (Y-Xb)TΘ-1(Y-Xb), максимальное значение которой достигается на решении уравнения dL(t, σ, β) = 0
(полное дифференцирование). Но, так как
L(t, s, b) = XTΘ-1(Y - Xb),
L(t, s, b) = - (Y-Xb)TΘ-1(Y-Xb),
L(t, s, b) = - (ln (det(Θ(t))))' - (Y-Xb)T(Θ(t)-1)' (Y-Xb),
то (точечные) оценки, , параметров t, σ, β можно получить, решив систему
уравнений
XTΘ-1X\o\ac(β;\s\up2(ˆσ;ˆ (1)
где e=Y-X - вектор остатков, штрих означает дифференцирование по t. При фиксированном t = t первое уравнение позволяет получить несмещенную оценку =(XTΘ-1X)-1XTΘ-1Y=X+ΘY, второе – (смещенную) оценку дисперсии, третье позво-ляет "уточнить" выбранное t.
При выбранной гипотетической форме корреляционной матрицы Θ(t) необ-ходимые функции от нее вычисляются довольно просто. Обозначим нижним индексом порядок матрицы и ее определителя. Тогда, вычитая каждую строку (начиная со второй) определителя det(Θ(t))n, умноженную на t, из предыдущей, получаем рекуррентную формулу: det(Θ(t))n = (1-t2)det(Θ(t))n-1, откуда (по индук-ции) det(Θ(t))=(1-t2). Теперь, выполняя аналогичную процедуру (или стандарт-ное гауссово исключение), нетрудно получить (трехдиагональную) обратную мат-
рицу
Θ-1(t) = .
Ее производная, очевидно, равна
(Θ-1(t))' = .
Используя трехдиагональность полученных матриц, можно существенно упростить систему уравнений (1). Обозначив s = eTe, v = s-e12-en2, u = Σej ej+1, можно найти выражение для оценки дисперсии. А так как
eT[Θ -1(t)]′e = [ut2-(s+v)t+u], то последнее уравнение в (1) (после очевидного
упрощения) примет вид
t(vt2-2ut+s)-n(vt-u)(t2-1)=0 (2)
– обычное кубическое уравнение, легко решаемое численно. При t =±1 уравнение переходит в равенство (v–+2u+s) = 0, или Σ(ej –+ ej+1)2 = 0, невозможное при слу-чайном характере остатков (в этом случае и матрица Θ теряет смысл). Далее, нетрудно видеть, что u ≤ v, vt2 - 2ut + s > 0 (∀t). Отсюда и из непрерывности левой части уравнения (2) следует, что последняя внутри интервала (-1, 1) в окрестности его границ принимает различные знаки, и, таким образом, уравнение (2) всегда имеет корень t*: |t*|<1. Численная реализация ДОМНК, следовательно, может быть
представлена простым алгоритмом:
1. Выбрать произвольное t: |t|<1.
2. Получить оценку =А-1В, где A=XTΘ(t)-1X, B=XTΘ(t)-1Y.
3. Вычислить остатки e=Y-X, s, v, u.
4. Найти ближайший к нулю корень t* уравнения (2).
5. Выбрать новое значение t = t* и перейти к п. 2.
Стратегия выбора нового значения t может быть различной: от простой подста-новки t:= t* до подбора линейной комбинации вида t:=λt+(1-λ)t*. Статистика обычно не требует высокой вычислительной точности, поэтому итерации можно выполнять до разумной повторяемости результатов, положив = t*. Оконча-тельная несмещенная оценка дисперсии получается стандартно: .
Приведенный алгоритм делает ДОМНК действительно "доступным".
Полученные с помощью ДОМНК оценки параметров линейной модели могут существенно отличаться от оценок, полученных стандартным МНК. В качестве иллюстрации приведем пример. Для заданных значений матриц X и Y:
для модели Y = Xβ + ε стандартный МНК при-
водит к оценкам = . Начиная со
значения t= 0.5, через шесть итераций приве-
денного выше алгоритма приходим к значе-
нию = -0.414. Оценки ДОМНК параметров β
при найденном следующие: () = .
Значимость полученного различия оценок
обычно устанавливается дополнительным ис-
следованием с вычислением вероятностных
интервалов.
СПИСОК ЛИТЕРАТУРЫ
1. Дубров статистические методы /, , .–М, Финансы и статистика, 2000.–350 с.
2. Кремер /, .–М., 2007.–311 с.
3. Пахнутов в эконометрику. – Калининград, КГТУ, 2005.–95 с.
COMPUTATION IN FGLS
I. A. Pakhnoutov
A numerical aspect in Feasible Generalized Least Squares is considered. Basic algorithm is simple and easily realizable.
