2 ЕЛЕМЕНТИ ПРИКЛАДНОГО РЕГРЕСІЙНОГО АНАЛІЗУ
2.1 Постановка задачі парної регресії
2.2 Метод найменших квадратів (МНК) на прикладі лінійної одно факторної моделі
2.3 ММП для оцінки параметрів регресії
2.4 Точність оцінки регресії. Коефіцієнт детермінації (пояснена доля варіації). 
критерій значимості регресії
2.5 Дослідження рівняння регресії стор. 43
2.6 Матричний підхід до лінійної регресії
2.1 Постановка задачі парної регресії
Нехай мається 
-пар спостережень 
,
випадкових величин 
та 
. Якщо апріорі відомо, що має місце стохастичний зв’язок між та , то виникає задача структурної та параметричної ідентифікації такої моделі у вигляді 
. У такому випадку називається незалежною змінною (фактором, екзогенною змінною, пре диктором), а - незалежною змінною (ендогенною).
2.2 Метод найменших квадратів (МНК) на прикладі лінійної одно факторної моделі
,
, (2.1)
.
Суть МНК-оцінки коефіцієнтів будь-якої моделі полягає у тому, щоб знайти значення параметрів за умови мінімуму функціоналу (рис. 2.1):
. (2.2)
Для лінійної моделі (2.1) отримаємо:
. (2.3)
Виходячи з необхідної умови існування екстремуму функції можна записати:
(2.4)
Підставляючи (2.3) у (2.4) отримаємо:
,
,
, (2.5)
. (2.6)
Рис. 1 – Лінія регресії
2.3 ММП (метод мах подібності) для оцінки параметрів регресії
МНК є частковим випадком методу максимальної правдоподібності (ММП) за умови, що 
.
Нехай неперервна випадкова величина, яка в результаті незалежних випробувань набуває значення 
. Припустимо, що вид розподілу 
заданий, але параметр 
, яким визначається ця функція, невідомий. Як застосувати ММП до оцінки коефіцієнтів регресії лінійної моделі? У термінах залишків:
, тоді
, або
,
,
, 
(2.7)
Для випадку, коли 
маємо
. (2.8)
2.4 Точність оцінки регресії. Коефіцієнт детермінації (пояснена доля варіації). критерій значимості регресії
Важно вміти відповідати на питання: яка точність може бути приписана нашій оцінці лінії регресії?
Розглянемо наступну тотожність (згідно з рис. 2.1):
, (2.9)
Перепишемо інакше:
, (2.10)
. (2.11)
Тобто, співвідношення (2.11) можна виразити словами таким чином:
.
Будь-яка сума квадратів пов’язана з кількістю її степенями свободи. Дане число показує, як багато незалежних елементів інформації, що отримуються з незалежних чисел 
.
Зауваження. У статистиці кількістю степенем вільності деякої величини часто називається різниця між кількістю різних досліджень і кількістю констант, знайдених по цих дослідженнях незалежно один від одного.
Користуючись рівняннями (2.11) складають таблицю дисперсійного аналізу (Табл. 1).
Табл. 1 Таблиця дисперсійного аналізу (ANOVA). Основний розклад
Джерело інформації | Кількість степенів вільності | Сума квадратів SS | Середні квадрати MS |
Зумовлений регресією Відносно регресії (залишок) | 1
|
|
|
Загальний, скорегований на середнє |
|
|
Для оцінки долі загальної варіації відносно середнього 
, зумовленою регресією, вводять поняття коефіцієнта детермінації:
. (2.12)
Фактично 
- це кореляція між та 
і його зазвичай називають коефіцієнтом множинної кореляції. Як видно з аналізу (2.12):
, або 
.
З іншого боку на практиці за (2.12) визначається власне не коефіцієнт детермінації, а його оцінка. Тому постає питання перевірки значимості його оцінки. Тобто, 
при 
. У теорії регресійного аналізу доводиться, що за умови випадкова величина 
має розподіл Фішера, тобто 
. Таким чином можна ввести критерій значимості регресії. Для перевірки нульової статистичної гіпотези 
порівнюють з 
. Якщо 
, то нуль-гіпотеза відкидається.
Література
1. Чистяков теории вероятностей: Учеб. - 3-е изд., испр. - М.: Наука, Гл. Ред. Физ.-мат. Лит
2. Гмурман вероятностей и математическая статистика. Учеб. Пособие для втузов. Изд-е 5-е, перераб и доп., М., "Высш. Школа7", 1977.
3. Гмурман к решению задач по теории вероятностей и математической статистике. М.: Высшая школа,1977 г.
4. Гласс Дж. Стэнли. Статистические методы в педагогике и психологии. Перев. с англ. Изд-во „Прогресс”, - М., 1976.
5. Руни он и…
6. Смирнов, Дунин-Барковский.
