Тема 2.
Понятие регрессии
2.1. Виды зависимостей
Различают два вида зависимостей:
Функциональная зависимость (функция) | Стохастическая зависимость (регрессия) |
1. Выражает однозначное отображение множества А в множестве В | 1. Проявляется только в массовом процессе, при большом количестве наблюдений |
2. Для каждого допустимого значения аргумента можно указать определенное значения функции (одно!) | 2. Каждому фиксированному значению аргумента соответствует определенное статистическое распределение значений функции |
3. Неважно, какая из переменных является причиной, а какая - следствием, то есть функция является обратимой | 3. Зафиксировано направление связи. При изменении направления зависимость может или иметь другой вид, или вообще не существовать – регрессия необратима. |
Регрессия – это односторонняя стохастическая зависимость одной случайной переменной от другой (или нескольких других): 
или 
.
Переменную 
будем называть зависимой, прогнозируемой или следствием.
Переменные 
– объясняющие или причины.
Для выявления причинно-следственных связей между двумя переменными можно построить диаграмму рассеивания, где результат каждого наблюдения отображают точкой на плоскости. По расположению точек можно делать выводы о существовании и степени связи между переменными, о характере зависимости, а также выдвинуть гипотезу о ее математической записи.
а) отсутствие зависимости | б) возрастающая зависимость |
в) убывающая зависимость | г) комбинированная |
Недостатки диаграмм рассеивания:
- построенные регрессии носят субъективный характер и поэтому могут не совсем точно отражать характер изменений эмпирических данных; при большом количестве переменных (более трех) построить диаграмму рассеивания невозможно.
2.2. Классификация регрессий
Относительно числа явлений (переменных):
- простая (парная) регрессия – описывает зависимость между двумя переменными множественная регрессия – между зависимой переменной
и несколькими причинными факторами 
. Относительно формы зависимости (типа функции):
- линейная регрессия – выражается линейной функцией. нелинейная регрессия – выражается нелинейной функцией.
Относительно характера зависимости:
- положительная регрессия – если с увеличением значений объясняющей переменной значения зависимой переменной также увеличиваются (и наоборот). отрицательная регрессия – с увеличением значений объясняющей переменной значения зависимой переменной уменьшаются.
Замечание: следует отметить, что понятия положительной и отрицательной зависимости, в целом, имеют смысл только для простой регрессии. Во множественном случае предполагается существование определенного количества независимых цепочек причинно-следственных связей, среди которых часть может соответствовать положительной зависимости, а часть - отрицательной.
Относительно типа соединения явлений:
- непосредственная регрессия – явления связаны непосредственно между собой (нет промежуточных факторов-посредников) непрямая регрессия – объясняющая и зависимая переменные детерминируются общей для них причиной, или объясняющая переменная действует через какую-то третью или ряд других переменных на результативную переменную нонсенс-регрессия (ложная или абсурдная регрессия).
Функция регрессии численно оценивает усредненную зависимость между исследуемыми переменными (следствием и причиной), согласно которой другие факторы не изменяются.
Случайную переменную, показывающую разницу между реальным значением исследуемой переменной и ее прогнозируемым значением называют возмущением. На содержательном уровне возмущение включает влияние неучтенных факторов, ошибок наблюдений и погрешностей различного характера.
