Глава 6 Прикладной регрессионный анализ (стр. 1 )

Глава 6  Прикладной регрессионный анализ

Введение

Проблема нахождений истинной закономерности по результатам измерений (вход – выход) является универсальной. Нет ни одной области деятельности человека, в которой так или иначе эта задача не возникала. Различные аспекты решений этой проблемы рассматриваются в таких науках, как математическая статистика, теория управления, теория искусственного интеллекта и др. В рамках вероятных моделей эта задача формулируется как оценка линии регрессий по результатам статистических экспериментов и в практическом плане является областью приложения прикладного регрессионного анализа [36].

В этой главе рассматриваются две различные постановки этой задачи. В первой постановке проблема восстановления известной закономерности формулируется как классическая задача прикладного регрессионного анализа: восстановление многомерной полиномиальной регрессии по избыточному описанию и произвольно распределенной помехе. По результатам статистических испытаний надо оценить неизвестные коэффициенты, часть из которых тождественно равна нулю и неизвестна исследователю. Предлагается и обосновывается эффективный алгоритм решения этой задачи, основанный на использовании нормированных ортогональных полиномов Форсайта в рамках классического метода наименьших квадратов. Основная прикладная особенность предлагаемого метода – отсутствие вычислительных сложностей, формулирование требований к эксперименту, выполнение которых приводит к практически точному восстановлению закономерности (многомерной полиномиальной регрессии) при аддитивной помехе с произвольной конечной дисперсией. Приведены примеры восстановления регрессии с помехой Е, дисперсия которой равна =2500.

Во второй постановке проблема восстановления истинной закономерности по результатам измерений формулируется следующим образом. Истинная закономерность (которую необходимо восстановить) задана в виде , где – векторный аргумент, – известные базовые функции, , – неизвестные коэффициенты, часть (возможно, большая) из которых тождественно равна нулю. Такая постановка возникает, когда исследователь, анализируя изучаемое явление, выдвигает различные гипотезы об истинном (с точностью до значения параметров) аналитическом представлении неизвестной закономерности. Предложен метод решения этой задачи для случая, когда число экспериментов (вход – выход) хотя бы на единицу превышает количество ненулевых коэффициентов ,. Такое число экспериментов может быть существенно меньше L. Метод обобщается на случай, когда на выходное измерение аддитивно накладывается помеха в виде случайной величины. Проведенные вычислительные эксперименты показывают, что предложенный модифицированный метод эффективно восстанавливает истинную закономерность (определение ненулевых и оценка ненулевых ), когда размах помехи не превышает 2 % от значения восстанавливаемой функции в данном эксперименте. Иными словами, метод восстанавливает истинную закономерность при достаточно грубой (до 2 %) точности измерений.

В седьмой главе обосновывается возможность эффективного использования методов, изложенных в этой главе, для восстановления глобальной функции цели в модифицированном методе анализа иерархий Саати.

6.1  Построение многомерной полиномиальной регрессии. Активный эксперимент

Задача конструктивного восстановления по статистическим данным регрессионной модели (детерминированной закономерности) является предметом исследования прикладного регрессионного анализа [1, 2, 11, 27, 36, 68, 80]. Наиболее применяемым является метод наименьших квадратов. Практические проблемы реализации метода наименьших квадратов при построении многомерной полиномиальной регрессии заключаются в необходимости обращения плохо обусловленных матриц; отсутствии эффективных процедур восстановления истинной многомерной полиномиальной регрессии по ее избыточному описанию. Предлагаемый метод в целом эффективно справляется с этими проблемами. Основы его построения сформулированы в [57, 58, 59].

6.1.1  Построение одномерной полиномиальной регрессии

Постановку задачи и анализ известных результатов приведем в соответствии с [9].

Модель регрессии имеет вид

(6.1)

где – детерминированная переменная, значение которой в экспериментах исследователь может задавать произвольно; – неизвестные коэффициенты, – случайная величина с произвольным распределением, ( – знак математического ожидания); (дисперсия) ограничена, ее значение неизвестно, либо известна ее верхняя оценка .

Проведено экспериментов, результатом которых являются две выборки объема .

В соответствии с (6.1)

; (6.2)

где – неизвестная реализация случайной величины в -том эксперименте. Числа можно считать реализациями случайных величин ; где имеет распределение случайной величины , а связаны соотношением:

, (6.3)

где – независимые случайные величины, распределенные так же, как и случайная величина ; – независимые случайные величины с дисперсией .

Оценки неизвестных коэффициентов находятся из минимизации выражения

(6.4)

Введем матричные обозначения:

где – оценки в соответствии с (6.4).

Тогда [9]

, (6.5)

либо , если , считать случайными величинами. Сложности, связанные с обращением матрицы исчезают, если от модели (6.1) перейти к модели регрессии, заданной с помощью нормированных ортогональных полиномов [9]:

(6.6)

где – нормированные ортогональные полиномы,

(6.7)