Обзор подходов к краткосрочному и среднесрочному прогнозированию (стр. 2 )

- функция нечувствительности потерь;  - регуляризированный терм, который управляет балансом сложности функции и точности аппроксимации регрессионной модели, что обеспечивает модели улучшенную производительность; - это константа регуляризации, используемая  для определения компромисса между эмпирическим риском и термом регуляризации. И , и являются параметрами, определяемыми пользователем.

Введем две положительных фиктивных переменных для задания расстояния от фактических значений до  соответствующих граничных значений зоны нечувствительности .

Уравнение (2) принимает следующий вид:

(3)

т. ч.

Используя множители Лагранжа и условия Каруша-Куна-Такера, получим следующую двойственную форму:

(4)

т. ч.

где и - множители Лагранжа. После их вычисления регрессию можно записать как:

(5)

где является функцией ядра. Значения ядра равны внутреннему произведению двух векторов и в пространстве характеристик и  , то есть . Будем считать, что задается с помощью радиальной базисной функции

где обозначает ширину радиальной базисной функции.

Алгоритм оптимизации роя частиц

Метод оптимизации на основе роя частиц, спроектированный Кэннеди, является разновидностью алгоритма поиска оптимального решения путем имитации передвижения птиц и образования стаи. Алгоритм имитирует передвижения птиц в пространстве поиска, где каждая птица называется «частицей». Эти частицы летают с определенной скоростью до тех пор, пока не будет найдена позиция глобального оптимума (после нескольких итераций). На каждой итерации каждая частица может менять движение по направлению лучшей позиции предыдущих итераций и лучшей глобальной позиции для того чтобы найти оптимальное решение. Затем вычисляется новая позиция, к которой полетит «частица». Полагая, что размер пространства поиска равен , позиция i-ой частицы может быть выражена как ; лучшая позиция i-ой частицы обозначается, как и лучшая позиция всего роя частиц обозначается как  . Скорость i-той частицы записывается в виде вектора . Лучшая позиция i-ой частицы может быть вычислена в соответствии со следующими формулами:

(6)

               (7)

Где и - константы ускорения с положительными значениями, rand – случайное число из интервала [0,1]; w – инерционный вес, - фактор ограничения, использующийся для контроля веса скорости.

Оптимизация параметров машины опорных векторов с помощью оптимизации на основе роя частиц

Параметры обучения определяются пользователем. Ненадлежащий их выбор может привести как к переобучению, так и к недостаточному обучению. Аналогично генетическим алгоритмам, алгоритм оптимизации с помощью роя частиц является глобальным и с высокой степенью надежности находит глобальный оптимум. Поэтому этот алгоритм может использоваться для определения пользовательских значений . Процесс оптимизации параметров машины опорных векторов с помощью роя частиц может быть представлен следующим образом:

Шаг 1. Инициализация позиций и скоростей группы частиц случайными значениями. Установка таких параметров, как количество частиц, размер частиц, число максимальных итераций, ограничивающий фактор, коэффициенты ускорений и др.

Шаг 2. Оценка пригодности каждой инициализированной частицы. Функция пригодности задается как , где обозначает фактические значения, а обозначает значения валидации.

Шаг 3. Сохраняется лучшая частица среди имеющихся. Позиции и скорости всех частиц обновляются в соответствии с уравнениями (6) и (7).

Шаг 4. Процесс продолжается до тех пор, пока критерий остановки не будет выполнен. Иначе переход на шаг 2.

Пример: прогнозирование экономического роста г. Сиянь (КНДР)

В работе (2009) описывается использование метода для прогнозирования экономического роста г. Сиянь, расположенного в Китае. Автор использовал данные по городу с 1990 по 2000 год: с 1990 до 1997 гг.– обучающие, с 1998 до 2000 гг. – проверочные.

Таблица 4. Фактические и прогнозируемые значения общего дохода г. Сиянь

Год	Фактическое значение (в млн. юаней)	Прогнозируемое значение (в млн. юаней)	Ошибка (в %)
1998	525,8	545,678	3,78
1999	576,39	603,89	4,78
2000	643,26	640,78	0,38

Литература

J. Kennedy, R Eberhart. Particle swarm optimization. // Proceedings of IEEE International conference on Neural Networks. – 1995, pp. 1942 – 1948.

R. Mendes, J. Kennedy, J. Neves. The fully informed particle swarm: Simpler, maybe better. // IEEE Transactions on Evolutionary Computation. - 2004, v. 8, pp. 204 - 210.

Т. Hastie, R. Tibshirani, J. Friedman, The Elements Of Statistical Learning — Springer, 2001. — 533 p.

L. Gang. Time series forecasting for economic growth based on particle swarm optimization and support vector machine.  // IITA'09 Proceedings of the 3rd international conference on Intelligent information technology application. – 2009, pp. 369 – 372.

Нейронные сети с обучением на основе алгоритма обратного распространения ошибки

Нейронная сеть является совокупностью элементов, соединенных некоторым образом так, чтобы между ними обеспечивалось взаимодействие. Эти элементы, называемые также искусственными нейронами или узлами, представляют собой простые процессоры, вычислительные возможности которых обычно ограничиваются некоторым правилом комбинирования входных сигналов и правилом активизации, позволяющим вычислить выходной сигнал по совокупности входных сигналов. Выходной сигнал элемента может посылаться другим элементам по взвешенным связям, с каждой из которых связан весовой коэффициент или вес. В зависимости от значения весового коэффициента передаваемый сигнал или усиливается, или подавляется. Взвешенные входящие связи называются синапсами, а выходящая связь с результирующим сигналом – аксоном. Процессорный элемент нейрона иногда называют ячейкой.

Пример искусственного нейрона схематически показан на рис.2. Входные сигналы задаются величинами , соответствующие связи-синапсы имеют веса . Ячейка нейрона содержит сумматор , аксон преобразует значение ячейки с помощью активационной функции F. Выходной сигнал нейрона равен .