Обзор подходов к краткосрочному и среднесрочному прогнозированию (стр. 3 )

Рисунок 2. Схема искусственного нейрона

Структура связей отражает то, как соединены элементы сети. В одной модели каждый элемент может быть связан со всеми другими элементами сети, в другой модели элементы могут быть организованы в некоторой упорядоченной по уровням (слоям) иерархии, где связи допускаются  только между элементами в смежных слоях, а в третьей могут допускаться обратные связи между смежными слоями или внутри одного слоя, или же допускаться посылка сигналов элементов самим себе. Далее мы будем иметь дело со слоистыми сетями.

Слоистая сеть (см. рисунок 3) имеет входной слой (через который поступают сигналы из внешней среды) и выходной слой (вывод нейронов этого слоя поступает во внешнюю среду), а также как минимум один промежуточный (скрытый) слой нейронов.

Рисунок 3. Схема слоистой сети с одним промежуточным слоем

Входящие данные в такой сети поступают со слоя на слой в порядке следования до тех пор, пока не достигнут выходного слоя.

Будем обозначать входной вектор сигналов как , где n – количество нейронов во входном слое, выходной вектор – как , где m – количество нейронов в выходном слое. Также будем полагать, что количество нейронов в скрытом слое равно h.

и - соответствующие величины весов между входным и скрытым слоем, скрытым и выходным слоем ().

- активационная функция нейрона, которая должна быть дифференцируемой и определенной во всех точках. Выберем в качестве сигмоидальную функцию:

,

и заметим, что значение функции изменяется от 0 до 1.

Алгоритм обратного распространения ошибки в общем виде выглядит следующим образом:

Инициализировать веса и случайными числами, требуя, чтобы все веса были различными. Величины должны быть малыми, но не равными 0 (например, из диапазона ). Вычислить разницу между фактическим выходом и желаемым выходом для каждого примера из множества обучающих примеров. Изменить веса и с помощью метода минимизации ошибки. Если номер итерации больше чем номер максимальной итерации N, либо ошибка сети меньше заданного малого значения е, то выход. Иначе перейти к шагу 2.

Исследования показали, что скорость обучения в обобщенном алгоритме обратного распространения ошибки является довольно низкой. Поэтому на практике применяют дополнительный фактор обучения б и инерциальный фактор в.

Если , то среднее значение ошибки t-ой итерации является приемлемым, и следует увеличить скорость обучения и инерциальный фактор, т. е.

.        

Если , то среднее значение ошибке t-ой итерации является неприемлемым, и следует замедлить скорость обучения и уменьшить инерциальный фактор, т. е.

.

Формулы , показывают коррекцию весов на последней и предыдущей итерациях. - динамически меняющийся параметр, который представляет собой малую величину и, как правило, равен 0.05. В процессе выполнения итераций необходимо проверять, что значения б и в меняются в пределах допустимого диапазона. Было обнаружено, что инерциальный фактор оказывает значительное влияние на скорость сходимости, его допустимые пределы лежат в диапазоне [0,75, 0,99]. Динамический фактор обучения б может варьироваться в диапазоне [0,025, 0,95].

Прогнозное значения выбранной величины строятся следующим образом:

С помощью экспертов выбираются факторы, оказывающие влияние на величину.

(Также факторы могут быть установлены с помощью статистического корреляционного и факторного анализа)

Определяется обучающая выборка и временной лаг, тестовая выборка.

Обучающей выборкой становятся численные временные значения факторов и исходной величины в пределах заданного временного интервала (например, с 1985 по 2005 год) и на ней проводится обучение нейронной сети. Временной лаг обозначает диапазон по времени. Тестовая выборка задается численными временными значениями факторов и исходной величины в пределах заданного временного интервала (например, с 2006 по 2010 год) и на ней нейронная сеть проходит проверку. Разность между фактическим и прогнозным значением величины фиксируется. Если отношение разности к фактическому значению не превышает 0,05, результаты работы нейронной сети признаются удовлетворительными.

Строится нейронная сеть с количеством входов, соответствующим количеству влияющих факторов, умноженному на временной лаг, задается скрытый слой, число нейронов в котором обычно больше или равно числу нейронов на входном слое, и выход. Сеть проходит обучение сначала на обучающей выборке с помощью алгоритма обратного распространения ошибки, а затем запускается на проверочной выборке. Если сеть показала удовлетворительные результаты, то считается, что она готова к использованию.

Порой число факторов может составлять десятки, а то и сотни, что значительно сказывается на скорости функционирования нейронной сети, особенно – на скорости обучения. Поэтому часто применяются различные методы редукции влияющих факторов, что позволяет оптимизировать структуру нейронной сети и сократить временные расходы.

Неточные множества

Автором теории неточных множеств является ученый З. Павлак, который в 1982 году опубликовал результаты своих разработок. Теория неточных множеств, без предоставления данных, необходимых для работы с набором любой заданной информацией, базируется только на данных наблюдения для того чтобы избавиться от избыточной информации, анализ полноты знаний для генерации правил классификации, чтобы упростить построение индикаторов, является эффективным подходом, использующим неопределенность данных и инструменты нечеткой логики.

Информационная система

Информационная система S может быть выражена как , где - это область определения (), для множества атрибутов (С – множество атрибутов условий, D – множество атрибутов решений), - диапазон, а задает отображение.

Неразличимые отношения

Теория неточных множеств тесно связана с классификацией. Знание базируется на возможности классификации, и процесс классификации зависит от объекта. Их отношение является отношением неразличимости или отношением эквивалентности. Знание может быть выражено как.  называется областью определения, а - множеством отношений эквивалентности на . выражает класс эквивалентности, который содержит на R. Если и Ш, то все отношения эквивалентности на P являются разновидностью пересечения отношений эквивалентности и могут считаться неразличимыми на P. Формулой это выражается как:

.

Редукция атрибутов и ядро

Определение 1. Пусть - информационная система и R – отношение эквивалентности на U, . Если , или в упрощенном виде , то r является знанием, которое может быть редуцировано на R, иначе знание нередуцируемое.