Глоссарий по ИНС

Глоссарий по ИНС

№	Термин	Определение
1.		ART-1 (сеть адаптивной резонансной теории-1, классификатор Карпенетер/Гроссберга) - рекуррентная нейронная сеть с алгоритмом обучения "без учителя", обычно включает в себя два слоя, реализующих кратковременную память в виде паттернов активности нейронов. В первом слое кодируются признаки объектов, во втором - классы объектов. Имеющиеся между слоями связи реализуют долговременную память в виде адаптивных весовых коэффициентов. Кратковременная память предназначена для запоминания стимулов и их классификации, долговременная - для хранения информации о классах объектов. В модели ART-1 на вход подаются бинарные значения. Если входной вектор достаточно похож на один из имеющихся прототипов, то векторы резонируют (данный прототип корректируется с учетом входного вектора), если входной вектор не похож ни на один прототип, то создается новый класс и в качестве его прототипа берется входной вектор. Нейроносодержащая часть модели ART-1.
2.		ART-2 (сеть адаптивной резонансной теории-2) - рекуррентная нейронная сеть с алгоритмом обучения "без учителя", являющаяся модификацией модели ART-1. В отличии от ART-1 она позволяет классифицировать как бинарные, так и непрерывные значения входных сигналов.
3.		Активационная функция (функция активации, функция возбуждения, характеристическая функция) - нелинейная функция, вычисляющая выходной сигнал формального нейрона (OUT). Обычно принимает в качестве аргумента сигнал, получаемый на выходе входного сумматора (NET). В качестве активационных часто используются функции: Жесткая пороговая функция Линейный порог Сигмоидальная функция
4.		Ассоциативная память - свойство нейронной сети восстанавливать предъявленный слегка измененный образ, например, с наложенным шумом или содержащий лишь важную часть исходного образа. Это свойство позволяет на основе нейронной сети создавать базы данных, поиск в которых осуществляется не по ключу, а в процессе вычислений на основе предъявленного фрагмента требуемого образа. Задача, решаемая сетью ассоциативной памяти, как правило, формулируется так: -известен некоторый набор образцовых сигналов, например, изображений, оцифрованных звуков и т. п. - требуется по произвольному поданному на вход сигналу восстановить соответствующий образец или дать заключение о том, что входные данные не соответствуют ни одному из образцов.
5.		Архитектура нейронной сети - способ организации и связи отдельных элементов нейросети(нейронов). Архитектурные отличия самих нейронов заключаются главным образом в использовании различных активационных (возбуждающих) функций. По архитектуре связей нейронные сети можно разделить на два класса: сети прямого распространения и рекуррентные сети. Сети прямого распространения(без обратных связей) Рекуррентные сети(с обратными связями) Преимущества Простота реализации. Гарантированная(математически доказанная) сходимость вычислений. Меньший по сравнению с сетями прямого распространения объем сети(по количеству нейронов). Недостатки Быстрый рост числа нейронов с увеличением сложности задачи. Необходимость использования дополнительных условий, обеспечивающих сходимость вычислений.
6.		Алгоритм обучения нейросети - процедура настройки архитектуры, весов синаптических связей и порогов нейронов по имеющимся примерам (обучающей выборке) с целью заставить сеть функционировать должным образом. Основные парадигмы обучения: "С учителем" "С подкреплением" "Без учителя" "Смешанное" Обучающие примеры - наборы пар входов-выходов. Т. е. известны правильные ответы(выходы сети) на каждый входной пример. Правильные ответы не известны, но известна критическая оценка правильности выхода сети В качестве обучающих примеров используются только входные значения Часть весов определяется обучением "с учителем", другая часть самообучением.
7.		Быстрые нейронные сети(БНС) - разновидность многослойных нейронных сетей прямого распространения, высокая вычислительная эффективность которых достигается за счет разумных ограничений на структурную организацию. В быстрых нейронных сетях слои делятся на нейронные ядра. Нейроны каждого ядра связаны не со всеми нейронами предыдущего слоя, а только с теми из них, которые образуют рецепторное поле данного ядра. Топология БНС: разными цветами выделены нейронные ядра.
8.		Вероятностные нейронные сети (PNN-сети) - нейронные сети, в которых плотность вероятности принадлежности классам оценивается посредством ядерной аппроксимации. Вероятностные нейронные сети имеют слоистую структуру. В простейшем случае есть три слоя - входной, радиальный и выходной. Каждому обучающему примеру соответствует один элемент радиального слоя. Каждому классу соответствует один выходной элемент, который соединен только с радиальными элементами, относящимися к его классу. Выходной элемент суммирует сигналы всех радиальных элементов, принадлежащих к его классу. Нормированные значения выходных сигналов позволяют оценить вероятности принадлежности классам. Вероятностная сеть, оценивающая вероятности принадлежности входных векторов к трем классам.
9.		Временные ряды(Time Series) - последовательности измерений, сделанных в неслучайные моменты времени. Прогнозирование временного ряда (предсказание будущих значений временного ряда по настоящим и прошлым значениям) является одним из наиболее популярных приложений нейронных сетей. Обычно очередное значение временного ряда прогнозируется по некоторому фиксированному числу его предыдущих значений.
10.		Входная звезда (Instar) - фрагмент нейронной сети, состоящий из одного нейрона, имеющего группу взвешенных входов. Входная звезда обучается реагировать только на определенный входной вектор и ни на какой другой. Выход эвезды определяется как взвешенная сумма ее входов. Входная звезда Гроссберга.
11.		Гауссов классификатор - персептрон, относящий входной вектор к одному из классов, исходя из вероятности принадлежности этого вектора к классам. Отдается предпочтение классу, вероятность принадлежности к которому максимальная. Считается, что вероятности принадлежности входных векторов к классам заданы гауссовыми распределениями.
12.		Генетический алгоритм обучения нейросети - алгоритм получения оптимальной архитектуры нейросети эволюционным путем. Создаются несколько сетей со случайной архитектурой(популяция особей). Каждая сеть представлена хромосомой - генетическим кодом, полностью описывающим ее архитектуру(прежде всего весовые коэффициенты). Над хромосомами совершаются операции скрещивания(crossover), репродукции, мутации. Посредством естественного отбора, т. е. вычисления функции приспособленности(fitness-функции) выбираются наиболее оптимальные на данном шаге архитектуры сети.
13.		Горизонт - в задачах прогнозирования временных рядов - число шагов по времени, на которое нужно  выполнить прогноз.
14.		Градиентное обучение - общий способ оптимизации нейронной сети, в котором минимизация функционала ошибки осуществляется по методу градиентного спуска. Примером градиентного обучения многослойного персептрона служит семейство методов обратного распространения ошибки.
15.		Жесткая пороговая функция (жесткий порог, функция единичного скачка, hard limit) - кусочно-линейная функция, используемая в качестве активационной функции в формальном нейроне. Если входное значение меньше порогового, то значение функции равно минимальному допустимому, иначе значение функции равно максимально
16.		Задача классификации - частный случай задачи аппроксимации функции с дискретным набором выходных значений (идентификаторов классов). Обычно для нейронных сетей задача классификации ставится так: указать принадлежность входного вектора(образа) к одному или нескольким заранее определенным классам. Примеры задач классификации: распознавание текста, распознавание речи, идентификация личности.
17.		Задача регрессии - частный случай задачи аппроксимации функции с непрерывными выходными значениями. Обычно для нейронных сетей задача регрессии ставится так: найти наилучшее приближение функции, заданной конечным набором входных значений(обучающих примеров). Например, нейронные сети позволяют решать задачу восстановления закономерностей.
18.		Искусственный нейрон (формальный нейрон) - элемент искусственных нейронной сетей, моделирующий некоторые функции биологического нейрона. Главная функция искусственного нейрона - формировать выходной сигнал в зависимости от сигналов, поступающих на его входы. В самой распространенной конфигурации входные сигналы обрабатываются адаптивным сумматором, затем выходной сигнал сумматора поступает в нелинейный преобразователь, где преобразуется функцией активации и результат подается на выход(в точку ветвления). Формальный нейрон.
19.		Искусственные нейронные сети - модели биологических нейронных сетей мозга, в которых нейроны имитируются относительно простыми, часто однотипными, элементами(искусственными нейронами). Топологически искусственная нейронная сеть может быть представлена направленным графом со взвешенными связями, в котором искусственные нейроны являются вершинами, а синаптические связи - дугами.
20.		Линейная функция с насыщением (линейный порог, гистерезис, linear transfer) - кусочно-линейная функция, используемая в качестве активационной функции в формальном нейроне. Как видно из рисунка, есть два линейных участка, где функция тождественно равна минимально допустимому и максимально доп
21.		Логистическая функция (экспоненциальная сигмоида, функция Ферми) - нелинейная функция с насыщением, часто используемая в качестве активационной функции. При любых значениях аргумента значения логистической функции принадлежат интервалу (0,1), поэтому ее называют "сжимающей". Логистическая функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения.
22.		Метод обратного распространения ошибки (Back propagation, backprop) - алгоритм обучения многослойных персептронов, основанный на вычислении градиента функции ошибок. В процессе обучения веса нейронов каждого слоя нейросети корректируются с учетом сигналов, поступивших с предыдущего слоя, и невязки каждого слоя, которая вычисляется рекурсивно в обратном направлении от последнего слоя (где она определяется по выходам сети) к первому.
23.		Многослойный персептрон (MLP) - нейронная сеть прямого распространения сигнала (без обратных связей), в которой входной сигнал преобразуется в выходной, проходя последовательно через несколко слоев. Первый из таких слоев называют входным, последний - выходным. Эти слои содержат так называемые вырожденные нейроны и иногда в количестве слоев не учитываются. Кроме входного и выходного слоев в многослойном персептроне есть один или несколько промежуточных (скрытых) слоев. Двухслойный персептрон (входной слой не учитывается)
24.		Нейронное ядро - группа нейронов, имеющих общее рецепторное поле (получающих один и тот же входной сигнал). Каждое нейронное ядро характеризуется размерностью рецепторного поля и числом входящих в него нейронов. Нейронные ядра используются в так называемых быстрых нейронных сетях.
25.		Нейрокибернетика - научное направление, изучающее устройство биологических нейронных систем с целью практического применения полученных знаний главным образом в технике и медицине.
26.		Нейроинформатика (нейрокомпьютинг)  - научное направление, которое занимается разработкой вычислительных систем на основе принципов работы биологических нейронных сетей. Главные отличия таких систем от вычислительных устройств предыдущих поколений: а) высокий параллелизм вычислений, б) способность к обобщению имеющихся данных, в) замена программирования обучением, г) высокая помехо - и отказоустойчивость.
27.		Нейрокомпьютер - вычислительная система, в которой для решения задач применяются нейросетевые технологии. Нейрокомпьютеры, основанные только на нейросетевой технологии, на данном этапе развития не могут заменить обычные компьютеры. В настоящее время применяются комбинированные технологии, позволяющие использовать нейросетевые модули (аппаратные или программные) в персональных компьютерах, а также в бытовой и прочей технике.
28.		Нелинейный преобразователь (активационный элемент) - элемент формального (искусственного) нейрона, преобразующий текущее состояние нейрона (выходной сигнал адаптивного сумматора) в выходной сигнал нейрона по некоторому нелинейному закону (активационной функции). Нелинейный преобразователь с сигмоидальной функцией активации.
29.		Неокогнитрон - многоуровневая иерархическая нейронная сеть, организованная аналогично зрительной коре головного мозга. От своего предка когнитрона неокогнитрон отличается более сложной архитектурой, позволяющей точнее моделировать зрительную систему человека.
30.		Неуправляемое обучение (обучение "без учителя", самообучение) - парадигма обучения, которая не требует знания правильного ответа на каждый обучающий пример. В случае неуправляемого обучения раскрывается внутренняя структура данных или корреляции между образцами в системе данных. В результате образцы распределяются по категориям, причем сами категории и даже их количество могут быть заранее не известны.
31.		Однослойный персептрон (Персептрон Розенблатта) - однослойная нейронная сеть, все нейроны которой имеют жесткую пороговую функцию активации. Однослойный персептрон имеет очень простой алгоритм обучения и способен решать лишь самые простые задачи распознавания образов. Эта нейросетевая модель вызвала к себе большой интерес в начале 60-х годов и фактически простимулировала развитие искусственных нейронных сетей. Однослойный персептрон (входной слой не учитывается).
32.		Переобучение (чрезмерно близкая подгонка) - проблема чрезмерно точного соответствия нейронной сети конкретному набору обучающих примеров, при котором сеть теряет способность к обобщению. Переобучение возникает в случае слишком долгого обучения, недостаточного числа обучающих примеров или слишком сложной структуры нейронной сети.
33.		Правило обучения Хебба  - правило обучения нейронной сети, согласно которому изменения весов каждого нейрона должны изменяться пропорционально его входам и выходу. Другими словами, обучение каждого нейрона основывается только на информации, доступной самому нейрону. Правило обучения Хебба лежит в основе некоторых алгоритмов обучения "без учителя".
34.		Самоорганизующаяся карта признаков Кохонена (SOM, СОК) - соревновательная нейронная сеть с алгоритмом обучения "без учителя", в которой нейроны конкурируют друг с другом за право наилучшим образом сочетаться с входным вектором сигналов и побеждает нейрон, чей вектор весов ближе всего к входному вектору сигналов. Веса победившего нейрона и его соседей подстраиваются с учетом входного вектора. В процессе самоорганизации СОК Кохонена конфигурирует нейроны в соответствии с топологическим представлением исходных данных. Сеть Кохонена: входной слой (вверху) - передает сигналы на все выходные нейроны слой Кохонена (внизу) - соревновательный
35.		Сеть встречного распространения (Counterpropogation) - нейронная сеть со "смешанным" обучением, имеющая два слоя с последовательными связями: слой Кохонена и слой Гроссберга. Слой Кохонена обучается "без учителя" методом соревнования, а слой Гроссберга обучается "с учителем", используя желаемые значения выходов. Сеть встречного распространения относительно проста и может быстро обучаться. Сеть встречного распространения: входной слой (верхний на рисунке) - просто передает сигналы дальше слой Кохонена (средний на рисунке) - соревновательный слой Гроссберга (нижний на рисунке) - управляемый
36.		Сеть обратного распространения (сеть обратного распространения ошибки) - многослойная нейронная сеть с алгоритмом обучения по методу обратного распространения ошибки. Термин используется для краткости. Важно не путать распространение сигнала и распространение ошибки. Например, прямое распространение сигнала означает послойную обработку входного сигнала в направлении от входного слоя к выходному, а обратное распространение ошибки означает последовательное вычисление ошибок каждого слоя начиная с последнего.
37.		Cеть поиска максимума с конкуренцией посредством латерального торможения (максимизатор, maxnet) - соревновательная рекуррентная нейронная сеть, в которой победителем становится нейрон, дающий наибольший отклик на данный входной вектор. Отклики остальных нейронов со временем угасают за счет использования латеральных связей. Сеть поиска максимума.
38.		Сеть поиска максимума с прямыми связями - многослойная нейронная сеть с прямыми связями, определяющая какой из входных сигналов имеет максимальное значение. Для этого входные сигналы попарно сравниваются при помощи нейросетевых компараторов. Наибольший сигнал в каждой паре передается на следующий слой. В выходном слое все нейроны имеют нулевые выходные сигналы, кроме нейрона, соответствующего максимальному входному сигналу.
39.		Сигмоидальная функция (сигмоидная функция, сигмоид, сигмоида) - монотонно возрастающая всюду дифференцируемая S-образная нелинейная функция с насыщением, которую очень удобно использовать в формальном нейроне в качестве функции активации. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. Среди однопараметрических наиболее распространены сигмоидальные функции следующих видов: Логистическая функция Гиперболический тангенс Рациональная сигмоида
40.		Слой - один или несколько нейронов, на входы которых подается один и тот же общий сигнал. Нейронные сети, все нейроны которых имеют принадлежность к какому-нибудь слою образуют класс слоистых сетей. Вообще, сигнал не обязательно подается на все нейроны слоя. Например, в когнитроне каждый нейрон текущего слоя получает сигналы только от близких ему нейронов предыдущего слоя.
41.		Слоистые нейронные сети - нейронные сети, в которых нейроны разбиты на отдельные группы(слои) так, что обработка информации осуществляется послойно. В рамках одного слоя данные обрабатываются параллельно, а в масштабах всей сети обработка ведется последовательно - от слоя к слою. К слоистым нейронным сетям относятся, например, многослойные персептроны, сети радиальных базисных функций, когнитрон, некогнитрон, сети ассоциативной памяти.
42.		Сеть радиальных базисных функций (RBF-сеть) - нейронная сеть прямого распространения сигнала, которая содержит промежуточный (скрытый) слой радиально симметричных нейронов. Такой нейрон преобразовывает расстояние от данного входного вектора до соответствующего ему "центра" по некоторому нелинейному закону (обычно функция Гаусса). Нейроны выходного слоя RBF-сети имеют линейные активационные функции. Сеть радиальных базисных функций.
43.		Слой радиально симметричных нейронов (шаблонный слой) - скрытый слой в RBF-сетях, каждый нейрон которого имеет собственный центр во входном пространстве (координаты центра хранятся обычно как веса) и вычисляет расстояние от данного входного вектора до собственного "центра", которое затем обрабатывается радиальной базисной функцией, например функцией Гаусса. Функция Гаусса с центром в точке x = 1
44.		Соревновательные сети - нейронные сети с алгоритмом обучения по методу соревнования. В таких сетях нейроны конкурируют друг с другом за право быть "победителем". К соревновательным сетям относятся нейронные сети группы "победитель получает все" ("winner takes all"), самоорганизующиеся карты Кохонена. Соревновательное обучение применяется также в RBF-сетях вместе с коррекцией ошибки.
45.		Сеть Хемминга (Классификатор по минимуму расстояния Хемминга) - нейронная сеть ассоциативной памяти, принцип работы которой основан на вычислении расстояния Хемминга от входного вектора до всех векторов-образцов, известных сети. Сеть выбирает образец с наименьшим расстоянием Хемминга до входного вектора и выход, соответствующий этому образцу активизируется. Если сеть Хопфилда может восстанавливать зашумленные образы, то сеть Хемминга лишь указывает на соответствие входного образа одному из известных ей классов, а сам образ в ходе работы сети теряется. Сеть Хемминга: входной слой (серый) - передает сигналы дальше средний слой - вычисляет расстояние Хемминга выходной слой - соревновательный.
46.		Сеть Хопфилда (адресуемая по содержанию ассоциативная память, модель Хопфилда) - нейронная сеть, состоящая из одного слоя нейронов, каждый из которых связан синапсами со всеми остальными нейронами, а также имеет один вход и один выход. Все нейроны используют жесткую пороговую функцию активации и могут давать на выходе два значения: -1 (заторможен) и +1 (возбужден). В модели используется принцип хранения информации как динамически устойчивых аттракторов. В процессе настройки сети уменьшается энергетическая функция, достигая локального минимума (аттрактора), в котором энергетическая функция сохраняет постоянное значение. Стандартная сеть хопфилда.
47.		Стохастический метод имитации отжига (Annealing) - итеративный метод оптимизации, используемый для обучения нейронных сетей, в котором, как в физическом отжиге металла, разрешаются шаги, повышающие значения функции ошибки (энергии). Метод имитации отжига может быть использован для обучения как многослойных, так и полносвязных сетей. Эффективный метод, не требующий непрерывной дифференцируемости активационных функций.
48.		Теория адаптивного резонанса (адаптивная резонансная теория, ART) - теория Гроссберга и Карпентера в которой изучайтся модели, направленные на решение дилеммы устойчивости-пластичности т. е. обучения новым знаниям без разрушения уже существующих. Рассматриваются модели адаптирующегося мозга, где динамическое равновесие между взаимодополняющими требованиями устойчивости и пластичности реализуется с помощью резонанса.
49.		Управляемое обучение (Обучение "с учителем") - парадигма обучения нейросетей, которая требует для каждого обучающего входного примера знания правильного ответа или функции оценки качества ответа. В процессе обучения производится корректировка весов сети по результатам сравнения фактических выходных значений с целевыми, известными заранее. В усиленном варианте обучения с учителем (обучение "с подкреплением") оценивается качество выходных значений и с учетом этой оценки корректируются веса.
50.		Функция ошибок (функционал ошибок, функция ошибки) - целевая функция, требующая минимизации в процессе управляемого обучения нейронной сети.  Функция ошибок позволяет оценить качество работы нейронной сети во время обучения. Например, используются: квадратичная функция ошибок функция ошибок городских кварталов, которые вычисляют расстояние между фактическим выходным вектором нейросети и заранее известным желаемым вектором. Если есть эффективный способ вычисления градиента функции ошибок, то для обучения нейросети можно использовать градиентные методы оптимизации.
51.		Эпоха - одна итерация в процессе обучения, включающая предъявление всех примеров из обучающего множества и, возможно, проверку качества обучения на контрольном множестве.