Структура курса
«Основы теории нейронных сетей»
Глава I: Введение в нейронные сети
1. Биологический и искусственный нейрон
1.1. Ключевая идея. Нейроны человеческого мозга.
1.2. Математическая модель нейрона
1.3. Основные функции активации нейронов
2. Основные вехи в развитии теории нейронных сетей
3. Парадигмы работы нейронных сетей
4. Преимущества нейронных сетей. Сопоставление традиционных ЭВМ и нейрокомпьютеров.
5. Области применения и решаемые задачи
6. Основные направления развития нейрокомпьютинга
7. Классификации нейронных сетей
Глава II: Однослойный персептрон
1. Персептрон Розенблата
2. Алгоритм обучения персептрона и правило Хебба
3. Теорема о сходимости алгоритма обучения персептрона для линейно-разделимых множеств
4. Проблема исключающего «или»
Глава III: Многослойный персептрон и его вычислительные возможности
1. Определение. Структура сети и её особенности.
2. Решение проблемы исключающего «или»
3. Представимость булевых функций
4. Преодоление ограничения линейной разделимости
5. 13-ая проблема Гильберта и теорема Колмогорова-Арнольда
6. О теореме Хехт-Нильсена
7. Нейронные сети как универсальные аппроксиматоры (теорема Стоуна-Вейерштрасса)
Глава IV: Градиентные методы обучения персептронов
1. Общая идея градиентных методов решения задач безусловной оптимизации
2. Метод наискорейшего спуска
3. Метод Ньютона-Рафсона
4. Функции потерь, сети типа ADALINE и дельта-правило Видроу-Хопфа
5. Алгоритм обратного распространения ошибки
6. Достоинства и недостатки алгоритма обратного распространения ошибки
7. Введение инерциальной поправки (обобщенное дельта-правило)
7.1. Проблема овражности поверхности функционала ошибки
7.2. Частичное решение проблемы овражности за счет введения момента
7.3. Физические аналогии и частичное решение проблемы застревания в локальных минимумах
8. Улучшение сходимости и качества градиентного обучения
8.1. Нормализация входов
8.2. Выбор функции активации с целью ускорения сходимости и недопущения паралича сети
8.3. Выбор начальных значений синаптических весов
8.4. Порядок предъявления обучающих примеров
8.5. Объём обучающей выборки
8.6. Выбор величины шага обучения
8.7. Методы сокращения синаптических весов
8.8. Выбивание из локальных минимумов
8.9. Валидация выборки с целью преодоления проблемы переобучения
8.10. Общие принципы обучения нейронных сетей
9. Методы упрощения структуры нейронной сети
9.1. Выбор числа слоев
9.2. Выбор числа нейронов и синаптических весов
Глава V: Методы очистки и предобработки данных
1. Постановка задачи и этапы нейросетевого анализа
2. Кодирование категориальных данных
3. Кодирование ординальных данных
4. Нормализация
4.1. Десятичное масштабирование
4.2. Минимаксная нормализация
4.3. Статистическая нормализация
4.4. Нормализация с помощью элементарных функций
5. Восстановление пропусков в данных
5.1. Метод сглаживания
5.2. Метод одномерной регрессии
5.3. Метод множественной регрессии
5.4. Метод ближайшего соседа
5.5. Метод аппроксимации
5.6. Метод экспертных оценок
6. Обработка дубликатов и противоречий
7. Выявление аномальных значений
7.1. Анализ графиков и гистограмм
7.2. Ящиковые диаграммы
7.3. Статистический тест
7.4. Критерий Титьена-Мура
7.5. Критерий Хи-квадрат для многомерных данных
7.6. Вычисление расстояний в многомерном пространстве признаков
7.7. Методы выявления аномальных значений для временных рядов
Глава VI: Анализ и прогнозирование временных рядов
1. Актуальность задачи прогнозирования и возможность прогнозирования временных рядов
2. Хаотические временные ряды и теорема Такенса
2.1. Примеры возникновения хаоса в динамических системах
2.2. Показатели Ляпунова и их связь с максимальным горизонтом прогноза
2.3. Погружение временного ряда в лаговое пространство
2.4. Теорема Такенса
2.5. Фрактальная размерность Хаусдорфа-Безиковича и её связь с теоремой Такенса
3. Информационный подход Шеннона к вычислению максимального горизонта прогноза
4. Скользящее окно
5. Аддитивная и мультипликативная модели временных рядов
6. Компоненты временного ряда
6.1. Покомпонентное разложение временного ряда
6.2. Тренд
6.3. Сезонная компонента
6.4. Циклическая компонента
7. Исследование временных рядов на основе коррелограммы
8. Специфика прогнозирования финансовых временных рядов
8.1. Выбор входных сигналов
8.2. Метод искусственных примеров (хинтов) для увеличения объёма обучающей выборки
8.3. Выбор функционала ошибки и оценка величины капитала игрока
9. Использование комитетов нейронных сетей
Глава VII: Модели конкурентного обучения
1. Идея обучения без учителя, важность решаемых задач
2. Идея метода главных компонент
3. Задачи кластеризации
3.1. Понятие кластеризации и сложность задачи
3.2. Примеры задач, решаемых методами кластерного анализа
4. Введение метрики
4.1. Понятие метрики
4.2. Метрики для числовых переменных
4.3. Метрики для категориальных и ординальных переменных
5. Сети Кохонена для решения задачи кластеризации
5.1. Правило жесткой конкуренции «победитель получает все»
5.2. Структура сети Кохонена и алгоритм её обучения
5.3. Проблема «мертвых» нейронов и правило справедливой конкуренции
5.4. Правило мягкой конкуренции (введение ядра)
5.5. Идея нейронного газа для расщепления кластеров
5.6. Постановка и решение задачи квантования данных с помощью сетей Кохонена
6. Самоорганизующиеся карты Кохонена
6.1. Задача многомерной визуализации
6.2. Построение самоорганизующихся карт Кохонена
6.3. Искусство интерпретации карт Кохонена
6.4. Недостатки карт Кохонена
Основная литература по главам:
Глава 1: [3] и др.
Глава 2: [2], [10], [8], [9], [1]
Глава 3: [2], [5], [1] и др.
Глава 4: [1], [2], [3], [4], [5], [6], [8], [9]
Глава 5: [4], [3], [7]
Глава 6: [3], [4], [8], [6]
Глава 7: [2], [4], [3] и др.
Основная литература:
Нейронные сети: полный курс, 2-е издание. Пер. с англ. – М.: Издательский дом «Вильямс», 2006. – 1104 с.: ил. Воронцов по искусственным нейронным сетям. Материалы с сайта www. ***** , Шумский и его применения в экономике и бизнесе. – М.: 1998. , Орешков -аналитика: от данных к знаниям: учеб. пособие. 2-е изд., перераб. и доп. – СПб.: Питер, 2010. – 704 с.: ил.Дополнительная литература:
Яхъяева теории нейронных сетей. Материалы с сайта www. ***** Кричевский методы в менеджменте. – СПб.: Питер, 2005. – 304 с.: ил. , Каримов обработки многомерных данных и временных рядов: учебное пособие для вузов. – М.: Горячая линия – Телеком, 2007. Ширяев рынки и нейронные сети: учебное пособие. – М.: Издательство ЛКИ, 2007. – 224 с. , Борисов нейронные сети. Теория и практика. – 2-е изд., стереотип.. – М.: Горячая линия – Телеком, 2002. – 382 с.: ил. , Россиев сети на персональном компьютере. Новосибирск: Наука, 1996.