Восстановление функциональных закономерностей из эмпирических данных
Автор: профессор, д. ф.-м. н.
Лекция 1. Задача восстановления зависимостей. Интерпретация в терминах выбора функции из заданного класса. Интерпретация в терминах выбора модели из заданного класса моделей. Интерпретация в терминах имитации одного автомата другим. (Нет алгоритмов).
Лекция 2. Примеры конкретных задач (регрессия, идентификация моделей, распознавание образов и их приложения). Истинный риск и эмпирический риск, как его возможный эквивалент. Основания, по которым такая замена представляется разумной. Закон больших чисел. (Стандартные статистические пакеты: вычисление среднего, дисперсии, ковариации, корреляции и т. д. и погрешности их оценивания).
Лекция 3. Метод наименьших квадратов для оценки регрессии. Метод максимального правдоподобия для выбора модели. (Стандартные процедуры регрессии и максимума правдоподобия).
Лекция 4. Поиск решающего правила, минимизирующего число ошибок или среднее значение функции штрафа на данных обучения, в задачах распознавания образов. Метод ближайшего соседа. Линейные решающие правила. Сравнение с дискриминантной функцией Фишера. (Стандартная процедура распознавания по ближайшему соседу. Процедуры нахождения дискриминантной функции и линейного программирования.)
Лекция 5. Персептрон. Потенциальные функции. Нейронные сети. Вычислительные возможности и проблемы. (Стандартные процедуры обучения нейронных сетей).
Лекция 6. Машина опорных векторов (SVM). (Стандартная процедура).
Лекция 7. Критика подхода. Примеры, когда он не работает. Проблема равномерной сходимости эмпирического риска к истинному (или частот вероятностям, или средних к математическим ожиданиям). (Примеры задач, когда использование рассмотренных методов не приводит к успеху).
Лекция 8. Критерии равномерной сходимости частот к вероятностям. Функция роста. VC-размерность. Энтропийные критерии. (Алгоритмов нет, только примеры).
Лекция 9. Критерии равномерной сходимости средних к мат. ожиданиям.
Лекция 10. Проблема выбора оптимальной сложности модели.
Литература по курсу
[1] , , Мешалкин зависимостей. В книге «Прикладная статистика» / под ред. . Москва, Финансы и статистика, 1985.
[2] , , . Классификация и снижение размерности. В книге «Прикладная статистика» / под ред. . Москва, Финансы и статистика, 1989.
[3] , ван Ден , ейронные сети и финансовые рынки. Принятие решений в торговых операциях.
[4] , Червоненкис распознавания образов. Москва, Наука 1974.
[5] Вапник зависимостей по эмпирическим данным. Москва, Наука 1979.
[6] , Червоненкис и достаточные условия равномерной сходимости средних к математическим ожиданиям. Теория вероятностей и ее приложения. 1981, т. 26, № 3, стр. 543-564.
[7] , яЯ. О методе упорядоченной минимизации риска. I. Автоматика и телемеханика, №8, 1974, стр. 21-30.
[8] , яЯ. О методе упорядоченной минимизации риска. II. Автоматика и телемеханика, №9, 1974, стр. 29-39.
[9] Алгоритмы и программы восстановления зависимостей. / Под редакцией . Москва, Наука 1984.
[10] Галушкин нейронных сетей. Т.1. Нейрокомпьютеры и их применение. Изд-во ИПРЖР, 2000.
[11] Гельфанд по линейной алгебре. Добросвет, 2007.
[12] Гнеденко теории вероятностей. М.: Наука, Главная редакция физико-математической литературы, 1965.
[13] , Фомин теории функций и функционального анализа. М.: Физматлит, Издание 7-е, 2006.
[14] , Борисов нейронные сети. Теория и практика. Изд-во Горячая ЛинияТелеком.
[15] , Савельев операторы и некорректные задачи. М.: Наука, 1991.
[16] дентификация систем. Теория для пользователя.
[17] Носко для начинающих. М.: Институт экономики переходного периода, 2000.
[18] , Арсенин решения некорректных задач. М.: Наука, 1979.
[19] , , Малкевич методов математической статистики для решения некорректных задач. УФН 1970, 102: 345-386.
[20] Уилкс C. Математическая статистика. М.: Наука 1967.
[21] Саймон Хайкин. Нейронные сети. Полный курс. Изд-во Вильямс, 2006.
[22] A. Ja. Chervonenkis. A combined Bayes – Maximum likelihood method for regression. // В книге «Data Fusion and Perception» / edited by Giacomo Della Riccia, Hanz-Joachim Lenz, Rudolf Kruse. Springer, Wien, New York, 2001.
[23] Jean Paul Chiles, Pierre Delfiner. Geostatistics. Modeling Spatial Uncertainty. Wiley, Series in Probability and Statistics. 1999.
[24] Devroye Luc, Gorfi Laslo, Lugosi Gabor A probabilistic theory of pattern recognition. Springer, 1996.
[25] A. Gammerman, V. Vovk. Hedging prediction in Machine puter Journal 50, 151 –157. 2007.
[26] J. D.C. MacKay. Bayesian interpolation. Neural Computation, 4(3): 415-447, 1992.
[27] H. Mohamad. Hassoun Fundamentals of Artificial Neural Networks.
[28] J. Rissanen. Stochactic complexity. Journal of the Royal Statistical Society series B, 49: 223-239. 1987.
[29] V. N. Vapnik. Statistical Learning Theory. Wiley, New York, 1998.
[30] V. N. Vapnik. The Nature of Statistical Learning Theory. Springer, New York, 2000.
[31] V. Vovk, A. Gammerman and G. Shafer. Algorithmic learning in a random world. Springer, 2004.
[32] C. S. Wallace and P. R. Freeman. Estimation and inference by compact coding. Journal of the Royal Statistical Society series B, 49: 240-265. 1987.
