Системный подход к анализу скрытых закономерностей в больших массивах слабоструктурированных данных

Учреждение Российской академии наук

Институт системного анализа РАН (ИСА РАН)

___________________________________________________________

На правах рукописи

Системный подход к анализу скрытых закономерностей в больших массивах слабоструктурированных данных

Специальность 05.13.01 – системный анализ, управление и обработка информации (специализация – информационно-вычислительное обеспечение)

А В Т О Р Е Ф Е Р А Т

диссертации на соискание ученой степени

Москва, 2010

Работа выполнена в Учреждении Российской академии наук

Институт системного анализа РАН (ИСА РАН).

Научный руководитель	кандидат физико-математических наук
Официальные оппоненты:	доктор технических наук
	кандидат физико-математических наук, доцент
Ведущая организация:	Институт проблем управления РАН им.

Защита состоится 21 июня 2010 г. в 11 час. 00 мин. на заседании диссертационного совета Д 002.086.02 в Институте системного анализа Российской академии наук г. Москва, проспект 60-летия Октября, дом 9, ауд. 1506.

С диссертацией можно ознакомиться в библиотеке Института системного анализа РАН.

Отзывы на автореферат просим направлять г. Москва, проспект 60-летия Октября, дом 9, ИСА РАН.

Факс: +7(4; тел.: +7(4; www.isa.ru.

Автореферат диссертации разослан «16» апреля 2010 г

Ученый секретарь

Диссертационного совета 002.086.02

Доктор технических наук, профессор

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Исследование и моделирование сложных современных организационно-технических систем становится актуальным ввиду постановки задач повышения эффективности их функционирования и оптимизации управления. В связи со значительным увеличением объема слабоструктурированных данных происходит усложнение построения формализованных моделей систем. Поэтому, становятся актуальными задачи разработки научно-прикладных подходов информационно-аналитического моделирования, которые позволяют формализовать новые скрытые структурные закономерности функционирования сложных систем.

Методы и подходы к анализу данных, описывающих сложные организационно-технические системы, разработаны в трудах отечественных и зарубежных ученых: Д. Неймана, К. Пирсона, Р. Фишера, А. Вальда, , Л. Заде, , , Х. Райфы и других.

Анализ геологических данных (минеральных ассоциаций потенциально алмазоносных промежуточных коллекторов), которые имеют поликомпонентный состав, необходим для выявления многофакторных условий, определяющих границы раздела классов сложных пространственно-географических структур минеральных ассоциаций с целью точного определения мест залегания промежуточных осадочных коллекторов алмазов. Актуальной задачей моделирования структурных и функциональных взаимодействий сложной системы регионов РФ является формализация системных связей регионов и путей синхронизации развития, прогнозирование динамики основных показателей, определение условий стабильного режима роста валового регионального продукта. Актуальной производственной задачей является формализация комплексной модели развития компании, которая обеспечивает строгую регламентацию эффективного функционирования производственно-логистических процессов. Аналогичные задачи возникают в большинстве современных научно-технических и экономических областей.

Общей теории построения отдельных базовых алгоритмов анализа данных в научных работах уделено много внимания. Построение адаптивных комитетов алгоритмов анализа данных рассматривается в общем виде. Вместе с тем необходима формализация процедур построения множества базовых алгоритмов и решающих правил применительно к решению конкретных задач с представлением графо-визуальных конструкций оценки точности работы составляющих комитет алгоритмов.

Этими обстоятельствами обусловлены актуальность темы диссертации, проведенных исследований и разработки программных продуктов, которые позволяют производить эффективное моделирование сложных систем.

Цель и задачи исследования. Целью диссертации является разработка, построение и формализация новых системно-объектных и системно-структурных моделей геологических, социально-экономических и производственно-логистических систем. Разработка методик построения и выбора наиболее эффективных адаптивных комитетных алгоритмов анализа данных.

Для достижения поставленной цели в диссертационной работе решены следующие задачи:

1. На основе алгебраической теории построения комитетов алгоритмов проведено построение адаптивной модели комитета многокритериальных классификаторов для моделирования структурных связей, классификации, прогнозирования в системах различной информационной природы: геологической, социально-экономической и производственной.

2. Обоснована возможность применения аппарата классификации на основе близости по метрике в пространстве апостериорных функций распределения вероятностей параметров моделей для построения и формализации моделей организационно-технических систем.

3. Построены модели организационно-экономических систем на основе специального класса уравнений математической физики, которые обеспечивают формализацию новых информационных связей и прогнозирование эффективного поведения объектов экономических систем с целью улучшения планирования производства.

4. Построены визуально-аналитические представления моделей структурных связей в информационных системах с оценкой точности моделирования и выбором наиболее предпочтительных вариантов построения базовых алгоритмов и решающих правил.

Объект и предмет исследования. Объект исследования – слабоструктурированные данные информационных систем различной природы:

1. Массивы данных о распределении минеральных ассоциаций, представляющие собой поликомпонентные системы геологических образований

2. Динамические массивы социально-экономической информации регионов России

3. Данные, описывающие работу производственных предприятий с полным циклом производства, операций и распределения продукции.

Предмет исследования – скрытые закономерности в данных, формализуемые с помощью новых разработанных средств моделирования структурных зависимостей.

Методы исследования. Системный подход; системно-объектный и системно-структурный анализ; теория построения алгебраических комитетов алгоритмов; байесовская теория классификации; теория математической статистики; методы многокритериального принятия решений.

Результаты, выносимые на защиту.

1. Формализованная модель многокритериального пространственно-географического распределения минеральных ассоциаций, которая использует представление структурных и объектных характеристик системы с помощью адаптивной модели комитетных классификаторов.

2. Модель структурных взаимосвязей и путей синхронизации развития регионов, построенной с применением адаптивных комитетных классификационных алгоритмов, которая позволяет формализовать и систематизировать взаимосвязи между регионами, учитывая сложные структурные и функциональные зависимости.

3. Методика моделирования деятельности производственного предприятия с помощью специального класса уравнений математической физики, на основе которой построена прогнозная модель производственных процессов, определены критерии оптимальной схемы логистической дистрибьюции в рамках построенной модели.

Достоверность и обоснованность научных положений и выводов обеспечивается корректным математическим построением алгоритмов моделей анализа данных и их исследованием; корректностью использования принципов системного анализа, математических формулировок и преобразований; согласованностью с известными теоретическими положениями; согласованностью полученных теоретических результатов и результатов практической реализации разработанных моделей и методик.

Научная новизна.

- Разработаны новые модели анализа данных: классификации на основе близости апостериорных функций распределения и моделирования с помощью уравнений математической физики;

- Разработана формализованная процедура построения адаптивного комитета алгоритмов для моделирования организационно-технических систем, построена визуализированная аналитическая среда выбора параметров моделирования и оценки точности моделей;

- Проведена адаптация разработанных моделей, методик, алгоритмов к практическим задачам в области геологии, социально экономических исследований и производственных операционных задач теории построения алгебраических комитетов алгоритмов;

- Разработана формализованная процедура применения уравнений математической физики при построении моделей экономических систем, организационная схема рационального распределения ресурсов предложена в виде графоаналитических конструкций;

- Построена комплексная информационно-логическая модель операционного отдела предприятия с выделением структурных и функциональных характеристик системы, информационных и материальных потоков продукции, позволяющих выбрать наиболее подходящие транспортные пути распределения продукции;

Практическая значимость работы. Разработанные методики и алгоритмы анализа данных позволили провести системное моделирование объектов различной информационной природы и выбрать наиболее подходящие пути проектирования, организации и распределения ресурсов систем.

Применение разработанных подходов повысило эффективность инженерно-геологических исследований за счет точного определения пространственной границы раздела структур минеральных ассоциаций и мест потенциального залегания промежуточных осадочных коллекторов алмазов. Применение предложенных моделей при описании взаимодействий регионов РФ, позволяет выбрать пути синхронизации развития регионов.

Применение модели развития производственной компании, которая регламентирует разработку логистических процедур планирования, обеспечило повышение эффективности совместного функционирования нескольких операционных отелов компании за счет лучшей согласованности, уменьшении затрат при производстве и сокращении производственных потерь.

Реализация результатов. При проведении ряда инженерно-геологических исследований и анализа минералогических данных используются следующие научно-практические результаты диссертационной работы, что подтверждается актом о внедрении в Институте геологии рудных месторождений, петрографии, минералогии и геохимии РАН (ИГЕМ РАН):

- Модели комитетных и байесовских классификаторов на основе разработанной в диссертации методики для анализа пространственной классификационной структуры минеральных ассоциаций.

- Модели комитетных алгоритмов анализа данных о минеральных ассоциациях для получения дополнительных критериев распознавания промежуточных коллекторов (комплексов пород, участвующих в питании алмазоносного аллювия)

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на VIII-й всероссийской школе-семинаре «Прикладные проблемы управления макросистемами», Апатиты, 2010; 3-й научной Международной конференции «Системный анализ и информационные технологии», Звенигород, 2009; 51-й научной конференции МФТИ “Современные проблемы фундаментальных и прикладных наук”, Москва, 2008; 2-й научной Международной конференции «Системный анализ и информационные технологии», Обнинск, 2007; 50-й научной конференции МФТИ “Современные проблемы фундаментальных и прикладных наук”, Москва, 2007; научной конференции МИФИ, Москва, 2007; 48-й научной конференции МФТИ “Современные проблемы фундаментальных и прикладных наук”, Москва, 2005; 1-й научной Международной конференции «Системный анализ и информационные технологии», Переславль-Залесский, 2005; научных семинарах Института проблем управления РАН им. и Института системного анализа РАН.

Публикации. Основные результаты, полученные в диссертации, опубликованы в 9 печатных работах, в том числе 1 работа в ведущем рецензируемом научном издании, рекомендованном ВАК, 8 публикаций в трудах научных конференций. Личный вклад соискателя в совместных работах составляет 4,2 печатных листа из общего объема 8,5 листов и состоит в разработке и формализации научно-прикладных подходов при построении информационно-аналитических моделей систем, которые позволяют выявлять новые скрытые, структурные закономерности и знания в функционировании систем.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения, приложения, списка литературы (82 наименования). Работа изложена на 99 страницах, содержит 20 рисунков, 5 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Введение содержит обоснование актуальности темы исследования, формулировки целей и решаемых задач, оценку научной новизны и практической значимости результатов работы. Приведены сведения о реализации результатов и апробации работы. Изложены содержание диссертации и основные результаты.

В первой главе проведен анализ базовых алгоритмов анализа данных информационной технологии Data Mining (“извлечение знаний”), цель которой – выявление скрытых закономерностей в данных. Ее особенностями являются порождение, проверка и подтверждение новых гипотез о закономерностях в данных.

Выполнен сравнительный анализ особенностей работы и эффективности базовых алгоритмов при построении структурных моделей сложных систем: нейросетей, байесовских классификаторов, деревьев решений. Дано краткое описание систем и методов принятия решений, экспертных оценок. Сформулированы требования к моделям информационных систем и построению адаптивных комитетов алгоритмов: использование графо-визуальных конструкций построения моделей; формализуемость выбора базовых алгоритмов и решающего правила; представление в аналитическом виде оценки точности работы базовых алгоритмов и комитета в целом; учет чувствительности итогового комитета по отношению к входным данным; формализуемость процесса построения последовательности алгоритмов в комитете; представление вычислительных и временных затрат; использование визуального интерпретатора результатов.

Рассмотрены информационные технологии системно-структурного и системно-объектного моделирования сложных организационных систем с использованием комитетных конструкций алгоритмов. Производится формализация правил построения иерархических адаптивных комитетов алгоритмов на обучающих данных с привлечением методов машинного обучения, нейросетей, байесовской классификации, методов вычислительной математики, синтеза различных алгоритмов.

Пусть имеется базовых алгоритмов (классификаторов) , обучающихся на множестве , ошибки обобщения которых на тестовом множестве (- исходное множество состояний объектов) равны соответственно . Ошибки задаются в виде функции потерь от неправильной классификации. Определим множество комитетных конструкций, составленных из алгоритмов, обучающих и тестовых множеств и ошибки обобщений, которую назовем узлом первого уровня

.

Т. е. рассматриваются все комитеты, в которые каждый классификатор входит по одному разу. Решающее правило состоит из правила классификации одного алгоритма. Назовем элемент множества оптимальным, если

, где .

Узлом второго уровня с параллельным обучением назовем множество комитетных конструкций

, - решающее правило алгоритмов, - ошибки обобщения комитета алгоритмов. В данном случае рассматриваются все комитеты, в которые каждый классификатор входит соответственно раз с на множестве решающих правил . Таким образом, вводится в рассмотрение линейная оболочка, построенная на элементах множества .

Назовем элемент множества оптимальным, если

где

Узлом уровня называется линейная оболочка множества элементов узла уровня на заданном множестве решающих правил. Оптимальным адаптивным комитетом длины называется цепочка конструкций . Переход от узла к осуществляется исходя из необходимой точности и затрат времени на вычислительные процедуры, связанные с построением узла -го уровня.

Эмпирическая ошибка обобщения оптимального комитета , полученная при численном моделировании работы комитета имеет порядок , где , величине максимальной ошибки базового алгоритма в цепочке. Известные модели построения комитетов, которые являются линейной комбинацией элементов узла второго уровня (бэггинг) имеют порядок ошибки .

Рассмотрены оптимальные адаптивные комитеты с множеством решающих правил голосования, взвешенного голосования, усреднения. В качестве базовых алгоритмов рассматриваются алгоритмы построения нейросетей, классификаторов по метрике близости апостериорных функций, байесовские классификаторы.

Во второй главе изложено применение формализованного подхода классификации объектов (на основе близости в рамках введенной метрики апостериорных функций распределения параметров моделей состояния объектов) к моделированию организационно-технических систем. Предложен новый инструментарий для формализации построенных моделей, который основан на развитии аппарата байесовской классификации. Определено согласование математических понятий статистической теории «выборка», «функция плотности распределения вероятности», «близость по метрике функций распределения» с понятиями теории классификации «пространство состояний объектов» и «вероятностная природа поведения объектов», «классификация состояний объектов».

Чтобы использовать аппарат классификации на основе близости по метрике апостериорных функций распределения параметров моделей состояния объектов, определено представление состояния рассматриваемых объектов в метрическом пространстве.

Рассмотрена задача классификации: построения формализованного правила отображения множества состояний объектов в множество имен классов объектов. Каждому объекту ставится в соответствие конечный набор из признаков (параметров) , которые однозначно характеризуют объект. Числовое значение каждого из признаков определяется в процессе сбора информации об объекте. Каждый из признаков может принимать дискретные или непрерывные значения.

Определены понятия: метрического пространства признаков объекта, в котором точки являются упорядоченными совокупностями из чисел – признаков объекта; состояния объекта в виде точки в метрическом пространстве признаков объекта. Признаки объекта рассматриваются на компакте .

Формулируется задача статистического оценивания: на основе данных, содержащихся в выборке состояний объекта, нужно найти параметры (случайного) процесса, следствием которого являются эти данные.

Пусть - совместная функцию плотности распределения вероятностей (ФПВ) для вектора наблюдений состояний объекта и вектора случайных параметров. - вектор коэффициентов модели (математическое ожидание, дисперсия и т. п.). Тогда

и

, или , где .

- апостериорная ФПВ вектора параметров при условии заданной выборочной информации , — априорная ФПВ для вектора параметров . (функция от ) - функция правдоподобия.

Пусть имеется выборка состояний объекта . Апостериорное распределение . Пусть имеется следующее наблюдений состояния объекта равное . Тогда

Расстоянием между функциями и в смысле метрики нормированного пространства состояния объектов, определим расстояние

Формализация правила классификации. Наблюдаемое состояние объекта принадлежит классу наблюдений в смысле метрики с точностью , если

В случае, если существует несколько массивов выборочных данных состояний объекта и , то .

В случае, неясной априорной информация о значениях математического ожидания и среднего квадратичного отклонения принимается

Предполагается, что и независимо распределены, причем и каждое равномерно распределено. Тогда

.

Функция потерь, которая характеризует потери от неправильной классификации, равна , где - точечная оценка, зависящая выборки наблюдений . Функция , где - положительно определенная симметричная матрица. Тогда применяя принцип минимизации потерь

.

В работе проводится сравнительный анализ двух видов классификации: на основе введенной близости функций распределения и минимизации .

В случае отсутствия определенных состояний объекта в табличных данных при данной выборочной информации прогнозная ФПВ для состояний объектов системы имеет вид:

,

Таким образом, во второй главе в метрическом пространстве состояний объектов задается аппарат классификации состояний объектов. Используя средства этого аппарата, формализовываются процедуры построения моделей многомерной классификации.

В третьей главе разработана структурно-объектная модель системы с использованием уравнений математической физики. В качестве уравнения, формализующего структурные связи между признаковыми описаниями объектов в пространстве состояний, применялось многомерное уравнение второго порядка в частных производных. На основе обучающей выборки (исторических данных наблюдаемых состояний объектов), численно решалась обратная задача нахождения коэффициентов уравнения, которые затем использовались для оценки прогнозного значения производственных показателей.

Моделирование структуры производственно-логистических процессов компании осуществляется следующим образом: потоки продукции, которые представляют произведенные на заводе единицы отдельных продуктов проходят несколько этапов до реализации конечным потребителям. На каждом этапе регистрируется значение выбранных показателей, непосредственно влияющих на прибыль компании. Прибыль компании за определенный период времени является функцией от указанных величин и зависит от качества функционирования логистической цепочки на всех этапах. Функция прибыли обладает вероятностной природой, т. е. ей соответствует как случайной величине определенная функция плотности распределения вероятностей.

В рамках развитого в диссертации подхода численно решается уравнение в частных производных:

,

где - неизвестная функция,  - показатели, характеризующие систему (признаки объектов),

В терминах предметной области переменные обозначают производственно-экономические показатели системы:

- прибыль за предыдущий отчетный период,

- объем неотгруженных товаров, на которые имеется заказ клиентов,

- скорость производства продукции,

- скорость транспортировки от завода до места складирования,

- скорость таможенного оформления,

- скорость отгрузки продукции клиентам,

- объем ежедневных расходов на рекламу,

- цены на товары.

Задана функция прибыли . Для численного решения обратной задачи был использован аппарат вычислительной математики решения обратных задач дифференциальных уравнений. Для нахождения коэффициентов в уравнении используется метод конечных разностей на множестве исторических данных. После нахождения коэффициентов оценивается точность построенной модели на нескольких тестовых выборках. В качестве прогноза прибыли выступает числовая оценка интеграла (интегрирование по всем значениям )

.

Четвертая глава посвящена объектно-системному и структурно-системному моделированию сложных информационных систем различной природы с использованием разработанных алгоритмов и методик. Первый массив представляет геологические данные (минеральные ассоциации), второй социально-экономические региональные данные, третий производственные. В работе приводятся оценки точности разработанных методов.

В результате анализа геологических данных определена пространственно-географическая граница классов минеральных ассоциаций, при переходе через которую зависимости между концентрации минералов в определенной минеральной ассоциации меняют характер (т. е. относятся к разным классам), что является значимым признаком наличия кимберлитовых разделов. Сначала производится обучение оптимального адаптивного комитетного классификатора (50 нейросетевых классификаторов и классификаторов на основе близости апостериорных функций распределения, объединенных в комитет с решающим правилом в виде взвешенного голосования до третьего узла включительно). Затем на тестовых множествах, для которых известна точная классификация минеральных ассоциаций (на основе концентраций входящих в минеральную ассоциацию компонент), производится оценка точности построенного адаптивного комитетного классификатора. В результате составляется трехмерная классификационная карта с целью географического выявления разделов классов. Ниже показано множество точек, каждая из которых относится к определенной минеральной ассоциации. Показан срез из 12- мерного пространства признаков объекта (минеральной ассоциации). По горизонтальной оси отложена глубина взятия пробы, по вертикальной агрегированная концентрация минералов в минеральной ассоциации. Географический раздел кластеров определяет место залегания промежуточных кимберлитовых коллекторов.

Рис.1. Граница промежуточных коллекторов алмазов.

При анализе социально-экономических данных и моделировании региональных процессов получены следующие результаты. Во-первых, сначала в рамках предложенной модели классификации на основе близости байесовских апостериорных функций плотности вероятностей, определяются типы регионов, исходя из показателей их развития, показываются пути синхронизации развития регионов. Далее строится прогнозная модель расчета величины валового регионального продукта регионов на последующие периоды. Строится классификационная модель на основе оптимального адаптивного комитетного классификатора (до третьего узла, 20 классификаторов, решающее правило в виде взвешенного голосования). В рамках комитетной модели определяются ключевые показатели, которые оказывают наибольшее влияние на величину валового регионального продукта регионов – это прирост численности населения экономические инвестиции, обеспеченность региона транспортными услугами. Таким образом, обосновывается метод поддержания стабильного режима роста валового регионального продукта.

При анализе производственной информации используется функция плотности вероятности, являющаяся решением уравнения математической физики второго порядка в частных производных. Как показывается в работе при численном решении обратной задачи на известном массиве данных, определяются коэффициенты уравнения, которые в свою очередь затем используются при численном построении плотности вероятности и прогнозировании динамики развития производственно-экономической системы. В качестве области применения были выбраны данные, отражающие деятельность производственной компании. В рамках этой модели показывается, как обеспечить планирование производства, для снижения издержек.

Рис. 2. Сравнение эффективности прогноза на основе моделирования с помощью уравнений математической физики со стандартными методами.

Заключение содержит основные результаты диссертации и предложения по дальнейшему развитию результатов работы.

В приложении представлены визуально-аналитические примеры работы комитетов алгоритмов на данных информационных систем и их сравнительные характеристики эффективности.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Разработаны новые модели анализа данных: классификации на основе близости апостериорных функций распределения и моделирования с помощью уравнений математической физики.

2. На основе алгебраической теории построения комитетов алгоритмов проведено построение адаптивной модели комитета многокритериальных классификаторов на основе разработанных алгоритмов для моделирования структурных связей, классификации, прогнозирования в системах различной информационной природы: геологической, социально-экономической и производственной.

3. Обоснована возможность применения аппарата классификации на основе близости по метрике в пространстве апостериорных функций распределения вероятностей параметров моделей для построения и формализации моделей организационно-технических систем.

4. Построены модели организационно-экономических систем на основе специального класса уравнений математической физики, которые обеспечивают формализацию новых информационных связей и прогнозирование эффективного поведения объектов экономических систем с целью улучшения планирования производства.

5. Построена комплексная информационно-логическая модель операционного отдела предприятия с выделением структурных и функциональных характеристик системы, информационных и материальных потоков продукции, позволяющих выбрать наиболее подходящие транспортные пути распределения продукции;

6. Построены визуально-аналитические представления моделей структурных связей в информационных системах с оценкой точности моделирования и выбором наиболее предпочтительных вариантов построения базовых алгоритмов и решающих правил.

7. Формализована модель многокритериального пространственно-географического распределения минеральных ассоциаций, которая использует представление структурных и объектных характеристик системы с помощью адаптивной модели комитетных классификаторов.

8. Построена модель структурных взаимосвязей и путей синхронизации развития регионов с применением адаптивных комитетных классификационных алгоритмов, которая позволяет формализовать и систематизировать взаимосвязи между регионами, учитывая сложные структурные и функциональные зависимости.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в научных изданиях, входящих в перечень, рекомендованный ВАК РФ

1. Бритков В. Б., Булычев  анализа больших объемов слабоструктурированной информации.// Информационные технологии и вычислительные системы. №1. М.: 2010. Стр. 36-44.

Доклады в материалах и сборниках трудов научных конференций

2. Булычев А. В., Бритков В. Б., Интеллектуальный анализ данных в задачах обработки данных о природной среде. Первая международная конференция «Системный анализ и информационные технологии» САИТ-2005. Переславль-Залесский: Труды конференции. В 2-х т. Т. 1 – М.: КомКнига, 2005. – с. 156-160.

3. Булычев А. В., Бритков В. Б., Технологии интеллектуального анализа данных в исследованиях природной среды. Труды XLVIII научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук». Часть VII. Москва, ноябрь, 2005г., с 229-231.

4. Булычев А. В, Бритков В. Б.,. Интеллектуальный анализ социально-экономической информации регионов России. Труды II международной научной конференции ИСА РАН «Системный анализ и информационные технологии». Том II. Обнинск, 10-14 сентября, 2007г., с 100-104.

5. Булычев А. В., Бритков В. Б., Интеллектуальный анализ данных с использованием технологии Data Mining показателей развития регионов России и построение текущей модели взаимодействия регионов. Труды научной конференции МИФИ, Москва, 2007.

6. Булычев А. В., Анализ с использованием технологии Data Mining показателей развития регионов России. Труды 50-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук». Москва, 2007г., с 216-218.

7. Булычев А. В., Бритков  интеллектуального анализа Data Mining и их использование при решении задач логистической оптимизации. Труды 51-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук»: Часть VII. Управление и прикладная математика. Том 3. — М.: МФТИ, 2008. — 138 с. ISBN 0271-0.

8. Булычев А. В., Использование вероятностного моделирования и уравнений квантовой физики в интеллектуальном анализе данных – Data Mining. Третья Международная конференция «Системный анализ и информационные технологии» САИТ – 2сентября 2009 г., Звенигород, Россия): Труды конференции. М., 2009. с. 270-277.

9. Бритков В. Б., Булычев  моделирование сложных плохоформализуемых систем. VIII Всероссийская школа-семинар «Прикладные проблемы управления макросистемами». Тезисы докладов. – Апатиты, КНЦ РАН, 2010. - с. 6-7.