Инструментальные средства построения комплексов моделей и аналитических приложений в olap-технологии (стр. 1 )

РОССИЙСКАЯ АКАДЕМИЯ НАУК

СИБИРСКОЕ ОТДЕЛЕНИЕ

ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОГО МОДЕЛИРОВАНИЯ

На правах рукописи

ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ПОСТРОЕНИЯ КОМПЛЕКСОВ
МОДЕЛЕЙ И АНАЛИТИЧЕСКИХ ПРИЛОЖЕНИЙ
В OLAP-ТЕХНОЛОГИИ

05.13.11 – Математическое и программное обеспечение
вычислительных машин, комплексов и компьютерных сетей

Диссертация на соискание ученой степени
кандидата технических наук

Научный руководитель:

доктор технических наук

Красноярск – 2006
Содержание

Введение. 3

1. Проблема развития технологии оперативного анализа данных. 14

1.1 Обзор задач оперативного анализа данных в организационном управлении. 14

1.2 Технология оперативной аналитической обработки данных. 19

1.3 обзор технологических подходов и программных решений для оперативной аналитической обработки. 29

1.4 задачи диссертационной работы.. 34

выводы к разделу 1. 36

2 Технологические средства оперативной аналитической обработки данных. 38

2.1 Технология оперативной аналитической обработки данных. 38

2.1.1 Особенности предлагаемого подхода. 38

2.1.2 Принципы создания аналитической системы.. 40

2.1.3 Архитектура и функционирование OLAP-машины.. 45

2.1.4 Реализация OLAP-компонент.. 47

2.1.5 Иерархии и измерения на основе иерархий. 53

2.1.6 OLAP-модели и операции над ними. 62

2.1.7 Комплексы OLAP-моделей. 65

2.2.1 Основные принципы и определения. 70

2.2.2 Структура и синтаксис языка. 71

2.3 Средства построения специализированных интерфейсов. 78

Выводы к разделу 2. 83

3 Программное обеспечение – настольная OLAP-система «Аналитик». 84

3.1 Описание системы.. 84

3.2 Менеджер источников данных. 88

3.3 Блок управления витринами данных. 91

3.3.1 Базовые операции при построении витрины данных. 91

3.3.2 Использование языковых средств для расчета объектов витрины.. 96

3.3.3 Работа со сложными структурами данных. 98

3.4 Блок OLAP-анализа и формирования OLAP-моделей. 102

3.4.1 Базовые аналитические операции. 103

3.4.2 Процентная диаграмма. 107

3.4.3 Операции над OLAP-моделями. 109

3.5 Блок формирования комплексов OLAP-моделей. 109

3.6 Блок формирования OLAP-приложений с адаптированным интерфейсом.. 111

3.6.1 Механизм ручного построения форм.. 111

3.6.2 Мастер построения интерфейса. 114

3.6.3 Создание готового приложения. 117

Выводы к разделу

4 Применение системы «Аналитик». 119

4.1 Применение системы «Аналитик» в задачах здравоохранения. 119

4.1.1 Планирование медицинской помощи. 119

4.1.2 Аналитическая поддержка специалистов и руководителей регионального здравоохранения. 123

4.2 Применение системы «Аналитик» в системе обязательного медицинского страхования. 126

4.3 Взаимодействие системы «Аналитик» с другим программным обеспечением.. 128

Выводы к разделу

Заключение. 131

Cписок используемых источников. 134

Введение

Актуальность темы

Технология оперативной аналитической обработки данных OLAP (Online Analytical Processing) – одно из наиболее быстро развивающихся направлений информатики. В основе OLAP-анализа лежит многомерная модель данных. Многомерная модель позволяет адекватно представить процесс работы с информационными объектами, наглядно описать основные аналитические операции, оптимальным образом построить физическую модель данных для хранения и обработки запросов аналитических операций [26, 29]. OLAP значительно улучшает возможности аналитических операций за счет повышения скорости работы с данными, наглядного представления результатов и оперативного построения аналитических отчетов [6, 14].

Аналитические OLAP-модули появляются в составе отечественных и зарубежных продуктов и финансово-производственных приложений [56,57,58]. Наибольшее применение технология OLAP получила в бизнес-среде, где решение конкретной аналитической задачи укладывается в рамки одного многомерного информационного куба. При этом классические OLAP-решения мало пригодны к использованию в прикладных областях, где необходим комплексный анализ данных, связанный с реализацией сложных аналитических алгоритмов. Примерами прикладных областей, в которых указанные проблемы не позволяют эффективно применять традиционные средства OLAP-технологии, являются здравоохранение, образование, социальная защита населения и множество других. Методы расчета аналитических показателей и решения задач планирования в этих областях представляют собой сложные многошаговые процессы анализа многомерных данных.

Поскольку классические средства OLAP-технологии не эффективны для комплексного анализа данных и реализации сложных аналитических алгоритмов, а существующие аналитические приложения имеют универсальный характер и, как следствие, сложны для прикладных специалистов, расширение сферы применения OLAP-технологии требует развития новых возможностей. Актуальна проблема создания алгоритмических и программных средств, обеспечивающих выполнение комплексных аналитических расчетов на основе множества взаимосвязанных OLAP-моделей, а также средств построения OLAP-приложений с адаптированным пользовательским интерфейсом.

Цель диссертационной работы

Цель диссертационной работы состоит в разработке алгоритмического и программного обеспечения для реализации новых функциональных элементов OLAP-технологии, расширяющих возможности оперативной аналитической обработки за счет выполнения комплексных аналитических расчетов и средств построения специализированных интерфейсов для OLAP-ориентированных приложений.

Методы исследования

Методы исследования, применяемые в работе, основаны на методологии структурного анализа и проектирования (SADT – Structured Analysis & Design Technique), технологии оперативной аналитической обработки данных, теории реляционных баз данных и объектно-ориентированных методах построения программных систем.

Основная идея работы

Основная идея работы заключается в создании новых элементов технологии оперативной аналитической обработки: средств выполнения комплексных аналитических расчетов, создания специализированных OLAP-приложений.

В работе расширен функциональный состав традиционной OLAP-технологии. Разработаны алгоритмические и языковые средства построения и выполнения связных многошаговых аналитических расчетов: алгоритмы создания OLAP-моделей и комплексов OLAP-моделей, язык программирования высокого уровня. Разработаны алгоритмические и программные средства для автоматизации создания OLAP-приложений: специализированный набор компонент, взаимодействующих с витринами данных, аналитическими моделями и другими элементами OLAP-машины, среда визуального проектирования форм пользовательского интерфейса и мастер создания типового приложения.

Предложенные модели и алгоритмы реализованы в виде OLAP-системы «Аналитик», которая представляет собой инструментальный комплекс для оперативной аналитической обработки информации и создания аналитических приложений. В инструментарий системы введены также функции прямого доступа к базам данных систем статистического наблюдения, хранения данных и ведения справочников.

Новые научные результаты:

1.  Предложена архитектура OLAP-машины обладающая уникальными функциями использования составных иерархий со сложными оглавлениями в качестве измерений и применение языка программирования для расчета значений измерений и показателей многомерного куба. Разработана оригинальная OLAP-машина, включающая средства построения витрин данных, средства выполнения произвольных аналитических запросов, средства представления и обработки многомерных данных (многомерный куб, кросс-таблицу, кросс-диаграмму). OLAP-машина может встраиваться в разные приложения и работать с базами данных разных форматов.

2.  Разработаны языковые, алгоритмические и программные средства, обеспечивающие реализацию сложных многошаговых аналитических расчетов путем создания комплексов OLAP-моделей, наследующих данные. Для реализации поставленной задачи предложен оригинальный подход к анализу информации, позволяющий использовать в рамках одного расчета несколько многомерных информационных кубов.

3.  Разработаны программные средства для автоматизации создания OLAP-приложений: инструментальное ядро в виде набора компонент, связанных с OLAP-машиной, среда проектирования экранных форм пользовательского интерфейса, мастер быстрого создания приложений.

4.  Разработана настольная OLAP-система «Аналитик», которая представляет собой инструментальную программную среду, включающую перечисленное оригинальное программное обеспечение, и позволяет выполнять комплексный OLAP-анализ и построение прикладных OLAP-систем.

Практическая значимость работы

Практическими результатами диссертационной работы являются алгоритмические, языковые и программные средства, которые могут быть применены в разных прикладных областях для решения задач анализа данных с применением сложных аналитических алгоритмов, а также для построения прикладных OLAP-систем со специализированных интерфейсом пользователя.

Разработанное программное обеспечение применяется в Красноярском медицинском информационно-аналитическом центре (КМИАЦ), в Красноярском краевом фонде обязательного медицинского страхования (КФОМС), а также в органах управления здравоохранением Красноярского края. На основе созданного инструментария разработаны OLAP-приложения для решения ряда актуальных аналитических задач управления здравоохранением: анализа состояния здоровья населения, анализа и планирования ресурсов системы здравоохранения, формирования тарифов на медицинские услуги, а также автоматизированные рабочие места для ведущих специалистов и руководителей отрасли.

Высокую практическую ценность результатам диссертационной работы придает возможность их применения для решения аналитических задач в разных прикладных областях, включая задачи анализа показателей социально-экономического развития, экологического состояния территорий, планирования социальных услуг и многие другие.

На защиту выносятся:

1.  OLAP-машина как совокупность инструментальных средств, реализующих построение витрин данных, выполнение произвольных аналитических запросов, представление и обработку многомерных данных, функции использования составных иерархий со сложными оглавлениями в качестве аналитических измерений.

2.  Языковые, алгоритмические и программные средства, обеспечивающие реализацию сложных многошаговых аналитических расчётов путем создания комплексов OLAP-моделей, наследующих данные.

3.  Программные средства для автоматизации создания OLAP-приложений: инструментальное ядро в виде набора компонент, связанных с OLAP-машиной, среда проектирования экранных форм пользовательского интерфейса, мастер быстрого создания приложений.

4.  Настольная OLAP-система «Аналитик» как инструментальная программная среда, позволяющая выполнять комплексный анализ данных и построение прикладных OLAP-систем.

Достоверность и обоснованность результатов

Достоверность и обоснованность результатов диссертационной работы подтверждаются:

1.  Результатами исследования проблемы оперативной аналитической обработки данных в разных предметных областях.

2.  Результатами анализа существующих технологических решений оперативной аналитической обработки информации OLAP и их корректного использования.

3.  Успешным практическим использованием OLAP-системы «Аналитик» в органах управления здравоохранением и в системе обязательного медицинского страхования.

Личный вклад автора

Основные результаты, представленные в работе, получены непосредственно автором, а именно: OLAP-машина, языковые, алгоритмические и программные средства создания и выполнения связных многошаговых аналитических расчётов, программные средства автоматизации создания специализированных OLAP-приложений, а также настольная OLAP-система «Аналитик».

При создании системы «Аналитик» использованы отдельные модули систем «Менеджер хранилища данных» [53] и «СтатЭкспресс» [50], а также модули построения отчетов и формульный интерфейс создания витрин данных, разработанные специалистами лаборатории интеллектуальных информационных систем Института вычислительного моделирования СО РАН. В частности, были использованы модули доступа к репозитариям систем и средства создания таблиц для сохранения аналитических результатов (таблиц агрегатов) в хранилище данных.

Комплексы моделей для решения прикладных задач, а также OLAP-приложения, упомянутые в работе, построены с применением системы «Аналитик» специалистами здравоохранения, обязательного медицинского страхования, с участием сотрудников ИВМ СО РАН, в том числе автора.

Апробация работы

Основные теоретические результаты работы представлялись на следующих конференциях: на Межрегиональной конференции «Проблемы разработки и внедрения информа­ционных систем в здравоохранении и ОМС» (Красноярск, 2000); на Всероссийской конференции «Проблемы информатизации региона» (Красноярск, 2001, 2003,2005); на конференции молодых ученых ИВМ СО РАН (Красноярск, 2002 – 2005); на IV Всероссийской конференции с международным участием «Новые информационные технологии в исследовании сложных структур» (Томск, 2002); на Всероссийской конференции «Информационные технологии в медицине - 2002» (Москва, 2002, 2004); на Всероссийской конференции «Информационно-аналитические системы и технологии в здравоохранении и ОМС» (Красноярск, 2002); на Всероссийской конференции «EL-Pub 2003» (Новосибирск, 2003); на IV Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям (Красноярск, 2003); на III Всесибирском конгрессе женщин-математиков (Красноярск, 2004); на V всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2004), а также на рабочих семинарах отдела прикладной информатики ИВМ СО РАН ().

OLAP-система «Аналитик», созданная в ходе исследований, демонстрировалась на многочисленных выставках: на Выставке в рамках Межрегиональной конференции «Проблемы разработки и внедрения информационных систем в здравоохранении и ОМС» (Красноярск, 2000); на II Объединенной научной сессии Сибирских отделений РАН и РАМН «Новые технологии в медицине» (Новосибирск, 2002); на Выставке в рамках Всероссийской конференции «Информационно-аналитические системы и технологии в здравоохранении и ОМС» (Красноярск, 2002); на Региональном форуме «Сибирская индустрия информационных систем» (Новосибирск, 2002, 2004); на Выставке в рамках Научно-практической конференции «Общественное здоровье: стратегия развития в регионах Сибири» (Новосибирск, 2002); на III специализированной выставке «Информационные технологии в медицине - 2002» (Москва, Всероссийский выставочный центр, 2002); V специализированной выставке «Информационные техно­логии в медицине - 2004». (Москва, Всероссийский выставочный центр, 2004).

Методические и практические результаты, полученные в работе, нашли применение при разработке программных систем «Менеджер хранилища данных» [53, 54] и «СтатЭкспресс» [49, 50].

Достижения автора были отмечены наградами на многочисленных выставках и конференциях, в том числе автору присуждена золотая медаль лауреата Всероссийского выставочного центра.

Публикации

По основным результатам диссертационной работы сделано 15 публикаций, в том числе 1 статья в центральной печати, 3 свидетельства о государственной регистрации программного обеспечения.

Структура и объем работы

Диссертация состоит из введения, 4 разделов, заключения, списка использованных источников и 2 приложений. Основное содержание работы изложено на 142 страницах текста, содержит 40 рисунков, 3 таблицы. Список используемых источников включает 82 наименования.

Краткое содержание работы

Введение представляет цели и задачи диссертационной работы, раскрывает ее актуальность, научную новизну, достоверность и обоснованность, практическую значимость и апробированность полученных результатов, методологию исследований.

В первом разделе представлены результаты исследования проблемы оперативного анализа данных в разных предметных областях и сформулированы задачи диссертационного исследования.

Выполнено исследование существующих информационных систем, предназначенных для OLAP-анализа данных. Отмечены основные недостатки существующих решений, основные из которых – недостаточное внимание задачам комплексного анализа данных, а также задаче построения прикладных OLAP-систем со специализированным интерфейсом пользователя.

Кроме того, рассмотренные системы не обеспечивают сопряжение с системами хранения и сбора информации, а также системами ведения справочно-классификационной информации.

По результатам проведенных исследований сформулированы задачи диссертационной работы.

Во втором разделе работы рассмотрены технологические и методические подходы к созданию информационно-аналитической системы на основе OLAP-технологии.

Представлены основные аспекты предлагаемого подхода к реализации технологии оперативной аналитической обработки данных. Определены основные понятия и особенности OLAP-технологии, понятия OLAP-модели, витрины данных, аналитических операций, измерений и показателей.

На основе сравнительного анализа подходов к созданию OLAP-систем выбран подход к созданию аналитической системы в виде Desktop OLAP приложения.

Рассмотрены основные узлы и процессы, происходящие внутри OLAP-машины, представлены в виде функциональных IDEF0-диаграмм. Рассмотрены методы трансформации линейных данных в многомерную структуру и построения структур для работы с иерархическими измерениями. Предложены структуры данных и алгоритмы для работы с многомерными и иерархическими структурами.

Для создания эффективной OLAP-модели в рамках диссертационной работы выполнена формализация основных понятий и операций над OLAP-моделью. Рассмотрены процессы построения и выполнения комплексов взаимосвязанных информационно-аналитических OLAP-моделей. Построены функциональные IDEF0-диаграммы процесса создания комплексов OLAP-моделей. Предложены языковые средства для выполнения сложных аналитических расчетов и реализации комплексов OLAP-моделей. Рассмотрен язык программирования и структурный синтаксический редактор языка.

Рассмотрен механизм создания OLAP-приложений с адаптированным пользовательским интерфейсом. Предложены два способа создания приложений: автоматизированное создание, реализованное в виде мастера, и ручное – при помощи дизайнера форм. Предложен набор компонент, реализующий основные задачи, встающие при разработке прикладных приложений: определение информационного и функционального состава, а также настройка интерфейса.

Третий раздел содержит описание программной реализации технологических подходов, описанных во втором разделе работы.

В ходе выполнения диссертационной работы разработана OLAP-система «Аналитик». Приведены основные характеристики настольной OLAP-системы: назначение, основные функции, круг пользователей, системные требования и т. д. Представлены основные подсистемы продукта и задачи. Описан менеджер источников данных, отвечающий за взаимодействие с базами данных и их единообразное представление для других узлов системы.

Представлено описание блока витрин данных. Витрина данных является семантическим слоем между таблицами источника данных и предметно-ориентированными аналитическими объектами – составляющими многомерного куба. Аналитические объекты, получающиеся на выходе блока витрин данных, поступают в блок оперативного анализа данных и формирования OLAP-моделей. Данный блок отвечает за выполнение аналитических операций на основе подготовленных витрин данных и формирования OLAP-моделей по выполненным операциям.

Представлен также блок формирования комплексов OLAP-моделей, в задачи которого входит создание и выполнение комплексных аналитических расчетов на основе заранее подготовленных OLAP-моделей.

Далее приведено описание блока формирования OLAP-приложений с адаптированным интерфейсом. В задачи блока входит создание и выполнение прикладных приложений, представляющих собой набор пользовательских экранных форм, взаимодействующих посредством компонент и языка программирования с другими составляющими системы «Аналитик».

Четвёртый раздел посвящен вопросам применения результатов диссертационной работы.

Представлены примеры применения системы «Аналитик» для решения актуальных прикладных задач обработки и анализа информации в органах управления здравоохранением: анализа состояния здоровья, анализа ресурсов системы здравоохранения, формирования тарифов на медицинские услуги, создания приложений, обеспечивающих аналитическую поддержку деятельности специалистов и руководителей.

В заключении сформулированы основные результаты диссертационного исследования, отмечены перспективы развития и практического применения решений, представленных в работе.

В Приложении 1 приведены результаты сравнения характеристик разработанной автором OLAP-машины с существующими на рынке программных продуктов решениями.

В Приложении 2 приведена библиотека функций встроенного языка программирования системы «Аналитик».

К работе прилагаются также акты о внедрении результатов диссертационной работы.

Автор выражает благодарность коллективу отдела прикладной информатики ИВМ СО РАН за плодотворную совместную работу, кандидату технических наук за руководство прикладными разработками, научному руководителю доктору технических наук, профессору за сотрудничество и помощь в выполнении диссертационной работы.

1. Проблема развития технологии оперативного анализа данных

1.1 Обзор задач оперативного анализа данных в организационном управлении

Эффективная работа любого предприятия или даже отрасли зависит от своевременности и обоснованности решений, принимаемых руководящими органами. Такие решения могут формироваться только при соответствующей оперативной информационной поддержке, которая обеспечивается различными технологиями сбора, хранения, обработки и анализа данных. Сегодняшнее развитие этих технологий позволяет обрабатывать и накапливать различные сведения, отличающиеся по составу и уровню детализации. Для эффективного практического использования накопленной информации требуется внедрение современных технологий оперативного анализа данных. Чтобы обосновать технологические требования и предлагаемые в данной работе подходы, сформулируем особенности аналитических задач с точки зрения OLAP-технологии.

Множество задач аналитической обработки данных, возникающих при автоматизации организационного управления, можно разделить на два класса:

А. Задачи оперативного мониторинга.

В. Задачи комплексного анализа и планирования.

Задачи класса А сводятся к формированию одного или нескольких сводных показателей, которые формируются на основе единственного запроса к базе данных. Полученные данные агрегируются и представляются в виде таблиц, диаграмм, графиков. Именно для решения такого типа задач и предназначена существующая технология оперативной обработки данных OLAP. Существующие технологические средства и OLAP-продукты ориентированы на довольно узкий класс задач оперативной аналитической обработки многомерных данных, которые решаются на основе одного запроса к источнику данных и соответственно одного многомерного информационного куба. Существо аналитической обработки сводится к автоматизированной поддержке формирования аналитического запроса, агрегированию данных, операциям над кубом с использованием плоских представлений многомерного куба (кросс-таблиц).

Задачи типа В более сложные и реализуются на основе многоэтапных методик и алгоритмов. На каждом этапе решается отдельная подзадача. Попытки применить существующий инструментарий OLAP для решения сложных многошаговых задач показали, что принципиальная возможность сведения такой задачи к одному многомерному кубу приводит к большому количеству измерений и соответственно потере главных преимуществ технологии OLAP – наглядности и быстродействия. При этом принципиально можно декомпозировать такую задачу, разложив ее на множество задач типа А [31].

Естественно, что класс А строго включается в класс В.

Задачи оперативного мониторинга характерны для таких прикладных областей, в которых важно оперативное управление процессами. К ним относятся: управление в финансовой сфере, банковское дело, оперативное управление в системах торговли и услуг, управление в бизнес-сфере, где важнейшим фактором является время. Как правило, для этих предметных областей характерны высокая стоимость оперативных решений, большие объемы продукции, услуг или товаров, большие объемы финансовых средств. Именно эти особенности послужили причиной высокой популярности технологии оперативного анализа данных OLAP в этих областях [16, 73, 80].

Рассмотрим примеры прикладных областей, где OLAP-технология пока не нашла широкого применения, но имеет хорошие перспективы при условии создания функциональных возможностей для решения сложных задач класса В.

Примером организационной структуры, в рамках которой происходит движение значительных информационных потоков, является система регионального здравоохранения. Эффективное управление здравоохранением в масштабах крупного территориального образования невозможно без детального анализа информации о показателях состояния здоровья населения и деятельности сети медицинских учреждений.

Основные аналитические задачи, решаемые территориальными органами управления здравоохранением [23,25,33,34,35,41]:

–  анализ и оценка данных о состоянии здоровья населения региона с учетом динамики его изменения в зависимости от условий среды обитания человека;

–  анализ профессиональной заболеваемости персонала промышленных предприятий и населения, проживающего в районах их размещения;

–  анализ функционирования здравоохранения субъекта федерации в условиях системы обязательного медицинского страхования, моделирование показателей контроля качества медицинской помощи в регионе;

–  анализ материально-технической базы медицинских учреждений, включая средства информатизации и телекоммуникации, и многие другие.

В число важных аналитических задач органов управления здравоохранением входит формирование территориальной программы государственных гарантий оказания бесплатной медицинской помощи населению, включая формирование муниципальных заказов на конкретные виды и объемы медицинской помощи в разных разрезах, расчет тарифов на оказание услуг населению, построение рабочих мест руководителей.

Каждая из перечисленных задач реализуется на основе многоэтапной методики. При этом характерно, что методические подходы и отраслевые нормативы, используемые для решения этих задач, часто меняются.

Спектр информационных технологий, применяемых в настоящее время в здравоохранении, включает программные продукты, направленные на решение самых разнообразных задач. Это информационные системы от автоматизированного ведения истории болезни, автоматизированных рабочих мест специалистов, отдельных комплексов и систем различного назначения в поликлиниках и стационарах до комплексных автоматизированных больничных и поликлинических информационных систем, систем автоматизации бухгалтерского учета и управления персоналом, – до информационных технологий муниципального и регионального уровня [39, 43, 75, 77, 79, 80]. Сбор и анализ информации в системе здравоохранения производится следующими программными комплексами: «Модель территориальной программы обязательного медицинского страхования» [55, 60], «Планирование медицинской помощи» (Краснодар) [62, 63], «Система формирования программы гарантированной медицинской помощи и формирования государственного заказа»; "Сбор и анализ медико-статистической информации" (Смоленская область), «Система формирования и контроля статистических отчетных форм» (Новосибирск), «Медстат – Мединформ» – программы по сбору первичной отчетно-статистической информации и формированию отчетов [19,20,21,22]; СтатЭкспресс [32, 50]; Единая система ведения справочной информации [53].

Перечень накапливаемых данных довольно объемен, в то же время для хранения информации используются разные базы и структуры данных. Перечисленные системы не обладают развитыми аналитическими инструментами, способными удовлетворить постоянно растущие требования пользователей к информации. Накопленные данные нельзя сравнивать между собой, невозможно получать сводные отчеты по группам учреждений и рассчитывать не предусмотренные заранее показатели. Кроме того, в перечисленных системах отсутствует возможность решения сложных аналитических задач, таких как выполнение расчетов по произвольной многошаговой методике, балансировка расчетов, выполненных различными способами, осуществление краткосрочных и долгосрочных прогнозов.

Существующие информационные комплексы не включают средства всестороннего анализа информации, что приводит к их постоянной доработке. Как следствие, теряется оперативность и эффективность получения
решений [78].

Система здравоохранения является примером организационной структуры, ставшей основой для детального исследования проблемы анализа данных.

Помимо здравоохранения существуют другие области потенциального применения результатов данной диссертационной работы, например, близкая по составу аналитических задач система социальной защиты населения. Важнейшие задачи:

-  анализ и планирование адресной социальной помощи и пособий;

-  анализ и планирование социальных льгот, согласно федеральному и территориальному законодательству;

-  формирование статистической отчетности и проведение аналитических расчетов, формирование агрегированных показателей;

-  проведение массовых перерасчетов/индексаций адресной социальной помощи, в том числе перерасчетов с использованием информации о доходе членов домохозяйств;

-  прогнозирование ситуаций и поддержка принятия решений в сфере социальной защиты населения.

Методы анализа эффективности функционирования системы социальной защиты населения и планирования ее развития, как и в здравоохранении, реализуются сложными алгоритмами. При этом используемые методы зависят от нормативной правовой базы и часто меняются. Переход к монетизации льгот особенно сильно отразился на методологической основе. В качестве примеров программных продуктов, используемых в этой сфере, можно привести системы MSM АСП, ППО АСОИ, ПКТБ АСОИ [59]. Как и в здравоохранении, большинство важнейших аналитических задач в сфере поддержки социальной защиты населения относятся к классу В.

Значительно меньшая популярность OLAP в управлении социальной сферой объясняется тем, что класс задач, решаемых с помощью существующих OLAP-продуктов, довольно узок. Попытки применить инструментарий OLAP для решения сложных многошаговых задач, таких, например, как построение комплексов аналитических показателей здравоохранения, планирование медицинской помощи, планирование социальных услуг и многих других, показали, что существующими OLAP-средствами эти задачи решаются неэффективно.

Кроме того, важно отметить, что существующие аналитические приложения имеют универсальный характер, не учитывают сложившиеся в предметной области традиции и терминологию и, как следствие, сложны для прикладных специалистов. Из-за сложности систем часто не достигается цель, ради которой эти системы разрабатываются, – обеспечение доступности информации.

Таким образом, имеется необходимость развития новых элементов технологии оперативного анализа данных, способных обеспечить информационную поддержку решения сложных задач и создание специализированных аналитических приложений.

1.2 Технология оперативной аналитической обработки данных

В последнее десятилетие получила развитие и нашла широкое применение технология оперативной аналитической обработки данных (OLAP – Online Analytical Processing), направленная на решение задач аналитической обработки больших объемов информации [1, 2, 18, 24, 46, 64].

В основе OLAP-технологии лежит многомерная логическая модель данных. Многомерная модель данных наиболее адекватна для представления информационных объектов. К примеру, данные по заболеваемости представляются, по крайней мере, в трех измерениях: по территориям, классам заболеваемости и времени.

Технология OLAP основана на представлении данных в виде N-мерного куба. Внутри куба хранятся измеряемые величины (показатели), а оси куба представляют значения измерений. Процесс OLAP-анализа представляется совокупностью операций с многомерными данными. Основными операциями являются: детализация, консолидация (группировка), формирование среза куба и поворот [65, 66].

Формирование среза куба заключается в фиксации значения (значений) определенного измерения, при этом сокращается размерность куба. Срез представляет собой подкуб, в который входят все остальные измерения. В случае трехмерного куба его срез получится двумерным, однако количество измерений куба не обязательно ограничено тремя. Пример операции среза приведен на рисунке 1.

Рисунок 1 – Формирование среза куба

Операции консолидации и детализации определяют переход вверх по направлению от детального представления данных к агрегированному в случае консолидации, и наоборот – при детализации. На практике эти операции используются при двумерном представлении многомерного куба, когда между измерениями куба заданы отношения.

Операция вращения также определена для двумерного представления куба и заключается в изменение расположения измерений. Для двумерной таблицы операция вращения заключается в перестановки строк и столбцов (полный поворот), в изменении порядка подчиненности измерений внутри строк/столбцов, а также в перенесении части измерений из строк в столбцы и наоборот.

Применение OLAP вместо реляционного подхода к анализу данных дает ряд преимуществ, основные из них [73]:

-  обеспечивается интуитивно понятный пользовательский интерфейс для просмотра данных;

-  гарантируется высокая производительность выполнения аналитических запросов, прежде всего за счет интеллектуальной навигации по сводным таблицам;

-  реализация многомерных структур со связями «родитель-потомок» проста и интуитивно понятна.

Для потребителя информации применение OLAP обеспечивает высокую гибкость получаемых решений за счет возможности интерактивного изменения результата. Специалист получает не жестко регламентированный отчет, а инструментарий для творческого исследования задачи. Возможность свободной манипуляции данными упрощает получение необходимых наборов данных. Важным преимуществом OLAP является использование прикладным специалистом в процессе аналитических операций знакомых терминов из предметной области [6].

Строгого формального описания OLAP-технологии не существует, тем не менее, есть два набора правил, сформулированных классиком теории реляционных баз данных доктором (E. F Codd) и ассоциацией OLAP Report, описывающие основные характеристики и требования к OLAP-инструментарию [6, 18].