Инструктивно-методический материал «Консультирование по техническим вопросам проведения апробации»
Структура документа:
1.Технологии анализа и представления информации
Часто при описании того или иного продукта, анализирующего бизнес-информацию, применяют такие термины, как «риск-менеджмент», «прогнозирование», «сегментация рынка». Но в действительности решение каждой из этих практических задач сводится к применению одного из описанного ниже методов анализа. Например, прогнозирование – это задача регрессии, сегментация рынка - это кластеризация, управление рисками – это комбинация кластеризации, классификации и, возможно, других методов. Фактически, они являются атомарными (базовыми) элементами, из которых собирается решение той или иной задачи. На рисунке 3 представлена технологическая схема анализа информации.
Рисунок 3 – Технологическая схема анализа информации
В качестве первичного источника данных выступают все сведения, которые могут пригодиться для принятия решения: базы данных системы оценки качества образования, офисные документы, Интернет. При этом возможно использование не только внутренних, но и внешних данных (показатели и индикаторы качества образования, поступающие из других систем в рамках встроенных механизмов взаимодействия и интеграции). Хотя в хранилище данных не реализуются технологии анализа, оно является той базой, на которой построена аналитическая система. При отсутствии хранилища на сбор и систематизацию необходимой для анализа информации будет уходить большая часть времени, что в значительной степени сведет на нет все достоинства анализа – ведь одним из ключевых показателей любой аналитической системы является возможность быстро получить результат.
Следующим элементом схемы является семантический слой. Анализируемые данные располагаются в различных базах данных, поэтому для обеспечения функционирования схемы необходим механизм, трансформирующий термины предметной области в вызовы механизмов доступа к базам данных. Эту задачу и выполняет семантический слой. Для всех используемых в системе оценки качества образования аналитических задач используется один семантический слой, что позволяет применять к задаче разные подходы.
Используемые системы отчетности функционируют в двух вариантах. Первый вариант использования представляет собой формирование регулярных отчетов для контроля оперативной ситуации и анализа отклонений. Система ежедневно готовит ряд отчетов для представления данных о проведении апробации. Формирование и отображение отчетов выполняется по требованию пользователя, вид отчетов зависит от категории пользователя и его роли в компьютерной системе. Категория и роль пользователя определяет перечень пользовательских полномочий, права доступа к информации.
Второй вариант использования представляет собой обработку нерегламентированных запросов. Этот вариант использования системы отчетности применяется в том случае, когда лицо, принимающее решение, хочет получить какие-либо данные, которые невозможно получить с помощью стандартных регламентированных отчетов, т. е информацию, вид представления которой невозможно определить заранее. Для таких целей используется инструмент, позволяющий быстро и в удобной форме получить интересующие сведения.
Для построения систем отчетности применяется самый распространенный механизм – механизм OLAP. Основная идея механизма – представление информации в виде многомерных кубов, где оси являют собой измерения, а в ячейках помещаются показатели. Пользователь манипулирует измерениями и получает информацию в нужном разрезе.
Для построения прогнозов используется технология Knowledge Discovery in Databases, которая представляет собой процесс поиска полезных знаний в «сырых данных». Технология включает в себя вопросы подготовки данных, выбора информативных признаков, очистки данных, применения методов Data Mining (DM), постобработки данных, интерпретации полученных результатов. Технологический процесс работы этого механизма включает в себя последовательное выполнение следующих операций:
1. Извлечение данных. Для извлечения данных используется семантический слой.
2. Очистка данных. «Грязные» данные могут свести на нет применяемые в дальнейшем механизмы анализа.
3. Трансформация данные, поскольку различные методы анализа требуют данных, подготовленных в специальном виде.
4. Непосредственное проведение анализа – Data Mining.
5. Интерпретация полученных результатов.
Процесс повторяется итеративно, и, по сути, это все, что необходимо для автоматизации извлечения знаний. Дальнейшие шаги предпринимает эксперт, он же является лицом, принимающим решение.
Метод проведения анализа (Data Mining) представляет собой метод обнаружения в «сырых» данных ранее неизвестных, нетривиальных, практически полезных и доступных для интерпретации знаний, необходимых для принятия решений. DM обеспечивает решение шести задач: классификация, кластеризация, регрессия, ассоциация, последовательность и отклонения.
1. Классификация – отнесение объектов (наблюдений, событий) к одному из заранее известных классов.
2. Кластеризация – группировка объектов (наблюдений, событий) на основе данных (свойств), описывающих сущность объектов. Объекты внутри кластера должны быть «похожими» друг на друга и отличаться от объектов, вошедших в другие кластеры. Чем более похожи объекты внутри кластера и чем больше отличий между кластерами, тем точнее кластеризация.
3. Регрессия, в том числе задачи прогнозирования. Установление функциональной зависимости между зависимыми и независимыми переменными.
4. Ассоциация – выявление закономерностей между связанными событиями. Примером может служить правило, указывающее, что из события X следует событие Y. Такие правила называются ассоциативными. Впервые эта задача была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому иногда ее еще называют анализом рыночной корзины (market basket analysis).
5. Последовательные шаблоны – установление закономерностей между связанными во времени событиями. Например, после события X через определенное время произойдет событие Y.
6. Анализ отклонений – выявление наиболее нехарактерных шаблонов.
Выбор метода анализа информации во многом определяет качество получаемых итоговых результатов и облегчает возможность принятия решения в условиях проведения апробации. Задача выбора системы или процедуры анализа данных с помощью информационных технологий является многокритериальной и от правильного ее решения зависит качество результирующих показателей.
Представление информации, полученной в результате анализа данных, выполняется в рамках специализированного веб-сайта, предназначенного для целевой интерпретации результатов проведения апробации. Апробация моделей комплексного анализа результатов 6 процедур оценки качества образования для обеспечения управления системой контроля и оценки качества образования на региональном уровне будет проводиться на различных географически удаленных друг от друга пилотных площадках. Использование веб-сайта, размещенного в сети интернет, обеспечивает доступность информации удаленным пользователям. Помимо этого, web-технологии предоставляют широкий выбор инструментов для наглядного представления полученных результатов. В качестве таких инструментов можно выделить:
1.Представление данных в текстовом виде с использованием гипертекста.
2.Представление данных в табличном виде.
3.Представление данных в графическом виде (использование графиков и диаграмм).
2.Систематизация информации.
Систематизация информации является обязательным и неизменным этапом в технологии работы с информацией, а также важнейшей задачей, которую надо решить при сборе и хранении данных.
Систематизация – процедура объединения информации в определенные группы для создания единой системы, которую можно использовать в функциональных целях. Информация тогда «работает» на нас, когда представляет собой единство закономерно расположенных и находящихся в определенной связи частей, может быть быстро извлечена, отвечает критериям полноты и достоверности. Используется несколько видов систематизации:
1. Объединение в группы (тематические портфолио) схожих по тематике материалов без какой-либо обработки (в каком виде нашел, в таком виде и поместил в группу). Такой вид систематизации называется инкорпорацией.
2. Объединение несколько близких по содержанию информационных материалов в один с целью преодоления множественности материалов схожих по содержанию. Такой вид систематизации называют консолидацией.
В процессе систематизации документы объединяются в группы:
дедуктивным способом – от общего к частному;
индуктивным способом – от частного к общему;
хронологическим (историческим) способом (например, в алфавитном порядке).
В процессе систематизации информация индексируется и каталогизируется. Индексация выполняется для учета и последующей организации поиска Каталогизация представляет собой составление каталога (перечня) информационных материалов. В общем случае, это некий список информации об объектах, составленный с целью облегчения поиска этих объектов по какому-то признаку.
Проблема использования большого объема накопленных данных является ключевой на данном этапе. Для регистрации различных видов деятельности, выполняемой в процессе апробации, организации и хранения этой информации используются хранилища данных. Для адекватной оценки ситуации и выработки оптимального решения необходимо определенным образом классифицировать и систематизировать данные, отсеять несущественные факты и спроецировать имеющиеся данные на конкретную задачу. Транзакционные данные значимы прежде всего для представителей оперативного звена. Менеджерам более высокого уровня и экспертам недостаточно знаний о конкретной операции или даже о наборе операций. Для оценки состояния процессов нужно оперировать качественными показателями, то есть нужна многоракурсная информация.
Хранилище данных (Data Warehouse)представляет собой это отдельную базу данных, в которой аккумулируется вся самая разнообразная информация, необходимая пользователям, участвующим в апробации, а также экспертам, принимающим решения.
Следующим шагом является развертывание на базе информационного хранилища системы Business Intelligence (BI, бизнес-интеллекта), задача которой – интегрировать и анализировать информацию, накопленную в хранилище. Система BI работает уже не на тактическом, а на стратегическом уровне, позволяя руководителям процесса не только оперативно оценить текущее состояние компании, но и видеть, под влиянием каких факторов оно меняется и каков тренд этих изменений.
Информационное хранилище является базой для построения портала – единого окна предоставления информации для всех ее сотрудников, предназначенного для целевой интерпретации результатов проведения апробации.
Портал, являющийся единым окном представления информации об апробации, представляет собой веб-сайт, размещенный в сети Интернет. Основной целью портала является раскрытие информации, касающейся организации, нормативно-правовой основы и технологии проведения апробации, а также предоставление каждому пользователю единой точки доступа к предназначенной для него информации, необходимой для принятия обоснованных управленческих решений.
Основные задачи, решаемые порталом:
обеспечить персонифицированный доступ к внутренним и внешним информационным ресурсам, информационным, методическим и нормативно-справочным материалам;
обеспечить доступ к данным по классификатору и с возможностью проведения сквозного полнотекстового и атрибутивного поиска;
обеспечить подключение к экспертам (связь между пользователями) на основе их знаний (способностей). Не всегда портал содержит нужную пользователю информацию, однако, в случае ее отсутствия, он может подключить пользователя к нужным специалистам, которые могут поделиться необходимой информацией, дать экспертные оценки по интересующим вопросам;
предоставить информацию и приложения для обеспечения работы группы специалистов в рамках проведения апробации моделей комплексного анализа результатов различных процедур оценки качества образования.
Для решения этих задач, инструментарий портала должен предоставлять следующий инструментарий:
портал должен содержать ряд информационных, методических, нормативных и справочных материалов с удобным механизмом отображения и поиска информации. Для удобства представления материалов, они организованы в виде каталога, представленного в древовидной структуре. Для осуществления поиска информации пользователю достаточно указать ключевое слово, фразу либо часть текста. По результатам выполнения поиска пользователю в виде гиперссылок выдается ряд документов, которые содержат указанные ключевые критерии поиска;
портал должен предоставлять инструмент для общения и обмена опытом между участниками апробации системы. Одним из таких инструментов является форум, который позволяет обмениваться сообщениями, оставлять свои комментарии, делиться опытом и т. д. Специальное программное обеспечение по работе и управлению форумом должно обеспечивать следующие функциональные возможности:
наличие доступа по чтению у незарегистрированных пользователей портала;
возможность добавления комментариев к имеющимся темам форума у зарегистрированных пользователей портала;
возможность моделирования – удаления комментариев пользователей во всем форуме, либо отдельной его ветке, управление доступом к веткам форума, блокирование возможности просмотра/создания комментариев у отдельных пользователей либо групп пользователей;
удобное и функциональное форматирование и редактирование текста с использованием общего текстового редактора портала, а также удобную работу с изображениями с использованием общего для портала редактора изображений;
наличие средств разграничения доступа, позволяющих вносить изменения в тексты только авторами;
возможность присоединения файлов к комментариям, позволяющих включать их в качестве отдельного файла/страницы;
портал должен предоставлять инструмент для коммуникаций, обеспечивающих удаленное общение пользователей. Реализуемое специальное программное обеспечение обеспечения коммуникаций должно предоставлять следующие возможности:
отправка сообщений по электронной почте в рамках личного раздела пользователей с сохранением истории переписки с контактом либо незарегистрированным пользователем чата, имеющим электронный адрес;
отправка коротких текстовых сообщений пользователю либо группе пользователей, присутствующих в перечне контактов из личного раздела;
организация чата с пользователем либо группой пользователей, присутствующих в перечне контактов из личного раздела;
публикация обучающих видеоматериалов;
портал должен предоставлять инструмент для заполнения пользовательской формы для предложений по доработке модели, а также формы для регистрации промежуточных и итоговых результатов апробации;
портал должен содержать инструментарий для формирования и отображения в удобном пользователям виде аналитической и статистической отчетности.
3. Составление анкет
Для реализации обратной связи при проведении апробации, сбора сведений о результатах проведения апробации и предложениях по доработке моделей используется метод онлайн-анкетирования. В предоставленной анкете используются следующие типы вопросов:
вопросы с произвольным вариантом ответа. Это вопрос, на который респонденты отвечают на такие вопросы своими собственными словами, не ограничиваясь выбором из предлагаемого набора вариантов;
многовариантный вопрос. Это вопрос с ограниченным набором ответов, из которого респондента просят выбрать вариант, который наиболее соответствует его собственной позиции по данному вопросу;
дихотомический вопрос. Вопрос с фиксированным количеством вариантов ответа, при котором респондента просят указать тот из двух ответов, который наиболее полно соответствует его взглядам на предмет вопроса;
шкалы. Это другой тип вопросов с фиксированными вариантами ответов, который использует определенную шкалу, для того чтобы показать ответ.
4. Формы отображения информации на экране (таблицы для представления сведений)
Для ввода предложений по доработке модели комплексного анализа результатов различных процедур оценки качества образования используются экранные формы, позволяющие пользователю дать свои предложения по количественной, качественной и технической составляющей моделей.
На рисунке 4 представлена экранная форма по вводу предложений количественной составляющей модели.
Рисунок 4 – Экранная форма ввода количественной характеристики моделей комплексного анализа
В экранной форме представлен ряд количественных показателей. Для каждого показателя зарегистрированный пользователь, прошедший процедуру идентификации и аутентификации, указывает, удовлетворяет ли его представленный показатель, либо не удовлетворяет. Выбор производится с помощью соответствующих радиокнопок. Свои предложения по возможной модификации показателя пользователь указывает в текстовом поле ввода в колонке «Предложения пользователей».
На рисунке 5 показана экранная форма по вводу предложений количественной составляющей модели.
Рисунок 5 – Экранная форма ввода качественной характеристики моделей комплексного анализа
В экранной форме представлен ряд качественных показателей. Для каждого показателя зарегистрированный пользователь, прошедший процедуру идентификации и аутентификации, указывает, удовлетворяет ли его представленный показатель, либо не удовлетворяет. Выбор производится с помощью соответствующих радиокнопок. Свои предложения по возможной модификации показателя пользователь указывает в текстовом поле ввода в колонке «Предложения пользователей».
На рисунке 6 представлена экранная форма по вводу предложений технической составляющей модели.
Рисунок 6 – Экранная форма ввода технической характеристики моделей комплексного анализа
В экранной форме представлен ряд технических показателей. Для каждого показателя зарегистрированный пользователь, прошедший процедуру идентификации и аутентификации, указывает, удовлетворяет ли его представленный показатель, либо не удовлетворяет. Выбор производится с помощью соответствующих радиокнопок. Свои предложения по возможной модификации показателя пользователь указывает в текстовом поле ввода в колонке «Предложения пользователей».
Указанные пользователем значения показателей и предложения по доработке моделей систематизируются и сохраняются в хранилище данных. В последствии они используются для формирования аналитических и статистических отчетов по результатам проведения апробации.
5. Технические вопросы, связанные с формированием отчетов по результатам проведения апробации.
Система предоставления аналитической и статистической отчетности обеспечивает формирование отчетов по двум направлениям: статистические отчеты о работе портала, доступные администратору, и отчеты, содержащие аналитические материалы о проведении апробации.
Отчет о событиях доступен администраторам портала и специалистам по управлению персоналом (при условии разграничения доступа). В базе данных портала обеспечивается хранение и вывод информация в виде отчета о следующих событиях:
вход в портал;
регистрация и редактирование информации пользователя портала;
ввод результатов апробации по всем составляющим комплексной модели: количественной, качественной и технической;
просмотр результатов апробации;
изменение данных пользователя;
генератор отчета обеспечивает фильтрацию и сортировку данных по любому из ее полей и по их совокупности, а также возможность задания граничных значений для параметров даты и времени.
Аналитические отчеты содержит агрегированную информацию по результатам проведения апробации в разрезе количественной, качественной и технической составляющих. В качестве показателей группировки и агрегирования информации могут выступать следующие критерии: используемая пилотная площадка, округ, регион, составляющая модели, показатель, процедура оценки качества образования, время выполнения процедур и т. д. Генератор отчета должен обеспечивать фильтрацию и сортировку данных по любому критерию и по их совокупности, возможность задания граничных значений для параметров даты и времени, возможность. Доступ пользователей к аналитической отчетности определяется в соответствии с нормативными документами проведения апробации и выдается администратором портала.
