ЭКСПЕРТНАЯ ПОДДЕРЖКА ОЦЕНКИ КАЧЕСТВА БАЗ ДАННЫХ ТЕСТИРУЮЩИХ СИСТЕМ
(ИрГУПС, Иркутск)
Рассматривается технология экспертной поддержки оценки качества баз данных тестовых вопросов (БТ) для тестирующих программ с реализацией в системе ТОС-2. Оценки для каждого вопроса выставляются экспертом по нескольким категориям (соответствие заданной программе, качество формулировок, однозначность выбора и др.). Для заданных тем и разделов выставляется соответствующая оценка полноты отражения вопросов требуемой программы с возможностью внесения экспертом дополнительных комментариев. Технология позволяет формировать отчёты о качестве БТ на основе агрегирования результатов экспертизы нескольких экспертов с учётом их рейтинга и компетентности по отдельным вопросам.
1. Возрастание роли тестирующих, обучающих и тренажёрных систем. Разработке компьютерных тестовых, обучающих и тренажёрных программ уделяется все большее внимание в связи с возрастанием объема информации и совершенствованием компьютерных технологий. В настоящее время создано множество таких программ с различными возможностями и ограничениями. Появление информационно-образовательных порталов с удаленными средствами дистанционного тестирования и обучения поднимает на новый уровень решение этой сложной задачи. Проводятся различные классификации тестирующих систем по основным направлениям: качества подготовки БАЗЫ ТЕСТОВЫХ ВОПРОСОВ; учету обратных связей в обучающих системах; защите авторских прав и, тем более, от несанкционированного доступа [1] и др. Электронные учебники и образовательные системы всё с большей интенсивностью вытесняют классические методы обучения.
Проверенный десятилетиями, если не столетиями, традиционный подход к обучению не утратил права на существование, но в наше время его уже заметно потеснили альтернативные концепции и оригинальные методы обучения [2]. Компьютерные программы активно внедряются (особенно в последние годы) практически во все сферы человеческой деятельности. Разработка первых тестирующих и обучающих программ началась с появлением первых персональных компьютеров. Современные компьютерные обучающие программы позволяют улучшить процесс обучения, помогают быстрее, глубже и интереснее передать информацию, а также проконтролировать знания, умения и навыки.
Тестирующие, обучающие и тренажёрные системы могут оказать значительную помощь не только для университетов и учебных заведений, но и для научных институтов, в которых время от времени происходят качественные переходы к новым уровням информационно-вычислительных технологий. Данная работа посвящена технологии повышения качества материала электронного тестирования.
2. Конфигурация тестирующей и обучающей системы ТОС-2. Разработанная в МИЭЛ ИГУ [1] система ТОС-2 состоит из пяти компонентов:
- Подготовка базы тестовых вопросов. Включает набор средств по вводу из текстовых (с HTML-тегами) файлов, а также визуального редактирования тестовых вопросов. Сначала задается база тестовых вопросов с отображением ее каталога, по которому выбирается вопрос по его идентификации. В нижнем окне отображается хранимый текст, а в верхнем – его визуальное отображение, применяемое при тестировании и обучении с выделением правильных ответов. Редактировать можно текст непосредственно (в окне) или через набор кнопок верней панели экрана;
- Настройка тестов. Включает подготовку теста из нескольких баз тестовых вопросов, а также списка документов для обучения и подготовки системы к непосредственному запуску для тестирования и обучения. Параметрами настройки являются: идентификация теста и тестирующего; характеристики случайного выбора; пороговые суммы баллов выставления оценок; настройки цветов отдельных частей экрана и др.;
- Тестирование. Устанавливается на файл-сервере с доступом с компьютеров локальной сети. Он также может быть инсталлирован для прохождения в автономном режиме. При входе в систему, автоматически определяется идентификатор пользователя, по которому производится накопление статистики по результатам прохождения теста, включая множество попыток. В ТОС-2 включена не только фиксация прохождения каждого теста, но и поддержка минимальной, максимальной, средней и прогрессивной оценок;
- Обучение. Включает множество полнотекстовых обучающих материалов в форматах djvu, pdf и др. Опирается на алгоритмы тестирования, но с добавлением кнопки, «Подсказка», доступной в любой момент времени. Хотя эта кнопка позволяет раскрыть ответ на заданный вопрос непосредственно, при соответствующей настройке обучающего материала, ее предпочтительнее использовать в качестве направляющей схемы доступа к электронным учебным материалам, ссылки на которые указываются в дополнительных настройках;
- Формирование отчетов следующих видов: по содержимому тестовой базы; по итогам тестирования группы; по результатам тестирования отдельного пользователя; по обработке накапливаемой статистической информации [1].
В результате использования ТОС-2 в практических целях появилась необходимость в повышении качества баз тестовых вопросов и создании данного проекта.
3. Качество баз тестовых вопросов. Несмотря на то, что тестовых систем, используемых в образовательном процессе, создано огромное количество, насущным остается вопрос о качестве баз данных с тестовыми вопросами (БТ), соответствие их необходимым учебным программам по содержанию и полноте.
Значимой проблемой тестовых, обучающих и тренажёрных систем является создание качественных БТ, для решения которой разработан проект компонента экспертной поддержки (КЭП). Структура этого компонента включает описание модели учебной программы, для которой создана тестовая база данных; модуль экспертной оценки по выделенным ключевым позициям для каждого тестового вопроса; степень соответствия указанной теме и разделу БТ; корректность формулировки и степень однозначности выбора правильного ответа; психологическое восприятие вопроса и некоторые другие.
В КЭП включены возможности агрегирования накапливаемой информации об экспертизах разных экспертов с формированием итоговой оценки тестовой базы. Кроме того, при поддержке работы эксперта предусматривается выделение всех необходимых замечаний по конкретному вопросу теста и по теме в целом. Также предусматривается формирование экспертных оценок для отдельных тестов, включающих часть разделов одной или нескольких БТ.
По итогам выставленных экспертами баллов проводится анализ и формируется вывод о качестве БТ.
4. Модель экспертной поддержки БТ для системы ТОС-2. Оптимальный вариант размещения составляющих системы ТОС-2 представлен на рис. 1. Управляющий компонент, компонент настройки тестов и экспертной поддержки располагаются на отдельном ПК администратора. На ПК тестируемого размещаются компоненты тестирования, обучения и формирования отчётов. Также на отдельных ПК могут находиться база экспертных оценок и БТ. Взаимосвязь компонентов происходит по локальной вычислительной сети. Данный вариант является наиболее защищённым от попыток несанкционированного использования и фиктивного прохождения тестов. Другим вариантом является размещение всех компонентов системы ТОС-2 на одном ПК.
Рис. 1. Схема взаимодействия компонентов ТОС-2
Экспертная поддержка размещается в управляющей части системы ТОС-2 и состоит из пяти компонентов: оценки вопросов, оценки разделов, оценки тем, оценки базы тестов и записи комментариев (рис. 2). Полученные в результате экспертизы данные записываются в базу экспертных оценок для просмотра и дальнейшей обработки.
Рис. 1. Модель экспертной поддержки тестовых БД для ТОС-2.
Управляющий компонент (подготовки БТ) системы ТОС-2 взаимодействует с БТ. КЭП включён в систему и получает информацию об отдельном вопросе, разделе, теме и в целом о базе. При вызове экспертной поддержки этот компонент ищет базу экспертных оценок соответствующую базе с вопросами. Если она не обнаружена – производится ее создание. Если база обнаружена, то появляется возможность просмотреть оценки или провести экспертизу.
5. Структура данных компонента экспертной поддержки. Размещение данных об экспертах, оценках и комментариях в базе экспертных оценок представлено на рис. 3. Выделено семь таблиц: Ocenky, Experty, Tip_ocenky, Polnota_razdela, Polnota_temy, Polnota_BT и Trebovanija.
Рис. 3. Структура БД экспертных оценок.
Таблица Voprosy необходима для связи базы экспертных оценок с базой тестов. В таблицу Trebovanija, заранее перед экспертизой, записываются условные оценки, ниже которых элементы анализа не удовлетворяют требованиям по качеству.
Пример фрагмента отчета о БД экспертных оценок
БЭО1.bem
.Модель учебного процесса
#1 Эксперты
Эксперт1 – id1 - №экспертизы – рейтинг
Эксперт2 – id2 - №экспертизы – рейтинг
ЭкспертN – idN - №экспертизы – рейтинг
/#1
#2 оценки
--Ido1 – формулировка вопроса
--Ido2 – степень однозначности правильного ответа
--Ido3 – психологическое восприятие вопроса
--Ido4 – соответствие вопроса разделу
--Ido5 – полнота раздела
--Ido6 – полнота темы
--Ido7 – полнота БТ
id1_1
экс. тема. разд. вопр.=тип1|..|тип4
Id1.idt. idr. idv1=55|30|25|100|
Id1.idt. idr. idv2=55|53|13|89|
Id1.idt. idr. idvN=100|45|12|10|
Id1.idt. idr. idv1.comm=комментарий 1
Id1.idt. idr. idv2.comm=комментарий 2
Id1.idt. idr. m=комментарий N
Id1.idt. idr =95
Id1.idt. m=комментарий
………..
Id1.idt=50
m=комментарий
………..
Id1=89
Id1.comm=комментарий
/id1_1
Id1_2
…
/id1_2
Id2_1
…
/id2_1
idN_N
…
/idN_N
/#2
На рис. 4 показан единичный процесс выставления оценки качества вопроса. После идентификации эксперта производится последовательная загрузка вопросов исследуемой БТ. После занесения экспертом необходимых оценок производится запись данных во временный файл.
Рис.4. Процесс выставления оценки качества вопроса экспертом.
По завершению работы эксперта автоматически формируются оценки по качеству разделов, тем и БТ по заранее выработанным алгоритмам.
6. Эвристические алгоритмы формирования экспертных оценок. Результатом проведения экспертизы является список оценок и набор комментариев, соответствующих определённым элементам, компетентность эксперта по каждому вопросу, а также полнота раздела, темы и базы тестов в целом с точки зрения эксперта. Структурная схема выставления экспертом оценок приведена на рис. 5.
|
Расчет оценок осуществляется по следующим формулам:
(1)
(2)
(3)
(4)
где Сij – оценка; Ki – компетентность эксперта; i – порядковый номер экспертизы; j – порядковый номер типа оценки; p – количество типов оценок для элемента; q – количество экспертиз; n – количество вопросов; m – количество разделов; s – количество тем; СВОП – качество вопроса по всем экспертизам и типам оценок; СРАЗ – качество раздела по все вопросам; СТЕМ – качество темы по всем разделам; СБТ – качество БТ.
При оценке качества базы тестовых вопросов учитывается:
· Однократное прохождение экспертизы, заранее определённого эксперта. Для каждого вопроса проставлена единственная оценка по всем типам по формуле (1) при q=1.
· Многократное прохождение экспертизы, разными экспертами. Для каждого вопроса проставлен ряд оценок. Расчёт общей оценки вычисляется по формуле (1).
· Многократное прохождение экспертизы, одним экспертом. Для каждого вопроса проставлен ряд оценок. Расчёт общей оценки ведётся по формуле (1).
Расчёт качества раздела ведётся по формуле (2), темы – по формуле (3), БТ – по формуле (4).
Компетентность эксперта и полнота раздела, темы и БТ выражается как оценка числом от 0 до 100. Наибольшая осведомлённость по вопросу и максимальная полнота определяется числом 100, которое стоит по умолчанию для каждого элемента.
Для принятия решения по накопленной информации производится сравнение качественных оценок вопросов с интервалом (например: 70-90), заданным в настройках КЭП, при котором элемент будет удовлетворять определённому качеству. Полнота раздела характеризует максимальный охват материала, выраженный в тестовых вопросах. Необходимая полнота задается в настройках интервалом. По окончанию проведения экспертизы можно вывести все элементы, не вошедшие в заданный интервал, а значит не удовлетворяющие требуемому качеству. При выводе имеется возможность учитывать рейтинг экспертов, чьи выставленные качества будут участвовать в обработке для достижения необходимого результата. Экспертов, у которых рейтинг недостаточно высок, можно игнорировать.
7. Технология проведения экспертных оценок. При необходимости проверки качества базы тестовых вопросов назначается эксперт в тестируемой области, который свободно владеет информацией и легко разбирается в тонкостях. Первоначальным шагом проведения анализа является запуск управляющего компонента системы ТОС-2, который служит для подготовки и настройки базы тестов, а также включает в себя КЭП. При вызове экспертной поддержки происходит автоматическое создание базы экспертных оценок с именем аналогичным базе вопросов и расширением *.bem в той же директории. Далее назначенному эксперту предлагается ввести своё имя, после чего ему присваивается уникальный идентификатор и порядковый номер, соответствующей ему экспертизы. В дальнейшем при повторном проведении анализа этим же экспертом при вводе имени, ему не назначается новый идентификатор, а увеличивается счётчик экспертиз. Данные об эксперте хранятся в базе оценок в табличной форме. После идентификации эксперта начинается процесс экспертизы следующих элементов: первыми анализируются вопросы с вариантами ответов, далее разделы, темы и непосредственно сама база тестов. По заданным типам утверждённых оценок эксперту предоставляется возможность оценить элементы качеством в интервале от 0 до 100. Где 100 – максимальное соответствие данному типу оценки.
Рис. 6. Структура используемых оценок.
В появившемся окне процесса экспертизы вопроса размещены: полная формулировка вопроса с вариантами ответов, типы оценок с их характеристиками, поля для выбора чисел, соответствующих оценкам, поле для выбора уровня компетентности эксперта в данном вопросе и места для ввода комментариев по всем видам оценок. Эксперт проставляет все качества, заполняет необходимые комментарии данного вопроса и переходит к следующему.
Во время анализа эксперт может возвращаться к предыдущим вопросам и вносить изменения. При необходимости он может прервать экспертизу и продолжить в другое время через сохранение информации во временном файле. После того как экспертиза всех вопросов проведена формируется окно анализа раздела с автоматически полученным качеством по формуле (2) и областью для ввода значения полноты. Полнота характеризует достаточность охваченной информации в тестовых вопросах по данному разделу. Далее идёт оценка темы и БТ по подобному алгоритму.
Разработанный проект с некоторыми элементами реализации позволяет делать выводы об эффективности такого подхода экспертной поддержки и поднятия уровня качества БД тестовых вопросов, что может стать существенной пользой в дистанционном обучении и проверке глубины знаний не только учащихся, но и рабочего персонала. На основе разработанной пилотной версии экспертной поддержки, выработаны требования к созданию КЭП. Будет включена возможность адаптации системы к пожеланиям эксперта. По накопленной информации о типах оценок можно будет убрать ненужные типы, которые вызывают у эксперта либо недоверие, либо избыточность вводимой информации.
ЛИТЕРАТУРА
1. Принципы построения тестирующей и обучающей системы ТОС-2 // Труды XII Байкальской Всероссийской конф. «Информационные и математические технологии в науке и управлении». Часть III. – Иркутск: ИСЭМ СО РАН, 2007. С. 211–215.
2. , Разработка компьютерных и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. – 616 с
3. Брунинг А, . Экспертные системы. Принципы работы и примеры. Под ред. - М. Радио и связь, 1987. – 452 с.
