Система генерации компьютерных тестов
на основе методов формальных грамматик и
извлечения знаний из текстов на естественном языке
, научный руководитель, д-р техн. наук, профессор
Вологодский государственный технический университет
г. Вологда
Данная работа посвящена такой проблеме, как композиция тестов в свете автоматизации образования. В образовательных учреждениях России все больше распространяются электронные средства обучения, в которых автоматизируются процессы выдачи дидактических материалов и осуществления контроля знаний посредством тестирования, однако не уделяется должного внимания процессу составления тестовых заданий.
В частности, особую популярность в последнее время приобрела свободно распространяемая система дистанционного обучения (СДО) Moodle. Как и большинство аналогичных решений, данная система обеспечивает все необходимые возможности для проведения тестов и последующего анализа результатов. Однако тестовые вопросы и варианты ответов создаются вручную, т. е. процесс композиции тестовых заданий практически полностью осуществляется человеком, а система лишь незначительно облегчает этот процесс за счет развитых средств редактирования. Таким образом, актуальной представляется идея автоматизированной генерации компьютерных тестов.
Целью настоящей работы является разработка программной системы, позволяющей создавать тестовые задания в автоматизированном режиме. На преподавателя в системе возлагаются только функции отбора, коррекции и редактирования вопросов, генерируемых компьютером. Результаты работы переносятся в СДО Moodle, где они впоследствии используются в качестве тестовых заданий заранее созданного курса. Создавать тесты можно двумя методами, которые основаны соответственно на генерации текста по заданным правилам и извлечении знаний из существующих текстов.
Первый используемый метод разработки тестов — метод формальных грамматик [1]. Данный метод позволяет формировать структуру и лингвистическое содержание конкретных тестов с помощью формальных грамматик. Поддерживается 3 типа грамматик по иерархии Хомского: неограниченные грамматики (возможны любые правила); контекстно-зависимые грамматики (левая часть может содержать один нетерминал, окруженный «контекстом»); контекстно-свободные грамматики (левая часть состоит из одного нетерминала).
Посредством формальных грамматик специалист описывает структуры вопросов и ответов. Грамматики можно комбинировать (присоединять последовательно, вкладывать друг в друга) для формирования разнообразных заданий.
В описанном виде метод реализован в программном продукте «ИИПС», который разрабатывается в ВоГТУ с 2001 г. и является исходным материалом для разработки рассматриваемой системы.
Второй метод разработки тестов основан на извлечении знаний из текстов на естественном языке. В качестве таких текстов можно использовать учебные пособия. На основе утвердительных предложений, присутствующих в тексте, автоматически составляются вопросы, которые затем отбираются, корректируются и редактируются преподавателем [2].
Основными средствами реализации метода являются лингвистические процессоры, последовательно обрабатывающие входной текст на различных уровнях: графематический анализ (выделение слов, чисел); морфологический анализ (морфологическая интерпретация слов); синтаксический анализ (построение дерева зависимостей предложения); семантический анализ (построение семантического графа текста).
В системе выполняется обработка текста до синтаксического уровня с возможностью задания типа генерируемых вопросов: поиск сокращений и чисел; вопросы к подлежащим и определениям; генерация на основе определений терминов; генерация из конструкций «если …, то …». Поскольку система обрабатывает текст только до уровня синтаксиса, не все генерируемые системой вопросы оказываются релевантными в данной предметной области, что возлагает на преподавателя довольно трудоемкую задачу отбора вопросов. Тем не менее, полезность системы очевидна: преподавателю не требуется самостоятельно вычитывать текст с целью поиска подходящих для составления вопросов предложений. Ранее эта идея была воплощена в продукте «УАСТЗ» (ВоГТУ, 2003).
Представленная система реализуется в виде Windows-приложения. В качестве основного средства разработки применяется интегрированная среда
Borland Delphi 7.0. Для анализа учебных пособий активно используются библиотеки автоматической обработки текста RML, свободно доступные на веб-сайте http://www. *****/. Экспорт готовых тестов в СДО Moodle осуществляется посредством файлов в форматах GIFT и XML.
Применяемые методы существенно облегчат работу преподавателя при составлении тестов и позволят создавать достаточно разнообразные задания. Совместное применение системы с СДО Moodle позволит использовать разрабатываемые материалы для удаленного тестирования.
Литература
1. Сергушичева, А. П. Гибридный подход к синтезу тестовых заданий в тестирующих системах / А. П. Сергушичева, А. Н. Швецов // Математика, Компьютер, Образование: Сборник научных трудов. Выпуск 13. Том 1 / Под ред.
Г. Ю. Ризниченко. — Москва—Ижевск, R&C Dynamics, 2006. — с. 215—228.
2. Система автоматизированного извлечения знаний из текстов на естественном языке / А. Нечипоренко // Труды международной научно-технической конференции «Информационные системы и технологии — 2003». — Новосибирск: НГТУ, 2003. — с. 25—32.
