И. В. СОКОВА
Научный руководитель – А. С. МИХАЙЛОВ
Московский инженерно-физический институт (государственный университет)
РАЗРАБОТКА И ИСПОЛЬЗОВАНИЕ СИСТЕМЫ АВТОМАТИЧЕСКОЙ ГЕНЕРАЦИИ ТЕСТОВ
Разработана автоматизированная система генерация тестов для контроля знаний. Рассматриваются основные требования к системе, алгоритмы и результаты использования.
Среди основных требований к системам автоматической генерации тестов можно выделить следующие: выбор темы тестирования, задание количества тестов, задание количества вопросов в одном тесте, максимальное различие тестов (по вопросам и по порядку следования ответов) и автоматический контроль сложности тестов.
Для исключения возможности попадания одного и того же вопроса несколько раз в один тест или одного и того же ответа несколько раз к одному вопросу, используется следующий алгоритм:
1. Генерация новой записи (вопроса или ответа);
2. Проверка условия того, что номер сгенерированно записи должен быть не меньше двух. Если условие выполняется, то переходим к следующему шагу, иначе выполняем п.4;
3. Проверка условия того, что сгенерированный номер записи не совпадает ни с одним номером из уже выбранных записей. Если условие выполняется, то переходим к следующему шагу, иначе возвращаемся и начинаем с п. 1;
4. Запоминаем номер сгенерированной записи.
Разработанный алгоритм формирования тестов позволяет создавать максимально разные по составу тесты. Для формирования случайного числа в нужном диапазоне, используется формула:
, где
- значение верхнего предела;
- значение нижнего предела;
- функция генерации случайного значения в интервале (0, 1).
При выборе вопросов учитываются их коэффициенты сложности так, чтобы сложность всех тестов была по возможности одинаковой.
В разработанной системе вводится шкала из трех уровней сложности вопросов: 1 – легкий, 2 – средний и 3 – трудный. Сложность каждого вопроса определяется методом экспертной оценки.
Программная реализация системы осуществлялась с применением СУБД MS Access и языка программирования Visual Basic for Application. В реализации системы, для генерации случайных значений в качестве функции , использовалась встроенная функция RND.
Система предоставляет пользовательский интерфейс для ввода вопросов и ответов, задания условий генерации тестов и ввода результатов тестирования. Предусмотрены средства статистической обработки и отображения, в том числе графического, результатов тестирования. Тесты формируются в виде обычных текстовых файлов определенной структуры и могут быть распечатаны на бумажных носителях. Процесс тестирование и проверки тестов осуществляются без использования ЭВМ, что позволяет одновременно охватывать большую аудиторию и не требует выделения машинного времени.
К настоящему времени, разработанная система активно используется в учебном процессе кафедры кибернетики МИФИ для подготовки тестов и организации контрольного тестирования по нескольким курсам. Апробация системы поводилась в течение двух последних семестров с привлечением около 150 студентов из 7 учебных групп. Возможности системы удовлетворили потребность в генерации порядка 400 различных тестов. В таблице №1 приведены усредненные временные характеристики решения тестов и проверки результатов, полученные в итоге анализа практического использования разработанной системы.
Таблица №1. Временные характеристики.
1 вопрос | 1 тест (10 вопросов) | 1 группа (20 тестов) | 1 поток | |
Тестирование | 2 мин. | 20 мин. | 25 мин. | 40 мин. |
Проверка | 8 сек. | 1 мин. 30 сек. | 30 мин. | 4 часа |
Нелинейное увеличение времени на тестирование для одного теста, одной учебной группы и учебного потока связаны с затратами времени на решение организационных вопросов, в основном на выдачу и сбор тестов.
Система предусматривает возможность расширения базы данных по темам тестирования, вопросам и ответам, что открывает возможность использования ее в рамках самых различных курсов и направлений.
