Система компьютерного адаптивного тестирования

УДК 004.4

А. М. ГУДОВ, С. Ю. ЗАВОЗКИН, Е. В. СИДОРОВА

A. M. GUDOV, S. U. ZAVOZKIN, E. V. SIDOROVA

СИСТЕМА КОМПЬЮТЕРНОГО АДАПТИВНОГО ТЕСТИРОВАНИЯ

SYSTEM OF COMPUTER ADAPTIVE TESTING

В данной работе описывается еще один подход к оценке знаний обучающихся посредством компьютерного тестирования. Оценка предполагает использование двух стратегий: алгоритм неадаптивного (прямого) и адаптивного (выбор траектории тестирования в зависимости от ответов тестируемого) тестирования. В случае неадаптивного компьютерного тестирования расчет итоговой оценки зависит только от уровня сложности тестовых заданий, в другом случае – от уровня сложности, «веса» базового (начального) и дополнительного набора тестовых заданий, а также количества прохождений одного и того же теста. Сам тест имеет иерархическую структуру.

Ключевые слова: тестирование; адаптивный алгоритм; оценка знаний студентов; тест; тестовое задание.

This article describes one more method to assess student’s knowledge by using computer testing. There are two strategies of assessment: non-adaptive (direct) and adaptive (selection of the path of testing depends on the answers that are given) testing algorithms. In the case of non-adaptive computer testing, calculation of grade depends on complexity level of the test tasks. In the other case – calculation of grade depends on complexity, “weight” of basic (initial) and additional sets of the test tasks, and the number of passing one and the same test. The test has a hierarchical structure.

Keywords: testing; adaptive algorithm; assessment of student’s knowledge; test; test task.

На современном этапе развития образования все больше внимания уделяется внедрению эффективных форм контроля знаний. Одной из таких форм является компьютерное тестирование. Основные преимущества тестирования давно обсуждаются в специальной литературе. Однако традиционное компьютерное тестирование имеет ряд проблем, таких как:

1.  Примитивность расчета итоговой оценки, который сводится либо к определению отношения количества правильных ответов к количеству заданных вопросов, либо к суммированию баллов, назначаемых за каждый правильный ответ.

2.  Недостоверность тестирования, так как возможно быстрое изучение банка заданий.

3.  Необъективность оценки знаний ‑ тестируемым с разным уровнем подготовки задаются вопросы одного уровня сложности.

Перечисленные проблемы могут быть решены применением компьютерного тестирования на основе адаптивного алгоритма. Адаптивное тестирование – это широкий класс методик тестирования, предусматривающих изменение последовательности предъявления заданий в самом процессе тестирования с учетом ответов испытуемого на уже предъявленные задания.

С другой стороны, система прямого тестирования позволяет наиболее точно провести испытуемого через траекторию, заданную преподавателем. Компромиссным решением служит система, которая позволяет проводить контрольные испытания адаптивным и неадаптивными способами.

На рынке представлено большое количество систем тестирования, которые были проанализированы на основе следующих основных критериев: использование в качестве клиентского приложения Web – браузера; возможность проведения тестирования адаптивным и неадаптивным способами; возможность ограничения теста по времени; возможность использование иллюстраций в качестве формулировок и вариантов ответов на тестовое задание; присутствие основных типов тестовых заданий; наличие механизма анализа результатов тестирования; соответствие тестовых заданий при экспорте/импорте стандарту QTI [1]; возможность интеграции с другими системами.

В число рассмотренных систем вошли и используемые в данный момент в КемГУ системы RealTests (собственная разработка) и АСТ (приобретенная система).

Результаты анализа показали, что ни одна из рассмотренных систем полностью не соответствует предъявленным критериям. Таким образом, была поставлена задача создании принципиально новой системы тестирования на базе используемой системы RealTests, позволяющей проводить контрольные испытания у студентов двумя способами: традиционным и адаптивным [2].

При разработке алгоритма адаптивного тестирования учитывались следующие принципы:

1.  Количество заданий и уровень сложности, определяются преподавателем в зависимости от структуры плана и курса (базовый набор).

2.  Если испытуемый отвечает на задания базового набора по текущему уровню сложности – ему задаются задания повышенного уровня сложности (студент имеет возможность досрочно завершить тестирование с положительной оценкой).

3.  Если испытуемый не отвечает на вопросы заданного уровня сложности из базового набора ‑ ему задаются задания пониженного уровня сложности из базы тестовых заданий.

4.  Если студент не отвечает на дополнительные вопросы текущего уровня, то уровень понижается, и подбираются дополнительные вопросы из базы тестовых заданий этого уровня.

5.  Если студент отвечает на дополнительные вопросы заданного уровня, то уровень увеличивается, и студент может вернуться к ответу на задания из базового набора или дополнительного набора заданий.

На рисунке 1 схематично представлен алгоритм адаптивного тестирования, где использованные обозначения имеют следующий смысл: t – количество тем; L – количество уровней сложности; – количество заданий i-ой темы j-го уровня сложности; – количество заданий j-го уровня сложности; – количество заданий i-ой темы; S_j – количество заданий j-го уровня сложности, на которые студент ответил; S_j+ – количество заданий, на которое студент ответил правильно j-го уровня сложности; S_j - – количество заданий, на которое студент неправильно j-го уровня сложности; CurScore – балл студента на текущий момент; m – коэффициент сложности тестового задания; ri – правильный ответ студента на тестовое задание; - количество тестовых заданий в базовом наборе; – количество дополнительных тестовых заданий; – количество тестовых заданий, на которое необходимо дать ответ, чтобы сменить уровень сложности; – количество тестовых заданий в базовом наборе j – го уровня сложности; l – минимальный уровень сложности в рамках теста; L – максимальный уровень сложности в рамках теста; n – максимальное количество тестовых заданий допустимое в тесте определяемое преподавателем.

Перед началом процесса тестирования создается базовый набор тестовых заданий с учетом настроек преподавателя, для которого определяется значение – общее количество заданий в базовом наборе.

В процессе тестирования определяются следующие значения:

-  - процент верных ответов на тестовые задания;

-  – текущая балльная оценка знаний испытуемого при использовании адаптивного алгоритма (– штрафной коэффициент, где l – количество пересдач);

-  ‑ текущая балльная оценка знаний испытуемого при использовании неадаптивного алгоритма.

Рисунок 1. – Адаптивный алгоритм

Выбор тестового задания с другим уровнем сложности происходит в соответствии с показанным на Рисунке 2 алгоритмом.

Рисунок 2. - Изменение уровня сложности

В соответствии с требованиями к системе были разработан комплекс моделей:

1.  информационная модель;

2.  функциональные диаграммы в нотациях IDEF0 и IDEF3;

3.  ER – модель;

4.  диаграммы системного окружения и вариантов использования в нотации UML.

При моделировании учитывалось, что создаваемая система «СКАТ» должна интегрироваться с рядом подсистем, входящих в интегрированную аналитическую информационную систему ИАИС [3], внедренную в КемГУ и обеспечивающую единое информационное пространство ВУЗа.

В соответствии с построенными моделями реализована система тестирования с использованием следующих средств: СУБД ORACLE; процедурный язык PL/SQL; сервер приложений Apache Tomcat 5.4.4; пакет приложений KemSUWEB.

Внедрение системы позволит достичь новых результатов при оценке знаний обучающихся:

повышение объективности оценки знаний;

реализация гибкой траектории испытания в зависимости от градации уровней сложности тестовых заданий;

простота использования системы за счет использования стандартного web-браузера;

мобильность преподавателя и испытуемого;

обмен тестовыми заданиями между различными системами, поддерживающими стандарт QTI.

СПИСОК ЛИТЕРАТУРЫ

1.  Спецификация IMS Question & Test Interoperability. - Vol. 1.2 [Электронный ресурс]/ IMS Global Learning Consortium, Inc.// http://www. imsglobal. org/question/. – 2001 – 2012

2.  Ростовцев, компьютерного контроля успеваемости студентов [Текст] / , // Материалы региональной научно-практической конференции "Информационные недра Кузбасса". КемГУ, Кемерово: изд."Фирма Полиграф", 2001, ч.2, с.194-198.

3.  Афанасьев, аналитическая информационная система управления университетом: основные элементы [Текст] / , , . – Кемерово: издательство , 2009.

ФГБОУ ВПО «Кемеровский государственный университет», г. Кемерово

К. ф.-м. н., доцент кафедры ЮНЕСКО по НИТ

E-mail: *****@***ru

ФГБОУ ВПО «Кемеровский государственный университет», г. Кемерово

К. т. н., доцент кафедры ЮНЕСКО по НИТ

E-mail: *****@***ru

ФГБОУ ВПО «Кемеровский государственный университет», г. Кемерово

Студентка кафедры ЮНЕСКО по НИТ ФГБОУ ВПО КГУ

Тел.: +

E-mail: *****@***ru