Ранжирование тестовых заданий

ранжирование тестовых заданий

C. Ю. Ржеуцкая, научный руководитель, канд. техн. наук, доцент

Институт социально-экономического развития территорий РАН г. Вологда

Целесообразность применения тестирования знаний учащихся не вызывает сомнений. В то же время, тестирование дает достоверный результат только при корректном его применении. Правильно составленный тест содержит задания возрастающей трудности.

Предлагается новый метод ранжирования тестовых заданий по степени трудности с использованием модели, построенной на основе нечеткой логики.

В процессе создания тестовых заданий необходимо выбрать модель для определения истинности ответов: бинарная, алгебраическая, нечеткая или расчетная. Наиболее распространена бинарная модель (ровно один вариант считается правильным, а остальные абсолютно неправильными). [2]

Алгебраическая модель является многозначной, обладает лучшей дифференцирующей способностью и обеспечивает большую достоверность результатов тестирования. Шкала алгебраической модели может быть как дискретной, так и непрерывной и имеет монотонный характер, что позволяет установить пропорциональную зависимость между «степенью правильности» ответа и числовой оценкой её истинности. Данную шкалу можно нормировать, тем самым сведя к универсальной шкале [0,1].

Однопараметрическая модель Раша является наиболее известной моделью современной теории создания тестов (IRT – Item Response Theory). Однако же, в большинстве случаев используют классическую модель, как более простой и понятный математический инструмент. В то же время интересно будет рассмотреть ещё одну модель позволяющую ранжировать тестовые задания, основанную на использовании нечетких множеств.

Пусть имеется множество , определить которое можно с помощью характеристической функции: где — функция принадлежности, . Функция принадлежности количественно градуирует принадлежность элементов фундаментальному множеству . Множество в таком случае называется нечетким множеством.

Результаты алгебраического тестового задания можно интерпретировать как нечеткое множество. Значениями будут результаты, а значениями функции принадлежности - доля тестируемых получивших за задание оценку . Тогда значения множества попадают в единичный интервал .

Для сравнения двух нечетких подмножеств единичного интервала введем функцию . Эта функция упорядочивает нечеткие подмножества и позволяет их сравнивать.

Пусть - нечеткое подмножество , определим уровневое подмножество как , оно является подмножеством . Пусть - подмножество . Определим среднюю величину , а функцию упорядоченности определим как , где - максимальная степень принадлежности членов множества . При этом сравнение нечетких множеств можно заменить сравнением значений функции упорядочения.

Для оценки теста и ранжирования заданий необходимо протестировать учащихся и обработать полученные результаты. Записав все результаты тестирования всех участников в таблицу, получим матрицу тестовых результатов. Рассмотрим далее метод применения модели, основанной на нечеткой логике:

1.  Удаляем из матрицы строки и столбцы, состоящие только из нулей или только из единиц.

2.  По каждому заданию строим нечеткое множество элементами которого являются результаты ответов на данный вопрос. Для каждого такого результата выписываем значения функции принадлежности.

3.  Для каждого значения функции принадлежности строим уровневые подмножества, и среднее для них [1]

4.  Высчитываем функцию упорядоченности для каждого множества , где - максимальная степень принадлежности членов множества .

Была показана возможность применения теории нечетких множеств для упорядочения тестовых заданий по результатам тестирования. Данный способ не противоречит модели Раша, но имеет некоторые преимущества перед ним. Он менее громоздкий в вычислениях, и не требует специальной математической подготовки, что дает возможность применения его людьми разных специальностей.

1.  Борисов А. Н., Крумберг О. А., Федоров  решений на основе нечетких моделей: Примеры использования. – Рига: Зинатне, 19 с.

2.  Рудинский  основы тестологии. – Калининград: Изд‑во ФГОУ ВПО «КГТУ», 2010. – 249 с.