К ВОПРОСУ ОБ ЭФФЕКТИВНОМ АНАЛИЗЕ ФАКТОРОВ при

обучающем КОМПЬЮТЕРНОм ТЕСТИРОВАНИи

,

Хакасский технический институт – филиал Красноярского государственного технического университета, г. Абакан, e-mail: *****@***ru

Оценка результатов тестирования – одно из актуальных направлений современной теории тестов. Применение компьютерного тестирования существенно упростило процесс массового контроля знаний тестируемых, хотя вопрос адекватного оценивания результатов широко обсуждается и по сей день.

Приходится констатировать факт, что обычно на практике применяются программные пакеты компьютерного тестирования (КТ), обладающие минимальной оценочной способностью: это либо подсчёт числа правильно выполненных тестовых заданий (ТЗ), либо их отображение в 100-бальную или пятибалльную шкалы. Для эффективного контроля знаний, а также развивающегося обучающего тестирования, требуются механизмы, максимально уточняющие результат выполнения теста.

Сегодня интенсивно применяются различные приёмы повышения достоверности оценки пройденного КТ. Это обычно механизмы коллективной (усреднённой) оценки, поправки на угадывание верных ответов, отображение в оценочные шкалы, экзотические приёмы учёта сложности теста и пр. [1]. Если для режима «аттестации» системы КТ дают приемлемую надёжность, то для нужд обучающего тестирования этого явно недостаточно.

Другой интересной особенностью существующих систем КТ является то, что они ориентированы на изолированное «оценивание» результата – итоговой суммы баллов. При этом упускаются следующие важные этапы КТ:

НЕ нашли? Не то? Что вы ищете?

1.  формирование тестовой выборки (ТВ, набор предъявляемых вопросов) из банка тестовых заданий (БТЗ);

2.  получение ответов на ТЗ (сам процесс выполнения теста);

3.  анализ динамики успеваемости при выведении оценки.

Очевидно, что для построения эффективного программного обеспечения для целей обучающего тестирования требуется более глубокое изучение структуры «ошибок», влияющих на результат прохождения КТ.

Если исходить из того, что обучающее тестирование базируется на стратегии случайно формирующихся ТВ и закрытых по форме ТЗ, то многократное тестирование в различных режимах даст богатый материал для анализа ситуации теста. Тогда все факторы можно разделить на три основные категории: формализуемые, частично формализуемые и плохо предсказуемые. В таблице представлена информация о том, как некоторые факторы распределены по отмеченным ранее этапам КТ.

При внимательном рассмотрении таблицы можно заметить, что некоторые факторы говорят не столько о знаниях, сколько о процессе тестирования. В частности, из них можно выделить такие, от значения которых зависит целесообразность всего процесса оценки. Это такие крайние случаи, где можно с высокой степенью уверенности говорить о случайности результата: чрезвычайно малое время прохождения теста (стратегия «прощёлкивания»), факты принудительного прерывания тестирования, случайный выбор ответов (недостижение математического ожидания). В таких ситуациях стандартные программы КТ выставляют оценки, всерьёз анализируя полученные результаты. Поэтому следует учесть такие ситуации на уровне логики работы программы КТ, не полагаясь на внешний контроль со стороны учителя. Этого можно достичь посредством анализа совокупности всех факторов, собранных при тестировании, либо заданных априори. Например, при норме прохождения теста в 20 минут систему должен «заинтересовать» результат, полученный уже через 4 минуты. В сочетании с распределениями неверно отмеченных и пропущенных ответов ТЗ это даст дополнительную информацию о процессе тестирования, позволяющую скорректировать итоговый балл, либо отказать тестируемому в выставлении оценки.

Данный подход просто реализуется в продукционных экспертных системах и позволяет учитывать совокупность статистических, эмпирических и теоретических показателей, уточняя оценку и адаптируя работу системы КТ для нужд обучения [2]. Для приведения разнородных данных к единому формату можно воспользоваться механизмами усреднения, экспертных оценок, нечёткой логики. Всё это нормирует входные данные, делая их пригодными для дальнейшего логического анализа либо для обработки статистическими методами.

Таблица. Некоторые факторы, влияющие на оценку обучающего тестирования

№

Фактор

Степень формализации

Источник

№ этапа

1

Случайность ТВ

Высокая

БТЗ, алгоритм адаптации

1

2

Время тестирования

Высокая

Программа КТ

1

3

Адекватность программных ограничений

Высокая

Программа КТ, БТЗ

1, 3

4

Наличие тренировок

Высокая

Поведение тестируемого

1, 3

5

Вероятность угадывания

Высокая

Программа КТ

2, 3

6

Распределение верных / неверных / пропущенных ответов

Высокая

Поведение тестируемого

1, 3

7

Цель тестирования (классификация, отсеивание, обучение и т. д.)

Высокая

Программа КТ

1, 3

8

Режим тестирования (тренировка/контроль)

Высокая

Программа КТ, поведение тестируемого

2, 3

9

Сложность теста

Средняя

БТЗ

1

10

Степень адаптации и/или коррекции результатов

Средняя

Программа КТ, поведение тестируемого

1, 2, 3

11

Динамика обучения

Средняя

Программа КТ, успеваемость тестируемого при предыдущих тестированиях

1, 3

12

Знания тестируемого, умения и кругозор

Средняя

Поведение тестируемого, программа КТ

2, 3

13

Качество ТЗ

Низкая

БТЗ

1

14

Внешние воздействия на тестируемого

Низкая

Поведение тестируемого

-

15

Готовность обучаемого

Низкая

Поведение тестируемого

2, 3

16

Физическое состояние обучаемого

Низкая

Поведение тестируемого

-

Очевидно, что для качественного оценивания и адаптации при обучении требуется учитывать все три этапа единовременно. При этом первостепенное значение имеет традиционный балл, полученный в ходе тестирования. Если у системы КТ нет подозрений на некорректное прохождение теста, то запускается механизм оценивания, состоящий из этапов подсчёта балла, его корректировки и перевода в нормативную оценочную шкалу.

Подсчёт балла рационально представить в виде суммы успешно отвеченных вопросов, которая переводится в процентную шкалу. Это делается для унификации механизмов дальнейшей оценки и перевода в различные оценочные шкалы.

Для дальнейшей формализации, предшествующей этапу разработки такой систем тестирования, требуется выяснить следующий вопрос: как будет осуществляться поправка (корректировка) оценки? Выделим две составляющие такой оценки: сам балл (), полученный непосредственно в ходе тестирования, и поправочный коэффициент (), отражающий степень вмешательства системы в результат. Тогда итоговый балл () будет получен так: . Коэффициент поправки будет управлять значением оценки в зависимости от результата работы механизмов уточнения. При этом значение определяется из базы знаний, содержащей экспертную информацию как о параметрах тестирования, так и о текущих и предшествующих успехах обучаемого.

Как только значение получено окончательно, система переводит его в ту нормативную оценочную шкалу, в которой требуется предоставить результат. Следует отметить, что переход от балла к оценке также является нетривиальным процессом. Мало иметь градации той или иной оценки, нужно учитывать такой фактор, как угадывание. Дело в том, что любой тест закрытой формы состоит из множества ТЗ, каждое из которых характеризуется вероятностью случайного выбора верного ответа. Для всего теста эта вероятность подчиняется биномиальному распределению, что позволяет заранее оценить начальный интервал шкалы, который будет отнесён к оценке «неудовлетворительно» [3]. Для оставшегося диапазона будет действовать механизм усреднённых экспертных мнений. Данный подход позволяет повысить степень достоверности оценки, снижая влияние случайных и личностных (со стороны учителя) факторов.

Рассматривая факторы, влияющие на работу системы КТ, уделим внимание процессу адаптации. Для обучающего тестирования это ключевой момент, от которого зависит успешность применения тестирования в учебном процессе. Кратко идею адаптации можно сформулировать так: система КТ в обучающем режиме должна адаптировать ТВ к индивидуальным особенностям ученика посредством усиления тех частей изучаемого курса, которые он освоил хуже всего. Под индивидуальными особенностями в контексте личностно-ориентированного подхода в образовании следует понимать такие факторы, как способности к освоению изучаемой дисциплины (знания тестируемого, умения и кругозор), индивидуальный темп освоения материала, принадлежность изучаемой дисциплины к профильным / общеобразовательным предметам, особенности специальности и пр. Всё это позволяет поднять проблему автоматического учёта метаданных о тестируемом, которыми должна обладать система КТ априори.

Из всего вышесказанного можно сделать вывод: для повышения адекватности оценки результатов тестирования необходимо системно подойти к проблеме учёта факторов, влияющих на процесс тестирования. В качестве возможного решения можно предложить разработку модели, содержащей информацию о самой дисциплине, структуре электронного учебного курса, особенностях обучающих тестов и о конечной группе обучаемых. Данный подход рассматривается нами при реализации системы обучающего адаптивного компьютерного тестирования СиТест, что позволяет значительно повысить её адаптивность и адекватность оценивания.

Список литературы

1.  Половко, технологии оценки знаний методами тестирования / // Информационные технологии, №8. 2004. - С. 46-51.

2.  Углев, адаптивное тестирование с применением экспертных систем / // Материалы Всероссийской научно-практической конференции «Информационные технологии в образовании и науке». - М.: МФА, 2006. В 3 ч. Ч. 3. - С.

3.  Углев, возможностей случайных тестовых выборок / , // Вестник Хакасского технического института - филиала КГТУ, №21. Абакан, 2006. - C. 260 – 269.

Фамилия: Углев

Имя: Виктор

Отчество: Александрович

Организация и подразделение: Хакасский технический институт - филиал Красноярского государственного технического университета (Республика Хакасия, г. Абакан). Вычислительный центр, кафедра прикладной информатики.

ИНН (личный):

Должность: Программист

Ученая степень, звание: аспирант

Почтовый адрес: 662606 Красноярский край, , кв. 5

Телефон: нет

E-mail: *****@***ru

Прибытие на конференцию: нет

Потребность в гостинице: нет, т. е. участие заочное:)

Секция: D

Назавние статьи: К ВОПРОСУ ОБ ЭФФЕКТИВНОМ АНАЛИЗЕ ФАКТОРОВ ПРИ ОБУЧАЮЩЕМ КОМПЬЮТЕРНОМ ТЕСТИРОВАНИИ