МЕТОДИКА ТЕСТИРОВАНИЯ "RSDN BENCH"
Данный документ содержит методику тестирования "RSDN Bench":
· Правила составления тестов;
· Правила прохождения тестов;
· Модель тестирования "RSDN Bench";
· etc.
ПРАВИЛА СОСТАВЛЕНИЯ ТЕСТОВ
I ЭТАП
1. Определение целей тестирования
1.1. Команда "RSDN Bench" выбирает область знаний для тестирования; из данной области знаний вычленяется некоторое узкое подмножество – дисциплина тестирования.
1.2. Команда "RSDN Bench" определяет цели теста. Необходимо определить:
1.2.1. Какие конкретно знания и навыки будут проверяться с помощью данного теста?
1.2.2. Какие результаты будут оцениваться с помощью данного теста?
1.2.3. На основе, каких ключевых направлений в содержании тестируемой дисциплины будут оцениваться знания тестируемых?
1.3. Обсуждается и утверждается название теста. Название теста должно быть достаточно кратким, но емким и содержательным, отражающим цели тестирования и основное содержание тестируемой дисциплины.
2. Определяется и подробно описывается структура тестируемой дисциплины.
С точки зрения логико-семантического подхода содержание дисциплины разбивается на темы, при этом следует учесть:
- последовательность изучения тем; семантическую зависимость (вложенность) тем; объем (изучаемого) материала – объем темы; существование подтем; важность каждой темы (и подтемы) в тестируемой дисциплине.
Можно условно выделить две модели последовательности изучения тем:
- Модель 1. Последовательная.
Специфика:. Строго последовательное изучение тем в заданном порядке (Т1 –> Т2 –> Т3 –> Т4), т. е. для успешного освоения последующей темы необходимы знания предыдущей темы. Модель 2. Последовательно-параллельная.
Специфика. Для ряда тем (Т2, Т3) не важен порядок изучения, т. е. можно изучать дисциплину в последовательности изучения Т1 –> Т2 –> Т3 –> Т4; либо в последовательности Т1 –> Т3 –> Т2 –> Т4.
Порядок изучения тем влияет на составление рекомендаций о дальнейшей самостоятельной подготовке, выдаваемых тестируемому после прохождения теста; и может влиять на последовательность заданий в тесте.
Семантическая зависимость тем необходима для определения важности каждой темы:
Пусть n – количество изучаемых тем.
k1, k2, … kn-1 — коэффициенты зависимости текущей темы Ti от предыдущих (i-1) тем. Коэффициент ki принимает значения от 0 до 1.
Коэффициент важности каждой темы определяется по формуле:
,
где mi – важность i-ой темы относительно всех тем дисциплины.
В зависимости от важности темы принимается решение о количестве заданий по данной теме в тесте
3. Составляется план теста.
3.1. Определяется общее количество заданий в тесте;
3.2. Составляется план теста;
3.3. На основании описания структуры тестируемой дисциплины определяется соотношение количества заданий по каждой пункту плана.
4. Составляется перечень литературы и других источников информации (периодические издания, Интернет, обучающие программы и пр.) рекомендуемых для подготовки к данному тесту.
5. Разрабатывается спецификация теста. Спецификация содержит следующую информацию:
5.1. Название теста;
5.2. Цель создания теста;
5.3. Описание сферы применения (кому и для чего предназначен данный тест);
5.4. Описание структуры теста - план;
5.5. Общее количество заданий в тесте (указывается количество заданий стандартной сложности);
5.6. Время на выполнение теста;
5.7. Соотношение количества заданий по пунктам плана;
5.8. Проходной балл;
5.9. Перечень источников информации для подготовки к данному тесту.
II ЭТАП: Составление тестовых заданий
На основании спецификации теста формируется банк тестовых заданий. Банк тестовых заданий должен содержать, как минимум в 1.5 раза больше заданий, чем предусмотрено спецификацией данного теста.
Содержание каждого тестового задания должно соответствовать целям и спецификации тестирования.
Для каждого теста составляется банк тестовых заданий. Тестовые задания составляются в соответствии со спецификацией теста. Тестовые задания не соответствующие спецификации в банк заданий не включаются.
Тестовое задание должно оценивать (соответствовать) минимум один пункт плана теста; тестовое задание может охватывать нескольким пунктов плана.
Авторы присылают составленные ими тестовые задания на рассмотрение команды "RSDN Bench". Окончательное решение о включении задания в банк тестовых заданий принимает команда "RSDN Bench".
1. Авторы тестовых заданий представляют задания на рассмотрение команде "RSDN Bench"
2. Команда "RSDN Bench" обсуждает содержание тестового задания. В результате обсуждения тестовое задание может быть:
2.1. утверждено и добавлено в банк тестовых заданий;
2.2. скорректировано и добавлено в банк тестовых заданий;
2.3. отклонено и направлено на доработку;
2.4. отклонено.
3. Команда "RSDN Bench" обсуждает коэффициент сложности, присвоенный автором тестовому заданию, и либо меняет коэффициент, либо оставляет без изменений (только для утвержденных заданий).
Требования к тестовым заданиям:
В тестах "RSDN Bench" применяются тестовые задания только закрытой формы, они могут представлять собой:
1. Дихотомические (с альтернативным выбором) тестовые задания;
2. Политомические (с множественным выбором) тестовые задания с известным количеством правильных ответов;
3. Политомические (с множественным выбором) тестовые задания с не известным количеством правильных ответов.
Тестовое задание состоит из:
1. Основная часть - содержание задания. Содержание задания формулируется как можно яснее и как можно короче. Может содержать графическое изображение.
2. Ответы к заданиям. Они должны быть короткими и содержательными. В качестве ответа может использоваться графическое изображение.
3. Краткая инструкция (зависит от типа задания: "Выберите правильный вариант ответа"; "Выберите все правильные варианты ответа"; "Выберите определенное количество правильных вариантов ответа").
Содержание тестовых заданий:
Запрещается "плагиат" при составлении тестовые задания (литература, другие тестовые организации и пр.)
Требования к содержанию тестовых заданий "RSDN Bench" соответствуют общепринятым требованиям к тестам в тестологии. (см. документ "Обзор теоретических аспектов тестирования" - http://www. *****/File/640/Теория_тестирования. DOC).
Оформление присылаемых заданий:
Автор должен указывать следующие атрибуты тестовых заданий:
- Автор тестового задания; Тест, для которого предназначено задание; К какому пункту из плана теста относится задание; Коэффициент сложности; Тип задания (дихотомическое; политомическое с известным количеством правильных ответов; политомическое с не известным количеством правильных ответов); Графическое изображение к заданию; Количество ответов – всего; Количество правильных ответов; Ответы на задание. Каждый ответ состоит из:
· текст ответа;
· графическое изображение к ответу;
· признак "правильный" / "не правильный";
- Источник информации для подготовки к данному тестовому заданию; Тип задания по виду проверки: К проверке чего относится задание? Теоретических знаний или практических навыков?
III ЭТАП /*скоро будет*/
1. Апробация теста (тестирование теста)
ПРОХОЖДЕНИЕ ТЕСТА.
1. Персональный тест формируется для каждого конкретного пользователя в процессе процедуры "Заказ теста".
2. Набор тестовых заданий, составляющих тест, и порядок их следования формируются случайным образом, но в соответствии со спецификацией теста и моделью тестирования "RSDN Bench".
3. Порядок ответов в тестовом задании предоставляется в случайном порядке.
4. Каждый тест имеет определенное время, отводимое на тестирование. При истечении отведенного времени тестирование прерывается. Не пройденные и не отвеченные тестовые задания считаются выполненными не верно.
5. Тест начинается по инициативе пользователя. В начале тестирования пользователю предоставляется инструкция по прохождению теста (по работе с тестовой системой).
6. В соответствии с моделью тестирования "RSDN Bench" обрабатываются ответы пользователя на тестовые задания. Формируется итоговый бал. Итоговый бал сравнивается с проходным балом для данного теста.
7. Для пользователя формируется транскрипт с результатами теста.
8. Приблизительная экранная форма тестового задания представлена на рисунке 1.
МОДЕЛЬ ТЕСТИРОВАНИЯ "RSDN BENCH"
Модель тестирования определяет порядок предъявления заданий тестируемому и метод определения его уровня знаний по результатам тестирования.
Имеется спецификация теста, состоящая из i-пунктов, описывающих структуру теста (темы, подтемы).
В тесте, согласно спецификации, должно присутствовать ki заданий стандартного уровня сложности для каждого i-го пункта спецификации.
Имеется g уровней сложности задания (g=1,2,…,g). Стандартный уровень сложности задания равен 1.
Для каждого теста имеется банк тестовых заданий. Каждое тестовое задание в банке соответствует одному из i-пункту структуры теста. Каждое тестовое задание в банке имеет свой уровень сложности.
В процессе формирования теста из банка тестовых заданий для каждого i-го пункта структуры теста случайным образом выбираются задания в количестве x, таким образом, чтоб сумма их коэффициентов сложности равнялась значению ki.
Таким образом, сформированные тесты будут иметь одну суммарную степень сложности для всех испытуемых (но могут иметь разное количество заданий).
Каждое тестовое задание оценивается по формуле:
mn = gn * xRightn * (1 – xNoRightn / CountNoRightn) / CountRightn
где:
где xRight – количество правильных вариантов ответа, выбранных пользователем;
xNoRight – количество неправильных вариантов ответа, выбранных пользователем;
CountRight – количество правильных вариантов ответа;
CountNoRight – количество неправильных вариантов ответа;
g – уровень сложность задания.
Итоговый бал рассчитывается по формуле:
где X – общее количество вопросов в текущем варианте теста.
Рисунок 1
