Методические рекомендации по разработке оценочных средств в соответствии с требованиями ФГОС ВО (стр. 18 )

Таблица 6.2.2

Шаги по разработке теста и сообщению его результатов

Номер шага	Описание
1	Установите и разъясните цель разработки теста
2	Установите перечень разделов содержательной области (дисциплин) и компетенции, которые будут проверены в тесте
3	Выберите число уровней освоения компетенций и обозначьте их. Разработайте в соответствии с этими уровнями паспорта компетенций, заложенных в образовательных стандартах
4	Выберите форму заданий и разработайте спецификацию теста, определите его длину и планируемых участников работ.
5	Разработайте задания и оценочные рубрики к ним
6	Проведите экспертизу и коррекцию заданий (редактирование формулировок, оценка соответствия спецификации, оценка дифференцирующей способности рубрик и т. д.)
7	Сформируйте представительную выборку испытуемых. Проведите апробацию заданий и рубрик
8	Проведите обработку и анализ результатов апробации заданий.
9	Проведите коррекцию заданий. Сформируйте банк заданий
10	Соберите варианты теста согласно спецификации
11	Предъявите испытуемым сформированные варианты теста (возможно с дополнительными или скорректированными заданиями)
12	Установите стандарты выполнения, пороговую оценку (оценки)
13	Оцените предварительно результаты выполнения заданий; проверьте оценочные ключи
14	Оцените результаты тестирования; примените стандарты, постройте шкалу
15	Сообщите оценки различным пользователям
16	Оцените тест, его характеристики качества
17	Обновите выборку заданий, пересмотрите процедуры разработки теста и т. д.: повторите Шаги 5-10, 12-16.

Хотя установление стандартов включено в таблицу на шаге 12, но предварительная подготовка к этой процедуре начинается еще на шаге 3 и на шаге 4, когда принимается решение относительно формы заданий, и даже еще раньше на шаге 1, когда формулируется цель создания теста. Возможны варианты использования методов выбора пороговых баллов без эмпирических результатов выполнения тестов до их предъявления. Тогда этап установления стандартов можно перенести на шаг 11.

6.3 Выбор метода установления стандарта

Как уже отмечалось выше не может быть единственного метода для определения пороговой оценки, поскольку для уменьшения возможности появления ложных позитивных и негативных ошибок всегда следует применять несколько методов установления стандартов для всех видов, в том числе для компетентностных тестов. Есть результаты зарубежных исследований, которые подтверждают, что выбор метода установления стандарта влияет на получающееся пороговые оценки. Тем не менее, нет никакой принятой иерархии, которая бы ранжировала методы с точки зрения их оптимальности для различных тестов.

При выборе методов для установления стандартов следует принимать во внимание связь метода:

-  с целью разработки теста;

-  с уровнем сложности знаний, умений или компетенций, оцениваемых тестом;

-  со сложностью ­конструктов, которые будут оценены;

-  с формами заданий и их рубриками;

-  с числом пороговых баллов, которые требуются;

-  с практическими аспектами, определяющимися доступными ресурсами.

Иногда желательна многоступенчатая процедура установления стандарта, требуемая методом, проводимая несколько дней и требующая многократных встреч экспертов, но она оказывается недоступной из-за значительных временных и финансовых затрат.

Метод Недельски (Nedelsky)

Хотя этот метод не так часто применяется, как многие другие методы, метод, предложенный Nedelsky (1954) для установления пороговых оценок, остается в использовании сегодня. Долговечность метода проистекает, возможно, из-за фактов того, что он в значительной степени интуитивен и легко выполним экспертами, сравнительно эффективен по времени, и что форма заданий с множественным выбором остается часто используемой во многих программах тестирования. Другое преимущество метода состоит в том, что он может быть осуществлен как с, так и без эмпирических данных выполнения экзаменующимися заданий или вариантов теста, на которых стандарты должны быть основаны. Таким образом, пороговая оценка по методу Nedelsky может быть получена как до, так и после предъявления испытуемым теста, требующего, чтобы стандарты выполнения были установлены.

Метод был создан Недельски (1954) именно в образовательном контексте, когда был предложен критериально-ориентированный метод для установления пороговых оценок. Метод Nedelsky's был одним из первых, который сместил центр внимания с относительных результатов выполнения теста на то, что Недельски назвал "абсолютными" уровнями выполнения теста.

Процедуры для метода Nedelsky

Чтобы использовать метод Nedelsky (1954), члены устанавливающей стандарт группы назначают вероятности тестовых заданий с множественным выбором, основанные на оценках правдоподобия того, что определенная, хотя воображаемая группа экзаменующихся должна быть в состоянии исключить неправильные варианты при выборе ответов к заданиям. Экзаменующиеся, используемые как референтная группа, являются гипотетическими с подготовленностью на границе между неадекватными и адекватными уровнями выполнения теста, или что иногда называют на границе между владением (мастерством) и не владением (не мастерством) в некоторой области знаний, умений или способностей.

Первая часть встречи экспертов по установлению стандарта с использованием метода Nedelsky состоит из обсуждения экспертами описания пограничного экзаменующегося. Эксперты, использующие метод Nedelsky (1954), рассматривают индивидуально каждое задание с особым вниманием к вариантам выбора ответов для каждого задания. Эксперты затем рассматривают каждое задание в тесте и идентифицируют варианты ответов, которые, как они полагают, гипотетический минимально компетентный экзаменующийся исключит из выбора как неправильные. Величина обратная числу оставшихся вариантов ответов становится для каждого задания "величиной Nedelsky". Эта величина интерпретируется как вероятность того, что пограничный обучающийся ответит на задание правильно.

Например, предположим, что эксперты оценили определенное задание с пятью ответами для выбора. Пограничные экзаменующиеся, как ожидается, исключат два из вариантов ответов как неправильные, оставляя для выбора три варианта ответов. Оценка Nedelsky для этого задания была бы 1/3 (0.33). Повторение оценочного процесса для каждого задания даст величину Nedelsky по числу заданий в тесте (ni). Сумма величин по ni заданий может непосредственно использоваться как сырой балл для пороговой оценки. Например, тест с 50 заданиями, состоящий полностью из заданий с величинами Nedelsky, равной 0.33, приведет к рекомендуемой пороговой оценке 16.5 (то есть, 50 x0.33 = 16.5). Устанавливающая стандарт процедура, возможно, не приводит к рекомендуемой пороговой оценке, которая является целым числом, поэтому часто необходимо принять политическое решение относительно того, как дробная величина должна быть округлена и преобразована.

Конечно, маловероятно, что у всех заданий в тесте величина Nedelsky будет равна 0.33. Таблица 6.2.3 приводит более реалистический пример вида данных, которые следуют из использования метода Nedelsky и как эти данные будут проанализированы для получения пороговой оценки. Таблица представляет гипотетические оценки 15 заданий, полученные 6 экспертами. В примере эксперты не были обязаны достигать согласия относительно величин Nedelsky для каждого задания; поэтому среднее всех их суждений используется как заключительная оценка для каждого задания. Сумма этих 15 оценок, 6.89, или приблизительно 7 правильных заданий будут рекомендуемым проходным баллом в тесте из 15 заданий. Это число заданий, на которые пограничный учащийся, как ожидается, ответит правильно.

Таблица 6.2.3

Гипотетические данные по методу Недельски
для установления порогового балла

Номер эксперта
	1	2	3	4	5	6
Номер задания	Величины Недельски	Среднее по заданию
1	0.33	0.50	0.50	0.33	0.33	0.33	0.39
2	0.50	1.00	0.50	0.25	1.00	1.00	0.71
3	0.25	0.33	0.25	0.25	0.25	0.33	0.28
4	1.00	1.00	0.50	1.00	0.50	1.00	0.83
5	0.33	0.33	0.33	0.33	0.25	0.33	0.32
6	0.25	0.33	0.25	0.25	0.25	0.33	0.28
7	0.25	0.20	0.25	0.33	0.20	0.20	0.24
8	1.00	0.33	1.00	0.50	1.00	0.50	0.72
9	0.20	0.33	0.25	0.20	0.33	0.25	0.26
10	0.50	1.00	1.00	0.50	0.50	1.00	0.75
11	0.50	0.50	0.50	1.00	0.50	0.50	0.58
12	0.50	0.33	0.33	0.50	0.33	0.33	0.39
13	0.20	0.20	0.20	0.20	0.20	0.20	020
14	0.25	0.20	0.33	0.25	0.33	0.25	0.27
15	1.00	0.50	0.50	0.50	1.00	0.50	0.67
	Сумма = 6.89

Естественно, что реализация метода Недельски возможна лишь в том случае, когда выполняются предположения о том, что отобраны квалифицированные эксперты, которым известны и понятны цели программы тестирования, которые знакомы с содержательными стандартами и имеют значительный опыт преподавания тем контингентам обучающихся, для которых предназначается тест.