Методические рекомендации по разработке оценочных средств в соответствии с требованиями ФГОС ВО (стр. 11 )

Необходимо также попросить эксперта охарактеризовать качество формулировок содержательной основы заданий теста. Отметить, в случае необходимости, лексическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий. При экспертизе следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепри­нятой в учебном предмете терминологии и символики предмета. Введение многочисленных контекстных факторов и дополнительных условий характерно для кейс-измерителей, где возможно получение нескольких решений, правильных, соперничающих не по степени истинности, а по уровню оптимальности для выбранных обучающимся факторов влияния и условий существования предлагаемых им решений. Подобная ситуация недопустима для заданий теста, даже в том случае, если оно носит явно выраженный компетентностный характер и требует конструирования развернутого ответа. Правильный оптимальный ответ к тестовому заданию должен быть единственным, в том числе в тех случаях, когда от обучающегося по инструкции к заданию требуется выбрать или получить наиболее правильный ответ.

Второе направление работы эксперта связано с анализом качества содержания всего теста. При выполнении работ по второму направлению следует оценить полноту охвата требований ФГОС в тесте, правильность пропорций содержания теста и их соответствия спецификации теста. Зачастую при разработке теста возможно смещение пропор­ций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать за­дания на выявление фактологических знаний, и потому эти задания нередко преобладают в отдельных тестах.

Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт приводит свое общее впечатление о содержании теста. Здесь должны быть высказаны все сомнения и пожелания эксперта, его рекомендации по улучшению содержания. Соображения по поводу структуры теста и расположения в нем субтестов, если они есть. Возможна оценка оптимальности стратегии расположения заданий либо соотношения заданий, проверяющих знания и умения и компетенции. Желательно выявить задания, предназначенные для проверки системы понятий, а также задания междисциплинарного характера, предназначенные для проверки надпредметных умений, поскольку эти задания всегда вызывают проблемы при оценке числа измеряемых ими переменных и нуждаются в дополнительном углубленном анализе со стороны автора теста.

Экспертиза качества содержания теста и оценочных рубрик, несомненно, довольно субъективна, несмотря на все усилия руководителей экспертиз получить независимые суждения как можно большего числа экспертов и устраивать их встречи по обсуждению своих позиций. Поэтому экспертиза является только первым шагом в работе по совершенствованию содержания аттестационного теста. Однако этот первый шаг необходим, поскольку опыт многочисленных служб тестирования в образовании говорит о том, что статистические оценка качества содержания теста, полученные в результате обработки данных его апробации, всегда показывают лучшие характеристики, если предварительно прошла экспертиза качества содержания теста.

В целом, экспертиза качества содержания аттестационного теста существенно способствует повышению его содержательной и конструктной валидности. В связи с этим, ей придают большое значение в работе служб тестирования в образовании и тратят значительные средства на обучение экспертов. Лучше всего, когда эксперты хорошо знают контингент обучающихся, для которых предназначается тест. Поэтому экспертов нередко выбирают из числа преподавателей, не принимавших участие в работе над тестом.

5.ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ

5.1. Общие требования к заданиям и классификация форм

По наиболее часто встречающейся в отечественной и зарубежной литературе классификации тестовых заданий выделяют:

-  задания с выбором, в которых обучающиеся выбирают правильный ответ из данного на­бора ответов;

-  задания с конструируемым ответом (кратким регламентированным или развернутым в произвольной форме), требующие при выполнении от обучающегося самостоятельного получения ответов;

-  задания на установление соответствия, выполнение которых связано с выявлением соответ­ствия между элементами двух множеств;

-  задания на установление правильной последовательности, в которых от обучающегося требуется указать порядок элементов, действий или процессов, перечисленных в условии.

Предложенные четыре формы тестовых заданий являются традиционными, но в наши они претерпевают многочисленные изменения, связанные с сочетанием отдельных элементов основных форм. Однако детальное обсуждение инноваций в формах заданий не входит в цели написания данного пособия, поэтому все обсуждение будет вестись вокруг четырех классических форм.

Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:

-  каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

-  каждое задание имеет метку, которая присваивается заданию в момент его создания и остается неизменной при любой коррекции теста;

-  каждое задание имеет эталон правильного ответа, в том числе задания с развернутым конструируемым ответом;

-  в задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

-  для заданий разрабатывается стандар­тная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

-  для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизированными процедурами подсчета сырых (первичных) баллов по тесту.

-  Процесс тестовых измерений предельно стандартизируется, если:

-  ни одному обучающемуся не дается никаких преимуществ перед другими;

-  заранее разработанная система подсчета баллов применяется ко всем ответам обучающихся без исключения;

-  в тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем на основе регрессионного анализа;

-  тестирование различных групп испытуемых проводится в одинаковое время, в сходных условиях;

-  группа тестируемых выровнена по мотивации;

-  все испытуемые выполняют одни и те же задания.

Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать 5- 7 параллельных по содержанию и трудности вариантов одного теста, которые основаны на одной и той же спецификации теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого содержания, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они благодаря высокой технологичности и автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, что способствует росту надежности и содержательной валидности результатов педагогических измерений.

В условиях введения компетентностного подхода было бы неправильно сосредоточить все усилия на разработке заданий с конструируемым ответом в развернутой форме, требующие при выполнении от обучающегося самостоятельного получения ответов. Несмотря на инновационные приоритеты в трактовке качества образования и формулировки требований к результатам обучения в виде совокупности компетенций во ФГОС, знания и умения по-прежнему присутствуют в целях обучения, поскольку они являются результатами текущего учебного процесса и закладывают фундамент для формирования компетенций. В связи с этим, при разработке измерителей есть смысл использовать все формы тестовых заданий, ориентируясь при их выборе на цели контроля, специфику содержания дисциплины, уровень ответственности, принимаемых административно-управленческих решений и т. д.

5.2. Задания с множественным выбором

В заданиях с множественным выбором можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сфор­мулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.

Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов делают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем, стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать шести–семи.

Задания с двумя ответами обычно используют для экспресс-диагностики, например, в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, где для большей надежности стараются сделать все задания с одинаковым числом ответов.

Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство обучающихся выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей обучающихся, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но, тем не менее, создавая зада­ния, к этому равенству нужно стремиться.