Методика обработки ответов на задания в свободной форме

6. Методика обработки ответов на задания в свободной форме

Введение

Для обеспечения максимальной объективности результатов ЕГЭ каждый бланк ответов № 2 на задания в свободной форме проверяется двумя независимыми и специально подготовленными экспертами.

Пары экспертов постоянно переформировываются с целью выравнивания результатов их работы. По результатам проверки эксперты независимо выставляют оценку за каждое задание в свободной форме согласно инструкции, полученной от разработчиков КИМов. Если оценки двух экспертов за все ответы на задания в бланке совпали, то полученные оценки считаются окончательными.

В случае, если оценки двух экспертов отли­чаются незначительно, проводится построение компромиссной оценки, которая считается окончательной. Компромиссная оценка вычисляется путем арифметического усреднения и последующего округления.

Если в оценках экспертов имеют место значительные расхождения, то для проверки бланка назначается третий эксперт. Независимая оценка третьего эксперта за решения всех заданий в этом случае считается окончательной, если она не выходит за границы интервала баллов, определенных первыми двумя экспертами.

При шкалировании результатов ЕГЭ учитываются только окончательные оценки.

Распределение бланков между экспертами

В основе распределения бланков между экспертами лежат следующие принципы:

· Равномерное распределение нагрузки между экспертами.

· Обеспечение примерно равного числа работ, проверенных каждым экспертом в парах со всеми остальными экспертами.

По мере введения результатов проверки экспертов в базу данных, программа выдает карту распределения бланков между экспертами, которой можно пользоваться для реализации второго из указанных принципов.

Председатель предметной комиссии персонально распределяет бланки № 2 между различными экспертами.

Выявление бланков со значительными расхождениями
в оценках независимых экспертов

Для каждого из предметов задано положительное число , характеризующее максимально допустимое суммарное отклонение оценок экспертов по всему бланку.

Для каждого j-ого задания в свободной форме задано число , характеризующее максимально допустимое различие в оценках пары экспертов.

Расхождение оценок экспертов считается значительным, если выполнено хотя бы одно из следующих условий:

· Сумма модулей расхождений оценок экспертов по всем заданиям в свободной форме превосходит .

· Расхождение оценок экспертов за j-e задание в свободной форме

превосходит .

Числа S и задаются разработчиками КИМов на основе экспертных оценок и экспериментальных исследований.

При выполнении хотя бы одного из сформулированных условий 1 или 2 ответы учащегося на соответствующем бланке № 2 полностью перепроверяются третьим экспертом.

Построение компромиссных оценок экспертов

Методика построения компро­миссной экспертной оценки в случае несущественного расхождения оценок экспертов разрабатывалась исходя из следующих принципов:

1.  Компро­миссная оценка не должна быть ниже наименьшей оценки экспертов и выше наибольшей. Компромиссная оценка должна принадлежать множеству допустимых значений оценок экспертов.

2.  Оценки экспертов, дававших стабильно завышенные или заниженные результаты, либо показывавших очень нестабильные результаты, учитываются тем меньше, чем в большей мере наблюдаются данные недостатки.

Разработана параметрическая модель, в которой значимость оценок экс­перта зависит от двух параметров. Первый характеризует склонность данного эксперта к завышению или занижению оценок по сравнению со всеми остальными экспертами. Второй параметр выражает меру непредсказуемости оценок данного эксперта. Параметры названы соответственно: “лояльность” и “согласованность” («нестабильность»). Исходя из этих параметров, строится оценка "веса" каждого эксперта – чем ближе к нулю лояльность эксперта и выше «согласованность»(ниже «нестабильность»), тем большим является “вес” эксперта.

Окончательной считается оценка, построенная как взвешенная сумма оценок двух экспертов.

Методика построения коэффициентов лояльности и согласованности (нестабильности) приведена в журнале “Вопросы тестирования в образовании” N1, 2001 год, статья , “Анализ экспертных оценок тестов ЕГЭ 2001 года”.

Назначение третьего эксперта

Выявление бланков со значительными расхождениями оценок экспертов производится специальной программой после ввода всех данных по первым двум независимым проверкам. Для таких бланков требуется проверка третьего эксперта.

На основе введенных данных программа ранжирует экспертов по весам и для каждого бланка со значительным расхождением выдает список экспертов, которых можно назначать на третью независимую проверку данного бланка. Программа запретит назначать на третью проверку экспертов, проверивших достаточно большое число бланков и показавших на них плохие результаты проверенных бланков, а также двух экспертов, уже проверявших данный бланк.

Третий эксперт назначается, как правило, из числа экспертов, командированных в предметную комиссию из других регионов по представлению Центра тестирования Минобразования России.