Методические рекомендации по разработке оценочных средств в соответствии с требованиями ФГОС ВО (стр. 5 )

Источники повышения валидности теста:

1.  Подбор оптимальной трудности заданий для обеспечения планируемого закона распределения баллов по тесту применительно к целям измерения.

2.  Проведение нескольких экспертиз качества содержания теста.

3.  Расчет оптимального времени выполнения теста.

4.  Подбор валидных заданий с высокой дискриминативностью.

5.  Соответствие содержания измерителя его спецификации (содержательному плану).

6.  Четкое формулирование существенных признаков измеряемой переменной и ее отличий от других переменных, не планируемых к включению в данный тест (описания признаков проявления компетенций для компетентностных тестов).

7.  Создание банка калиброванных заданий, обладающих устойчивыми статистиками и использование банка при композиции теста.

8.  Помещение в тест на начальном этапе его разработки избыточного числа заданий для обеспечения возможности последующего удаления неудачных заданий при коррекции теста (по крайней мере в два раза больше, чем планируемая окончательное число заданий в тесте.

3. ОСНОВНЫЕ ПОДХОДЫ К РАЗРАБОТКЕ ИЗМЕРИТЕЛЕЙ,
ИХ ВИДЫ И ЭТАПЫ РАЗРАБОТКИ

3.1. Подходы к интерпретации результатов педагогических измерений

При педагогических измерениях интерпретация баллов обучающихся может иметь различный характер в зависимости от того, каким способом сравниваются их результаты. В одном случае проводится сопоставление баллов тестируемых с результатами определенной группы – выборки обучающихся, выполнявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). В другом случае результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход).

Хотя оба подхода дают информацию о подготовленности обучающихся, но они отличаются по характеру получаемых данных. В нормативно-ориентированном подходе определяется место результата каждого обучающегося по отношению к результатам других обучающихся. В критериально-ориентированном подходе информация, полученная при тестировании, позволяет установить освоенные разделы учебного курса, компетенции или виды учебной деятельности.

Сообразно двум подходам к интерпретации результатов тести­рования выстраиваются два подхода к созданию измерителей. Оба они перспективны и важны, имеют свою сферу применения, свои преимущества и недостатки. Выбор подхода к интерпретации результатов измерения необходимо сделать в самом начале в момент постановки цели.

С первого взгляда, оба подхода – нормативный и критериальный – не противоречивы, поэтому у многих педагогов возникает впечатление, что можно делать тесты, допускающие сразу обе интерпретации результатов. Для специалистов по педагогическим измерениям, совмещение нормативно-ориентированного и критериально-ориентированного подхода кажется недопустимым в силу существования ряда различий в конструировании измерителей и характера распределения эмпирических данных, собранных по результатам их применения.

3.2. Нормативно-ориентированный подход и стандартизация тестов

Нормативно-ориентированные тесты разрабатываются для сравнения обучаемых по уровню учебных достижений, поэтому основная цель нормативно – ориентированного подхода – дифференциация испытуемых по результатам выполнения теста. При интерпретации результатов обучающихся относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Например, можно высоко оценить знания обучающегося, выполнившего правильно в тесте всего 30 заданий из 60 в том случае, если 70% - 80% остальных обучающихся в группе сделали меньшее число заданий теста. Тот же самый результат обучающегося в сильной группе будет отнесен к категории довольно низких, если толь­ко 10–20% испытуемых сделали правильно 30 заданий, а все остальные значительно превысили этот результат. Для корректной интерпретации результатов тестирования балл каждого обучающегося сравнивается с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых - релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых обучающихся. Нормы нельзя придумать или задать априорно, они устанавливаются в соответствии с эмпирическими данными по тесту. К нормам обычно относят среднее значение тестовых баллов и показатель разброса (вариативности) вокруг среднего значения всех остальных баллов, полученных представительной выборкой тестируемых обучающихся. Имея нормы можно установить положение каждого результата по отношению к среднему значению тестовых баллов, посмотреть - на сколько результат испытуемого выше или ниже среднего и как располагаются результаты остальных обучающихся вокруг среднего балла по тесту. Таким образом, соотнесение первичного результата испытуемого с нормами теста позволяет определить место испытуемого в выборке, использованной для их подсчета.

Процесс определения норм называется стандартизацией теста. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой является обяза­тельным моментом при определении норм теста. Тестовых норм, пригодных для интерпретации результатов всех обучающихся по любым тестам, не существует вообще. Область применимости любой нормы ограничивает­ся данным тестом и конкретной совокупностью испытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент создания теста и подлежат систематическому обновлению и перепроверке.

Нормы обычно устанавливают в ситуации массового тестирования, например, при аттестации обучающихся или выпускников учебных заведений. В текущем контроле нормы выполнения теста, конечно, не определяются. В этом случае обычно используются не преобразованные (сырые) результаты выполнения тестов, подсчитанные путем суммирования оценок по отдельным заданиям, в том числе и с весовыми коэффициентами.

Руководству факультета нередко интересно узнать - по какому предмету отстает тот или иной обучающийся. Для этого приходится сравнивать результаты обучающихся по предметным тестам. Подобное сравнение относительных позиций испытуемого в тестах по разным предметам возможно в том случае, когда они стандартизированы на одной и той же выборке испытуемых и представлены в одинаковых шкалах, с общими средним значением и стандартным отклонением. В противном случае результаты сравнения тестовых баллов обучающихся по отдельным предметам могут быть неверно интерпретированы из-за несопоставимости тестовых норм.

Норма - относительное понятие, тесно связанное с особенностями выборки обучающихся, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стандартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные: объем и представительность (репрезентативность).

Для обеспечения равномерности представления различных специфических составляющих популяции испытуемых используют специальный процесс – стратификацию (расслоение выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности). Обычно в качестве оснований для стратификации выделяют факторы, наиболее тесно связанные с переменной измерения и воспроизводящие реальную структуру генеральной совокупности по ряду признаков (возрастных, гендерных, психологических, социальных и др.).

Например, к числу таких факторов для группы вузов можно отнести: программу обучения, используемые учебники, специфику технологий обучения, социальное положение родителей обучающихся, регион, где расположен вуз и т. д. Внутри одного учебного заведения можно выделить: формы обучения, методы обучения, кадровый состав преподавателей и т. д. Пользователям тестов следует также помнить о том, что сопоставление норм по различным тестам возможно лишь в случае, когда есть основания для утверждения об адекватности выборок стандартизации.

3.3. Критериально-ориентированный подход в педагогических измерениях

При критериально-ориентированном подходе в педагогических измерениях результаты испытуемых интерпретируются по отношению к содержательной области или требованиям (например, в форме компетенций), установленным к учебным достижениям. Балл каждого обучающегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста (для дихотомических оценок (1 или 0) по отдельным заданиям) либо отношения суммарного балла по правильно выполненным заданиям к общему числу баллов по всем заданиям теста (для политомических оценок (0, 1,2 и т. д) по отдельным заданиям). В компетентностном подходе результаты испытуемых сравниваются с пороговыми баллами, устанавливающими критерии освоения компетенций.

Таким образом, при критериально-ориентированном подходе создаются тес­ты для сопоставления учебных достижений каждого обучающегося с планируемым к усвоению объемом знаний, умений или компетенций. В качестве интерпретационной системы отсчета используется конкретная область содержания, а не та или иная выборка обучающихся, поэтому критериально-ориентированные тесты необходимо использовать в связи с введением компетентностного подхода при оценке качества результатов обучения обучающихся в процессе промежуточной и итоговой аттестации.

В целом, с помощью критериально-ориентированных тестов благодаря содержательной интерпретации результатов тестирования можно:

-  выявить освоенные и не освоенные знания, умения, навыки и компетенции, скорректировать индивидуальную образовательную траекторию каждого обучающегося и повысить индивидуализацию учебного процесса;

-  ранжировать тестируемых по проценту выполнения и построить рейтинговые шкалы;

-  разбить испытуемых на две группы с помощью одного критериального балла (компетентных и некомпетентных);