Методические рекомендации по разработке оценочных средств в соответствии с требованиями ФГОС ВО (стр. 6 )

-  разбить испытуемых на несколько групп с помощью нескольких критериальных баллов и провести развернутый анализ не освоенных разделов содержания или компетенций.

Нормативно-ориентированный и критериально-ориентированный подходы не имеют тех различий, которые могут быть выявлены путем обычного осмотра заданий тестов. Углубленный анализ существен­ных характеристик тестов, разработанных в рамках различ­ных подходов, указывает на ряд особенностей. Нормативно-ориентированные и критериально-ориентированные тесты отличаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов тестирования и методам их обработки, критериям качества тестов и тестовых заданий, а, главное, по интерпретации результатов испытуемых, выпол­нивших тест.

В частности, содержание критериально-ориентированного теста должно быть достаточно полно, в него включают все то, что условно можно принять за 100% объем, планируемый к усвоению. Содержание нормативно-ориентированного теста фрагментарно, в нем могут быть только те разделы, которых достаточно для сравнения и дифференциации обучающихся по уровню учебных достижений. Нормативно-ориентированные тесты обычно имеют от 50% до 70% заданий примерно средней трудности, т. е. тех, которые смогла выполнить правильно приблизительно половина тестируемых обучающихся (рис. 3.3.1).

Рис. 3.3.1. Распределение заданий по трудности в нормативно-ориентированном тесте

В критериально-ориентированных тестах, используемых для аттестации, основная часть заданий намного легче, особенно в тех случаях, когда стараются спланировать процент двоек и ограничить число не аттестованных обучающихся. Например, если процент двоек не должен быть больше десяти и критерий отсева неуспевающих хотят установить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают неудовлетворительно), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить правильно 90% тестируемых обучающихся (рис. 3.3.2).

Рис. 3.3.2. Распределение заданий по трудности в критериально-ориентированном тесте

В силу того, что распределения сырых баллов испытуемых по нормативно-ориентированным и критериально-ориентированным тестам имеют, как правило, различную форму, приходится использовать отличающиеся методы оценивания надежности и валидности результатов педагогических измерений, методики шкалирования и выравнивания.

Наиболее существенные отличия между нормативно-ориентированными и критериально-ориентированными тестами сведены в табл. 3.3.1.

Таблица 3.3.1

Отличия между нормативно-ориентированными
и критериально-ориентированными тестами

Характеристики	Нормативно-ориентированные тесты	Критериально-ориентированные тесты
Типичное среднее число обучающихся, выполнивших правильно почти все задания теста	5% - 10%	80% - 90%
Область для сравнения результатов а обучающихся	Результаты других обучающихся	Содержательная область или совокупность видов учебной деятельности
Диапазон охвата целей проверки	Широкий, охватывает многие цели и виды учебной деятельности	Узкий, обычно охватывает несколько целей контроля
Репрезентативность охвата содержания предмета	Умеренная, фрагментарная – обычно включают не все разделы	Большая, обычно включают все то, что можно операционализировать и принять за 100%
Разброс результатов обучающихся (вариативность баллов)	Высокий, поскольку основная цель тестирования – дифференциация испытуемых по уровню подготовки	Низкий, внутри результатов группы обучающихся, прошедших за критерий, почти нет вариативности
Подбор заданий по трудности	Распределение оценок трудности близко к нормальному. Основная часть заданий имеет трудность 40% - 60%	Распределение скошенное. Основная часть заданий имеет трудность 80% - 90%

3.4. Компетентностные тесты.

Основные направления работ по созданию фондов измерителей для оценки компетенций связаны с анализом их конструктной валидности и коррекции по трудности заданий компетентностного теста для их соответствия определенным диапазонам компетентности обучающихся.

Специалисты рекомендуют разрабатывать компетентностные тесты в рамках критериально-ориентированного подхода. Компетентностные тесты для итоговой аттестации обучающихся по завершению цикла дисциплин должны содержать компетентностно-ориентированные задания со свободно конструируемым ответом, желательно полиисциплинарного характера, выявляющих способность обучающихся по применению умений в профессиональных ситуациях. Общая длина каждого теста должна быть не менее 20 - 25 заданий.

К тестам должны прилагаться оценочные шкалы (рубрики) для работы экспертов при проверке заданий со свободно конструируемым ответом. Рубрики разрабатываются для каждого задания. Желательно, чтобы все задания в одном тесте имели одинаковое число оценочных градаций с тем, чтобы задания были равновесомы. В противном случае, когда хотят придать больший вес отдельным заданиям в силу их значимости, число градаций в рубриках для этих заданий может быть увеличено. По принятым нормам, диктуемым здравым смыслом, опытом работы экспертов и анализом эмпирических данных тестирования, максимальное число градаций должно быть не более трех-четырех. Для обоснования правдоподобности каждой градации в рубрике необходимы эмпирические результаты, полученные путем апробации теста на представительной выборке обучающихся;

В целом, можно выделить основные этапы работ по созданию компетентностного аттестационного теста:

-  идентифицировать цель измерения, связав ее с функциями оценивания и областью применения его результатов;

-  сформулировать перечень оцениваемых компетенций;

-  разработать кластерную модель оцениваемых компетенций, установив их иерархию в соответствии со значимостью;

-  создать описание признаков проявления кластеров компетенций или отдельных компетенций;

-  определить подход к созданию теста и интерпретации результатов измерения (как правило, критериально-ориентированный или смешанный);

-  определить содержание компетентностного теста и разработать его спецификацию (пропорции и структура содержания, наличие субтестов, их число, планируемые к проверке компетенции и виды деятельности, в которой они проявляются, включая признаки проявления);

-  запланировать виды компетентностно-ориентированных заданий, их соотношение, пропорции и временные интервалы выполнения;

-  разработать компетентностно-ориентированные задания в соответствии со спецификацией;

-  разработать оценочные рубрики и подготовить рекомендации для экспертного анализа признаков проявления компетенций;

-  определить стратегию расположения заданий (в соответствии с кластерной структурой компетенций, периодами изучения, экспертными оценками трудности или дисциплинарной принадлежностью);

-  отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления;

-  провести экспертный анализ качества содержания заданий и теста;

-  провести экспертизу формы заданий и оценочных рубрик;

-  переработать содержание и формы заданий по результатам экспертизы;

-  сформировать представительные выборки обучающихся, стратифицированные в соответствии с основными факторами апробационного тестирования;

-  разработать инструкции для обучающихся и для преподавателей, проводящих апробацию теста;

-  провести апробационное тестирование для сбора эмпирических результатов;

-  провести статистическую обработку результатов апробации;

-  выполнить интерпретацию результатов обработки и наметить пути коррекции теста;

-  провести чистку теста и добавить новые за­дания для улучшения характеристик теста (оптимизации труд­ности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);

-  повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если есть в этом потребность);

-  оценить надежность и валидность (содержательную, конструктную, прогностическую) результатов применения теста;

-  установить критерии выполнения теста, построить шкалы и итоговую шкалу для оценки результатов обучающихся.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпи­рических данных. Как правило, стандартизированные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3 – 4 апробации, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне ва­жен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (Iteman, ConQuest, Testan и др).

Компетенции характеризуют те способности, которые проявляются после окончания обучения. Поэтому при оценивании компетенций необходимо убедиться в прогностической валидности полученных оценок, которые должны с высокой вероятностью предсказывать успехи дальнейшей профессиональной деятельности. Оценить прогностическую способность результатов измерения можно с помощью анализа корреляционных связей между оценками уровня освоения компетенций и характеристиками профессиональной деятельности обучающихся, которые проявляются в процессе прохождения практик, выполнения квалификационных выпускных работ и т. д.