Методические рекомендации по разработке оценочных средств в соответствии с требованиями ФГОС ВО (стр. 10 )

Раскладка форм заданий по субтестам приведена только для первых двух компетенций с целью сокращения показанного фрагмента спецификации. Как следует из таблицы 4.1.2, для проверки уровня сформированности 1-й компетенции предназначается 42 задания, для второй – 29 заданий и т. д.. Подобное соотношение указывает на иерархию компетенций, где большая значимость придается первой компетенции по по сравнению со второй и всеми последующими компетенциями. При такой структуре таблицы спецификации необходимо строить 4 шкалы тестовых баллов для 4-х субтестов, а затем подсчитывать итоговый балл по всему тесту. В целом, при оценивании каждой компетенции отдельно число шкал должно быть равно числу оцениваемых компетенций.

При кластеризации компетенций с целью их оценивания для обозначения переменной каждому кластеру можно присвоить название, обобщающее совокупность компетенций, входящих в него либо просто пронумеровать кластеры. Тогда число шкал тестовых баллов обучающихся будет равно числу кластеров компетенций. Суммирование баллов по отдельным шкалам с весовыми коэффициентами позволит определить общий тестовый балл обучающегося. Сам тест будет состоять из набора субтестов, число которых равно числу кластеров, а каждый субтест предназначается для оценки достижений обучающихся по освоению совокупности компетенций одного кластера. Если субтесты окажутся слишком длинными, то тестирование можно проводить в несколько этапов на протяжении 3 – 5 дней.

Таблица 4.1.2

Распределение форм заданий по субтестам

Кластер компетенций (4 компетенции)	Компетентностный тест	Итого
Субтесты (содержательные разделы, модули, дисциплины)
1 субтест	2 субтест	3 субтест	4 субтест
20 заданий– 20%	30 заданий– 30%	40 заданий– 40%	10 заданий– 10%
1-я компетенция	14 заданий	Не оценивается	18 заданий	10 заданий	42
0 – с выбором ответа	10 – с выбором ответа	0 – с выбором ответа
10 – с краткими дополняемыми ответами	0 –– с краткими дополняемыми ответами	3 - с краткими дополняемыми ответами
4 – с развернутыми ответами	3 – с развернутыми ответами	5 – с развернутыми ответами
0 – проблемные задания с наиболее правильным ответом	5 – проблемные задания с наиболее правильным ответом	2 – проблемные задания с наиболее правильным ответом
2-я компетенция	9 заданий	10 заданий	Не оценивается	10 заданий	29
5 – с выбором ответа	5 – с выбором ответа	0 – с выбором ответа
0 –– с краткими дополняемыми ответами	0 –– с краткими дополняемыми ответами	2 – с краткими дополняемыми ответами
2 – с развернутыми ответами	3 – с развернутыми ответами	3 – с развернутыми ответами
2 – проблемные задания с наиболее правильным ответом	2 – проблемные задания с наиболее правильным ответом	5 – проблемные задания с наиболее правильным ответом
3-я компетенция	…………………	……..…………….	………………..	……………………..	14
4-я компетенция	…………………	…………………..	……………….	……………………..	8
Итого

4.2. Общие принципы отбора содержания аттестационных тестов

Общие принципы отбора содержания аттестационных тестов способствуют обеспечению высокой содержательной валидности их результатов. Первый принцип - репрезентативнос­ти - регламентирует процедуру отбора содержания таким образом, чтобы обеспечить оптимальную полноту и правильность пропорций содержания теста. Полнота достигается представительным отображением в содержании теста совокупностей компетенций, заложенных в ФГОС. Пропорции должны быть адекватны той иерархии кластеров, которая представлена в компетентностной модели подготовки специалиста (бакалавра или магистра) и распределении трудоемкости дисциплин и их разделов, заложенной в учебных планах и программах.

Второй принцип – значимости - предписывает включать в тест наиболее существенные элементы содержания, относящиеся к опорным темам курса. Выделение опорных элементов требует структурирования содержания предмета перед его отбором в тест. Этот же принцип, трактуемый по отношению к компетенциям, также предполагает обращение к компетентностной модели подготовки специалиста, в которой установлена иерархия компетенций.

Третий принцип – системности - предполагает подбор заданий, содержание которых свя­зано между собой определенной иерархией и общей структурой знаний. В условиях компетентностного подхода системность означает отражение в аттестационном тесте иерархии кластеров компетентностной модели подготовки специалиста. Таким образом, становится ясным ответ на вопрос, который нередко возникает у преподавателей при разработке основной образовательной программы – к чему структурировать компетенции и связывать кластеры структурно-описательной моделью, отражающей приоритеты в подготовке бакалавра или магистра? Ответ достаточно прозрачен – компетентностная модель должна лежать в центре внимания при обучении и контроле результатов обучения.

4. 3. Экспертиза качества содержания аттестационных тестов
оценочных рубрик

Оценка качества содержания теста должна проводиться по оп­ределенной методике независимыми экспертами, не участво­вавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту. Не менее важно провести экспертизу оценочных рубрик к заданиям, которые в рамках компетентностного подхода нередко имеют форму с развернутым ответом. При экспертизе заданий и рубрик следует опираться на описания признаков проявления компетенций. Поэтому в работе по экспертизе большое значение приобретают паспорта компетенций.

Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраиваются сооб­разно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со специфика­цией рецензируемого теста, содержащей пояснения по его структуре и планируемым к проверке компетенциям, а также с описаниями признаков проявления компетенций в паспортах и с компетентностной моделью подготовки специалиста, в соответствии с которой создается тест. Затем каждый эксперт выполняет все задания теста, представляя себя на месте испытуемого.

Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста и рубрик к ним в том случае, когда они представлены в форме, требующей развернутого ответа. При работе по первому направлению вначале эксперт сопоставляет правильные ответы, полученные им при выполнении теста, с ключом ответов для заданий с выбором ответа, предоставленных авторами, и анализирует оценочные рубрики к заданиям со свободно конструируемым ответом. В процессе выполнения заданий возможны случаи появления неоднозначности, ког­да на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы. Особенно сложно достичь однозначности в заданиях с конструируемым ответом. Обычно ее повышению способствует уточнение инструкции к заданиям с развернутым ответом, детализация которой позволяет ввести дополнительные ограничения на выполнение задания и обеспечить получение желаемого ответа. В связи с этим, тщательной экспертизе следует подвергнуть инструкции к заданиям с конструируемым развернутым ответом.

Эксперту необходимо также определить уровень базовости содержания каждого задания, который, в определенной степени, является субъективной оценкой его трудности. Дифференциация заданий по уровням позволяет разде­лить их на три группы: базовые, повышенной трудности и наиболее трудные. Большая детализация при делении заданий по трудности вряд ли уместна, поскольку доля ошибки в оценках эксперта нередко доходит до 50-70%.

Эксперт оценивает уровень значимос­ти содержания каждого задания теста и ожидаемое время его выполнения обучающимися со средним уровнем подготовленности, ориентируясь на свое знание контингента обучающихся, для которых предназначен тест. Он выявляет логически некорректные задания, где помимо правильного возникают частично правиль­ные ответы. Особенно важно в процессе экспертизы заданий субтеста выявить случаи отсутствия четких логически завершенных формулировок заданий. Для достижения логической четкости в каждом задании следует спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько аспектов подготовленности и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста. Тенденции к многозначности характерны для компетентностных заданий, где нередко к одному заданию стараются поставить 5 и более вопросов.

Здесь трудно вводить какие-либо ограничения, поскольку, возможно, число вопросов диктуется признаками проявления компетенции, заложенными в ее паспорте. Однако даже в этих условиях автор должен стремиться к минимизации числа вопросов к каждому заданию, в противном случае будет неоправданно увеличена сложность применения и понимания оценочных рубрик к заданию на фоне снижения их обоснованности и роста субъективного компонента при проверке выполнения заданий обучающимся. В конечном счете, тенденция к неоправданному увеличению числа вопросов к каждому заданию приведет к резкому снижению надежности теста.