Методические рекомендации по разработке оценочных средств в соответствии с требованиями ФГОС ВО (стр. 9 )

-  интерпретация результатов оценивания и их сообщение обучающимся.

Эти этапы могут носить сокращенный характер на стадии оценивания результатов ответов обучающихся и их интерпретации. Однако в любом случае учебные кейсы не должны носить исключительно иллюстративный характер, а обязательно включать материал, содержащий внутренний потенциал для обсуждений.

К числу основных требований, предъявляемых к кейсам, относится:

-  адекватность поставленной цели создания;

-  оптимальность по уровню трудности для контингента обучающихся;

-  ориентация на проблемы и ситуации профессиональной деятельности;

-  адекватность современным проблемам экономики и производства;

-  актуальность для сферы будущей профессиональной деятельности обучающихся;

-  значимость включаемых ситуаций и проблем;

-  способность к побуждению дискуссионных обсуждений;

-  включение ряда необходимых контекстных факторов, обеспечивающих многозначность решений;

-  наличие нескольких, соперничающих между собой решений.

В силу неизбежного существования определённого коли­чества информации, которая не будет известна всем обучающимся (особенности предприятий, продуктов и технологий, законодательные ограничения, события, о которых не знают обучающиеся, неоднозначное использование терминов в различных компаниях и т. д.), в задания кейса необходимо внести ровно столько пояснений, сколько нужно для понимания проблемы. Вместе с тем, факты в заданиях должны носить правдоподобный, а иногда и достоверный характер, поскольку само их существование не должно приводить к сомнениям и обсуждениям. Например, возможен вариант создания заданий кейса на основе обобщения консалтингового опыта их авторов. В основу таких заданий закладываются отдельные эпизоды из опыта, но их подготовка, как правило, связана с сознательным сокрытием имени компании и реального контекста событий.

Обычно, в задания кейсов включают довольно большое количество контекстной информации с тем, чтобы порождать многозначность подходов к получению решений. Сознательное включение множества контекстных сведений не противоречит требованию минимизации, поскольку в хорошем кейсе нет ничего лишнего, любая деталь методически продумана и предназначена для определенного пути получения одного из решений. Материал кейса всегда структурирован, а контекстные факторы и последовательность их включения с целью пояснения проблемы заранее продуманы автором, при этом факты и события зачастую умышленно подаются так, чтобы причинно-следственные связи между ними не лежали на поверхности. Обучающемуся нужно приложить усилия, чтобы раскрыть связи между событиями, явлениями, процессами и решить проблему.

4. СОДЕРЖАНИЕ КОМПЕТЕНТНОСТНЫХ ТЕСТОВ, ПЛАНИРОВАНИЕ, ОТБОР И ЭКСПЕРТИЗА КАЧЕСТВА

4.1. Целеполагание и планирование содержания аттестационного теста

Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планиро­вания и оценки качества содержания теста.

В начале работы над тестом необходимо:

-  Определить подход к созданию теста и интерпретации результатов измерения (нормативно - ориентированный, критериально-ориентированный или смешанный).

-  Составить план содержания теста;

-  Выбрать виды шкал тестовых баллов или других результатов измерения с детальным описанием правил оценивания отдельных заданий.

При создании аттестационного теста ставится задача отобразить в его содер­жании то главное, что должны освоить обучающиеся в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения, сформулированные в виде компетенций, проверить невозможно из-за избыточной длины теста. Чтобы не утратить в содержании теста самое главное, необходимо структурировать цели обучения в форме компетенций и ввести определенную иерархию в их взаимное расположение. Этой задаче отвечает компетентностная модель подготовки бакалавра или магистра, необходимость построения которой для практических нужд процессов обучения и контроля вряд ли осознают преподаватели. При создании таксономии целей оценивания нет, и не может быть готовых общих схем, поскольку в каждом профиле определенного направления подготовки свои приоритеты, обусловленные региональной спецификой. При компетентностном подходе постановка целей не должна носить предметно-ориентированный характер в силу полидисциплинарного характера компетенций.

Хотя в настоящее время таксономия целей Блума (В. S.Bloom) является наиболее известной в мировой педагогической литературе, она не отвечает требованиям к результатам образования, заложенным в компетентностном подходе. Она не приемлема для целей тестирования с позиций аттестации на основе новых ФГОС, поскольку место знаний и умений, рассматриваемых как планируемые результаты обучения, теперь занимают компетенции. На сегодняшний день все таксономии должны уступить место компетентностным моделям подготовки выпускников учебных заведений, устанавливающим иерархию и структурные связи между компетенциями или кластерами компетенций.

При отборе содержания теста происходит операционализация и конкретизация планируемых результатов обучения, которая заключается в придании форме представления целей обучения в виде совокупности компетенций и их дескрипторам тех характеристик, которые позво­ляют однозначно отобразить компетенции в содержании тестов. Процесс операционализации сопровождается планированием содержания аттестационного теста. Среди наиболее перспективных моделей планирования можно назвать трехмерную модель, включающую содержание (дисциплины, их разделы или модули), технику измерения (формы заданий) и планируемые к проверке компетенции.

Процесс планирования содержания выполняется с помощью спецификации теста. В спецификации, разрабатываемой в форме таблицы, содержится примерная раскладка процентного соотношения компетенций (кластеров компетенций) и содержательных разделов (дисциплин или модулей), включенных в тест. В ней определяется необходимое число заданий, выбранное для оценивания в соответствии с важностью и трудоемкостью освоения компетенций или содержательных разделов. Раскладку начинают с подсчета априорно планируемого чис­ла заданий в тесте, которое затем будет неоднократно менять­ся в процессе работы над тестом и совершенствования его характеристик в сторону увеличения или уменьшения. Иногда спецификацию делают не в виде таблицы, а в развернутой форме, включая указания форм заданий, которые будут использоваться для оценки достижений уча­щихся, время выполнения теста, правила подсчета баллов и т. д. Спецификация очень важна при создании параллельных вариантов, необходимых в условиях массового тестирования, поскольку в ней закрепляется структура содержания, обязательная для всех вариантов теста.

При тестировании с целью определения уровня освоенных знаний и умений, один из наиболее распространенных подходов к созданию таблицы спецификации основан на сопряжении процентного соотношения, планируемых к усвоению системы зна­ний и умений, с процентным соотношением заданий по раз­личным разделам или по различным содержательным линиям проверяемой дисциплины. Гипотетический пример реализации подобного сопряжения без привязки к какому-либо пре дмету приведен в табл. 4.1.1. В него включен перечень знаний и умений по четырем содержательным разделам дисциплины:

А — знание понятий, определений, терминов;

В — знание законов и формул;

С — умение применять законы и формулы для решения задач;

D — умение интерпретировать результаты на графиках и схемах;

E — умение проводить оценочные суждения.

Таблица 4.1.1

№п/п	Планируемые к проверке знания и умения	Содержательные линии (разделы) дисциплины	Суммарное число заданий
I (20%)	II (10%)	III (30%)	IV (40%)
1	А (10%)	1	1	2	2	6
2	В (20%)	2	1	4	5	12
3	С (30%)	4	2	5	7	18
4	D (30%)	4	2	5	7	18
5	E (10%)	1	—	2	3	6
Итого	12	6	18	24	60

Для заполнения таблицы было выбрано 60 заданий в качестве первоначальной длины теста. Вес каждого из разделов в процентах указан в первой строке табл. 4.1.1. Конечно, при заполнении таблицы в распределении за­даний удается лишь приближенно отобразить пропорции раз­делов. К тому же не во все ячейки должны быть вписаны чис­ла (например, ячейка на пересечении второго столбца и пя­той строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов дисциплины. Однако даже в таком приближенном видении общей раскладки зада­ний есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначаль­ная раскладка заданий будет претерпевать всяческие измене­ния. Это объясняется тем, что не все задания окажутся удач­ными и уместными в той мере, как это считается на этапе планирования теста. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой — в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима дора­ботка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.

При компетентностном подходе в спецификации должна быть отражена примерная раскладка процентного соотношения субтестов по отдельным переменным измерения, структура содержания субтестов, проверяемые компетенции и необходимое число заданий по каждому субтесту ( с указанием их формы. Фрагмент такой спецификации для 4-х субтестов, предназначенных для оценивания уровня освоения четырех компетенций одного кластера, показан в табл. 4.1.2.