Методические рекомендации по апробации разработанных образовательных программ (стр. 8 )

Методисты учебного заведения, на базе которого проводится апробация, вправе самостоятельно выбирать критерии оценки уровня освоения компетенций в зависимости от специфики каждой конкретной программы.

После уточнения показателей разрабатываются задания для экзамена (квалификационного) по программе.

Задания могут быть рассчитаны на проверку как профессиональных, так и общих компетенций, а также на комплексную проверку профессиональных и общих компетенций. Перед началом формирования заданий необходимо сгруппировать общие и профессиональные компетенции так, чтобы задание одновременно подразумевало проверку обеих групп компетенций. Содержание заданий должно быть максимально приближено к ситуациям профессиональной деятельности.

Федеральный институт развития образования предлагает следующие виды проведения итоговой аттестации:

Таблица 6.

Типы контрольно-оценочных заданий для оценки результатов освоения программы (модуля)

№	Тип	Сущность	Варианты, разновидности
1	«Проект»	Изготовление готового продукта.	Практико-ориентированный проект
Творческий проект
2	«Конструктор»	Сборка (разборка) целого из отдельных элементов.	Задание с избыточным набором элементов. Задание с недостаточным набором элементов. Задание на изменение системы путём замены части элементов или их взаиморасположения, взаимосвязи.
3	«Исследование»	Выявление проблемы, закономерности, тренда, предполагающее самостоятельную работу с источниками информации.	Научное исследование Технологическое исследование
4	«Роль»	Демонстрация профессиональной деятельности в роли специалиста.	«Полевой» вариант. Имитационно-игровой вариант.
5	«Ситуация»	Формирование предложений в рамках профессиональной деятельности для разрешения определённой проблемной ситуации.	«Метод кейсов».

Возможны комбинированные типы.

Формулировка заданий должна включать требования к условиям их выполнения (место выполнения – учебная / производственная практика или непосредственно экзамен (квалификационный); время, отводимое на выполнение задания, необходимость наблюдения за процессом выполнения задания, источники, которыми можно пользоваться и др.).

Задания для экзамена (квалификационного) могут быть 3 типов:

-  задания, ориентированные на проверку освоения вида деятельности в целом;

-  задания, проверяющие освоение группы компетенций, соответствующих определенному разделу программы, модуля;

-  задания, проверяющие отдельные компетенции внутри программы или профессионального модуля. [6]

Разработка заданий к итоговой аттестации должна сопровождаться установлением критериев для их оценивания (бальная система).

Совокупность оценочных критериев может быть оформлена как экспертный лист.

Общие методические рекомендации по составлению и оформлению КОС приведены в Приложении C и основаны на соответствующих рекомендациях Федерального института развития образования.

По окончании апробации, анализируя результаты всех видов аттестации, проводится итоговая оценка эффективности программ.

Ее смысл состоит в том, чтобы установить, какую пользу от обучения получает слушатель, достигнута ли цель обучения, освоены ли предполагаемые профессиональные компетенции.

Учебная программа, которая не позволяет достичь предполагаемой цели, сформировать необходимые навыки и компетенции, должна быть подвергнута корректировки.

Информацию, полученную в результате оценки эффективности конкретных учебных программ, необходимо анализировать и использовать при подготовке и проведении аналогичных программ в будущем. Оценка эффективности позволяет постоянно работать над повышением качества обучения, избавляясь от таких учебных программ и форм обучения, которые не оправдали возложенных на них надежд.[7]

В идеале оценку эффективности обучения следует производить постоянно, в качественной либо количественной форме оценивая влияние обучения на итоговую результативность.

Не всегда результаты апробации достигают желаемого результата. В этом случае возникает необходимость выявления причин неуспеха: могут быть поставлены нереалистичные или слишком общие цели обучения, может быть плохо организован сам процесс обучения, возможны срывы по причинам, находящимся вне контроля специалистов МОРЦ, которые занимаются организацией обучения (например, болезнь преподавателя, поломки оборудования или ошибки людей), и др. Выявление причин, по которым данная программа обучения потерпела неудачу, и их анализ позволяют предпринять в будущем необходимые корректирующие меры.[7]

Оценка эффективности обучения может проводиться с помощью тестов, опросников, заполняемых обучающимися, экзаменов и т. п. Оценивать эффективность обучения и уровень освоения компетенций могут как сами обучающиеся, так и руководители, специалисты отделов обучения, преподаватели, эксперты или специально созданные целевые группы.

Процедура оценки эффективности обучения обычно состоит из трех этапов:

1. Определение целей обучения. Процесс оценки эффективности обучения начинается уже на этапе планирования обучения, при определении его целей. Цели обучения задают стандарты и критерии оценки эффективности учебных программ.

2. Сбор данных до обучения. Эта информация отражает уровень знаний, навыков, компетенций и особенности рабочих установок, которые слушатели имели до обучения.

3. Сбор данных в процессе обучения и после обучения (по тем же показателям и с использованием тех же инструментов, что и до начала обучения).

Во время обучения можно собрать ценную информацию о мотивации слушателей, об их интересе к разным учебным темам, об их оценке работы преподавателей и др. Это позволяет внести необходимые коррективы в содержание программы, изменить форму подачи отдельных тем, сделать занятия более интересными и живыми и, если это необходимо, включить в учебную программу новые темы и вопросы, которые больше соответствуют профессиональным интересам слушателей.

Данные после обучения могут быть собраны разными способами. Чаще всего слушателей сразу по завершении обучения просят заполнить специально разработанные опросники, чтобы они оценили данную программу, работу преподавателей, свою включенность в обучение и т. д. К сожалению, с помощью таких опросников можно получить довольно ограниченную информацию для оценки эффективности обучения, хотя и она может дать ориентиры для изменения программы, улучшения ее организации, усиления мотивирующего эффекта и улучшения возможностей практического использования полученных знаний и навыков.

Серьезной проблемой, которая не позволяет в должной мере использовать результаты оценки эффективности обучения, является практика, когда оценкой эффективности обучения и освоения компетенций занимаются только сотрудники учебных отделов. Трудно ожидать полной объективности оценки и оперативной реакции на негативные итоги обучения по тем или иным программам от отдела, который, собственно, и занимается организацией учебы сотрудников. В идеале оценивать эффективность проведенного обучения, его нужность и полезность, успешность овладения профессиональными компетенциями должен специалист - представитель отрасли [7].

В качестве инструментария в анализе эффективности учебных сетевых программ используются такие известные методы как опросы, анкетирование, интервью, тестирование, проекты и пр. К инновационным оценочным средствам, позволяющим вести непрерывное отслеживание качества учебных достижений и формирование личных качеств, творческих характеристик студента можно отнести: портфолио; рубежные аттестационные тесты для системы мониторинга качества образования; кейс-измерители; компетентностные тесты. [9]

Ниже приведена таблица с примерами использования того или иного инструментария в определении эффективности обучения по заданным критериям.

Таблица 7.

Технология определения эффективности обучения: основные критерии и инструментарий оценки уровня сформированности компетенций [7]

Критерии оценки	Содержание	Требования к инструментарию оценки эффективности обучения и уровня сформированности компетенций
		Инструментарий	Когда проводится	Кем проводится	Рекомендованные измерители результатов (индикаторы)
Мнение обучающихся	Выяснение того, как обучающиеся оценивают поведенное обучение, что им понравилось и что не понравилось, как они оценивают объем и содержание материала, методы обучения, организацию обучения и т. п.	Опросы/ анкетирование Интервью Наблюдение Беседы со слушателями	Во время или по завершении обучения	Специалисты (методисты) учебного отдела, отвечающего за проведение апробации на "пилотных" площадках, преподаватели	Пятибалльная оценка удовлетворенности, где «5» - полностью удовлетворен результатами, «1» - совершенно неудовлетворен результатами
Усвоение учебного материала	Выяснение того, насколько возросли знания обучающихся в результате проведенного обучения.	Тестирование Устные или письменные опросы Зачеты Экзамены Case-study и т. п.	Во время или по завершении обучения	Специалисты (методисты) учебного отдела, отвечающего за проведение апробации на "пилотных" площадках, преподаватели	Пятибалльная шкала, где 1 – это отсутствие знаний о предметной области, а 5- позволяют разработать методологию выполнения работы
Поведенческие изменения	Определение того, как изменились значимые особенности рабочего поведения; как изменились установки, лежащие в основе рабочего поведения	Опросы Тестирование Структурированное интервью Наблюдение	До, во время и после обучения	Специалисты (методисты) учебного отдела, отвечающего за проведение апробации на "пилотных" площадках, преподаватели, представители работодателей	Четырехбалльная шкала, где «0» - самостоятельное принятие решений, входящих за рамки должностных обязанностей отсутствует 0–10 (минимум или не требуется) 31–40 (выше нормы) «4» - Самостоятельное принятие решения, входящих за рамки должностных обязанностей продуктивно и присутствует в полной мере 41–50 (высокий уровень)
Рабочие результаты	Выявление изменений производительности и качества труда	Анализ производственных показателей Оценка уровня брака, уровня ошибок в работе и т. п.	До и после обучения	Специалисты (методисты) учебного отдела, отвечающего за проведение апробации на "пилотных" площадках, преподаватели, представители работодателей	шкалы типа «0–1–2–3» или «0–1–2–3–4», где «0» означает отсутствие требования, а последняя цифра – превышение нормы.
Освоение навыков, приобретение компетенций	Оценка того, смогли ли обучающиеся освоить новые навыки и использовать их в своей работе	Тесты Беседы/интервью со слушателями; Беседы/интервью с руководителями/ коллегами/ подчиненными; Наблюдение; Контекстные задачи; Анализ производственных показателей	Во время обучения Через некоторое время после завершения обучения	Специалисты (методисты) учебного отдела, отвечающего за проведение апробации на "пилотных" площадках, преподаватели, представители работодателей	Накопительная система баллов по оцениванию отдельных действий, решений, результатов, которая в итоге отражает следующую градацию уровня освоения компетенций: - «недопустимый» - «критический» - «допустимый» - «достаточный» - «оптимальный»

В качестве примера, приводятся возможные характеристики уровня освоения профессиональных компетенций по результатам аттестации с использованием такого инструментария как «тесты» «контекстные задачи», «анализ производственных показателей» и пр.