Методические рекомендации по апробации проектов новых образовательных программ и УМК (стр. 8 )

Требования к тестовым заданиям включают:

1.  Содержательность – обязательная принадлежность к теме, разделу программы профессионального модуля или учебной дисциплины, для которой составляется тест.

2.  Краткость – четкая, короткая формулировка, ясное изложение, требующее однозначного ответа, невозможность двойного исполнения при формировании задания; желательно придерживаться прямого порядка слов. Вместе с ответом задание должно составлять утверждение, а не вопрос-ответ. В начале предложения следует ставить ключевое слово.

3.  Калибровка по трудности – в ходе апробации теста определяется мера трудности каждого задания. В тесте должны быть задания различного уровня трудности.

4.  Взаимосвязь – задания должны быть взаимосвязаны по содержанию (из любого раздела, темы) и коррелировать между собой.

5.  Дифференцирование – разделение студентов на т. н. сильных и т. н. слабых. Если на тестовое задание никто не выполняет или отвечают все, такие задания исключаются и т. д.

Наибольшее распространение в педагогической практике нашли четыре формы тестовых заданий.

Наиболее часто используются тестовые задания закрытой формы. В таких заданиях предлагается вопрос и несколько вариантов готовых утверждений (ответов), из которых нужно выбрать являющиеся истинными. Как правило, при одном правильном ответе, предлагается 3-5 вариантов ответа. Наибольшая трудность в составлении таких заданий заключается в подборе правдоподобных, но все-таки неверных ответов. При компьютерном тестировании правильный ответ вводится в компьютер. Номер правильного ответа всегда меняется постоянно после каждого тестирования.

Задание на соответствие. Необходимо установить соответствие элементов одного множества элементам другого. При таком методе тестирования оценивается каждый элемент множества.

Открытая форма тестовых заданий. Данная форма направлена на помощь обучающемуся при овладении ключевыми терминами учебных дисциплин и профессиональных модулей. По этой форме формулируется предложение, в тексте которого делается пробел, в который тестируемый записывает произвольный ответ (задание на дополнение). При составлении открытых заданий они должны быть корректными, не допускающими неоднозначного ответа, в задании должно не более 7-12 слов.

Тестовые задания на установление правильной последовательности тех или иных действий, процессов, операций в закрытой форме и открытой форме.

Простые ситуационные тесты. Представляют собой задачи с коротким ответом или простым действием.

Тесты воспроизведения. Направлены на воспроизведение текста, решения или мануального действия.

Оценочные средства текущего контроля и промежуточной аттестации по программе профессионального модуля и учебной дисциплины разделяются на контрольные задания, показатели выполнения, критерии оценки.

Контрольные задания включают одну или несколько задач (вопросов) в виде краткой формулировки задания на выполнение действий (деятельности) или описания результата, который нужно получить.

Показатели выполнения представляют собой формализованное описание оцениваемых основных (ключевых) параметров процесса (алгоритма) или результатов деятельности.

Критерии оценки – правила определения численной или вербальной оценки при сравнении эталонных показателей выполнения с результатами (процесса или продукта) действий, демонстрируемых (полученных) аттестуемым.

Для проверки комплексных умений, способностей или компетенций обучающегося могут применяться комплексные контрольные задания.

Комплексные контрольные задания требуют многоходовых решений, как в известной, так и нестандартной ситуациях. Это задания в открытой форме, требующие поэтапного решения и развернутого ответа, в т. ч. тестовые, и задания на индивидуальное или коллективное выполнение проектов, на выполнение лабораторных работ или практических действий (на тренажерах, станках, манекенах и т. п.).

В качестве комплексных контрольных заданий могут выступать:

1. Исследование:

- диагностика технического средства с определением дефекта (причина поломки);

- выявление проблемы, закономерности, тренда, предполагающее самостоятельную работу с источниками информации;

- технологическое исследование;

- прогнозирование развития ситуации.

2. Проект:

- изготовление готового продукта;

- изготовление предмета декоративно-прикладного искусства;

- практико-ориентированный проект;

- разработка методики;

- творческий проект.

3. Конструктор:

- сборка (разборка) целого из отдельных элементов;

- задание с избыточным набором элементов;

- задание с недостаточным набором элементов;

- задание на изменение системы путем замены части элементов или их взаиморасположения, взаимосвязи;

- сборка механизма (с проверкой его на работоспособность);

- составление технологической карты и др.

4. Роль:

- групповая имитационная игра, включающая роли всех участников технологического процесса;

- демонстрация профессиональной деятельности в роли специалиста;

- «полевой» вариант испытаний;

- имитационно-игровой вариант;

- сдача зачета.

5. Ситуация:

- кейс-метод;

- формирование предложений в рамках профессиональной деятельности для разрешения определенной проблемной ситуации;

- решение производственной проблемы.

Разработанные МОРЦ КИМ для всех видов контроля в условиях внедрения в конкретном сетевом образовательном учреждении, требуют доработки и уточнения в соответствии с корректировкой содержания программы по требованиям региональных работодателей – заказчиков кадров строительной отрасли.

Модульное построение позволяет своевременно реагировать на требования работодателей и лиц, поступающих на обучение, изменением содержания учебного материала, и, как следствие, требует быстрой модификации КИМ.

Поскольку каждому требованию, обозначенному программой, предусматривается отдельное оценочное мероприятие (или ряд мероприятий), то для формирования новой модификации КИМ необходимо изменить (удалить / добавить) те отдельные задания, по которым изменены требования.

Условиями реализации программ может являться оснащенность апробационных площадок компьютерными средствами и программами. Применение тестовых заданий наиболее удобно для перевода их в электронный вид.

Таким образом, модульно-компетентностный подход обеспечивает мобильность процесса формирования КИМ, позволяя быстро выстраивать новые модификации фондов оценочных средств, учитывающим изменения условий реализации, такие как: корректировка требований работодателей, изменение характера труда по профессии (специальности), применение в другом регионе, образовательном учреждении, изменение форм проведения оценочных мероприятий и др.

На основании вышеизложенного, предметом экспертизы для оценки УМК являются:

- в целом востребованность программы, ее модульность, практикоориентированность, актуальность, применение компетентностного подхода, включенность представителей работодателей в ее реализацию;

- качество модульной структуры программы, возможность реализации вариативных модулей, актуальных для единиц клиентской сети ресурсного центра и их заказчиков;

- степень проработанности и актуальности учебно-методического обеспечения программы;

- результативность применяемых технологий обучения;

- качество системы контроля образовательных результатов.

Порядок проведения экспертизы:

- научно-методический совет ГБОУ СПО КАС№7 по каждой из экспертируемых программ представляет руководству МОРЦ список экспертов, рекомендуемых к участию в экспертировании. Кандидаты отбираются из числа руководителей (представителей) ведущих работодателей отрасли, региональных органов управления образованием, учебно-методических объединений вузов;

- список экспертов согласуется с представителем Заказчика – Министерством образования и науки РФ, после чего будущим экспертам высылается соответствующее предложение и заключается договор на проведение экспертизы, высылаются все необходимые материалы;

- в обозначенный в договоре срок собираются отзывы, и проводится анализ индивидуальных экспертиз, а также общественно-профессиональной экспертизы, проводимой в форме семинаров, вебинаров и других мероприятиях, предусмотренных ТЗ ГК;

- по результатам анализа индивидуальных эспертиз, а также общественно-профессиональной экспертизы для каждой конкретной программы определяется результат комплексной экспертизы, исходя из худшего результата по итогам экспертирования. Замечания по всем экспертным заключениям аддируются;

- научно-методическим советом ГБОУ СПО КАС№7 совместно с представителями МОРЦ принимается решение об успешности проведения апробации или необходимой степени доработки программы и УМК к ней.

Выбор экспертов осуществляется на основании квалификационных требований, составленных в соответствии с Приказом Министерства образования и науки РФ от 16 ноября 2011 г. № 000[6]

1.Эксперт должен знать:

законодательство Российской Федерации в области образования, включая Закон Российской Федерации Федеральный закон от 29 декабря 2012 г. «Об образовании в Российской Федерации», Положение о государственной аккредитации образовательных учреждений и научных организаций, утвержденное постановлением Правительства Российской Федерации от 21 марта 2011 г. № 000, нормативные правовые акты, регламентирующие осуществление процедуры государственной аккредитации образовательного учреждения и научной организации (далее – организации), а также Федеральные государственные образовательные стандарты и федеральные государственные требования, относящиеся к экспертируемому материалу;

способы и методы работы со служебной информацией и персональными данными;

требования к содержанию и оформлению заключений комиссии по экспертизе, а также документов, подготавливаемых в ходе осуществления процедуры экспертизы.

2. Эксперт должен уметь:

проводить анализ, систематизировать и обобщать информацию;

оформлять заключение комиссии по экспертизе с использованием средств компьютерной техники и информационных технологий;

взаимодействовать в процессе проведения экспертизы с другими экспертами, с вышестоящими органами, МОРЦ;

- проводить анализ образовательных программ (в том числе учебных планов, рабочих программ учебных курсов, предметов, дисциплин (модулей) и других материалов, обеспечивающих как профессиональное, так и нравственное развитие, воспитание и качество подготовки обучающихся, а также программ учебной и производственной практик, календарных учебных графиков, методических материалов, обеспечивающих реализацию соответствующей образовательной технологии);

- проводить контроль освоения обучающимися образовательной программы в форме собеседования, а также путем тестирования обучающихся и выпускников организации с использованием заданий стандартизированной формы (педагогических измерительных материалов);

- проводить анализ хода проведения учебных занятий, текущего контроля успеваемости, промежуточной аттестации обучающихся;

- устанавливать соответствие (несоответствие) качества подготовки обучающихся федеральным государственным образовательным стандартам, федеральным государственным требованиям.

3. Эксперт должен обеспечивать соответствие уровня своей квалификации установленным требованиям с учетом изменения законодательства Российской Федерации в области образования (в том числе Федеральных государственных образовательных стандартов и федеральных государственных требований), совершенствования форм и методов проведения экспертизы, развития компьютерной техники и информационных технологий.

Экспертирование проектов новых образовательных программ проводится на основании следующих критериев (таблица 9):

- общие критерии – те, которые позволяют оценить значимость образовательной программы с точки зрения основных тенденций, целей и направлений развития и модернизации профессионального образования на разных уровнях его организации;

- специальные критерии – те, которые позволяют оценить компетентность авторов и содержательность образовательной программы с точки зрения ее полноты, соответствия нормативным и понятийным требованиям;

- частные критерии – такие, которые позволяют оценить степень обоснованности разработанной программы с точки зрения возможностей ее реализации и функционирования.

Данные критерии позволяют провести развернутый анализ экспертируемой образовательной программы с точки зрения ее теоретической и практической значимости. В связи с тем, что предполагается процентное оценивание программы по каждому из элементов, представленные критерии можно рассматривать как важный ориентир для проведения оценки и выработки рекомендаций. При этом у эксперта имеется возможность выразить отношение по программе с использованием в каждом разделе суждения «да/нет». «Да» – соответствие результатам освоения программы: ее структурируемому содержанию и т. д.; «Нет» – несоответствие и т. п.

В итоге экспертирования, ориентируясь на представленные критерии достигнутого уровня разработки и апробации программы, их разработчикам даются рекомендации по развитию тех аспектов, которые не были представлены или представлены слабо.

Таблица 9.

Критерии экспертирования образовательных программ

Общие критерии
1.	Новизна программы	- адаптационная; - комбинированная; - радикальная.
2.	Масштабность программы	- локальный уровень; - региональный уровень; - межрегиональный уровень; - федеральный уровень.
3.	Эффективность образовательной программы	- соответствие результатов характеристикам современного образования и перспективным задачам системы образования в Российской Федерации; - материально-техническая база соответствуют современным характеристикам профессиональной деятельности; - практическая апробация обеспечивает освоение компетенций на рабочем месте.
Специальные критерии
1.	Полнота структуры программы	Представлены: - вопросами и необходимым учебным временем для занятий по безопасности труда; - информационными и коммуникационными технологиями, применяемыми в учебном процессе при реализации данной программы, соответствующие современному уровню и позволяющие учитывать перспективы их дальнейшего развития.
2.	Согласованность структурных частей программы	Соотношение объемов частей программы: - соответствие современным характеристикам профессиональной деятельности; - обеспечение возможности для выполнения заявленных требований к результатам. Форма представления: - указание всех сведений, однозначно идентифицирующих обучаемых (уровень образования, профессия (специальность), разрядность, квалификационный уровень); - представление структурированного содержания программы (перечень всех разделов) с достаточной степенью детализации и полноты; - полное представление расшифровки применяемых обозначений и сокращений, в достаточной степени подробно даны разъяснения понятий, используемых терминов; - полное представление перечня учебной литературы, рекомендуемой к использованию в образовательном процессе, соответствующей действующему Перечню учебных изданий для образовательных учреждений, реализующих образовательные программы начального / среднего / дополнительного профессионального образования; - полное и в достаточной степени подробное представление перечня нормативных правовых актов, методических и иных документов, на основании которых составлена программа.
Частные критерии
1.	Реалистичность программы	- достаточная степень детализации и полноты; - обеспечение возможности достоверного подтверждения достижения всех видов результатов; - соответствие возрастным особенностям и возможностям обучающихся; - материально-техническая база позволяет обеспечить реализацию современных образовательных потребностей и возможностей обучающихся (по жизнеобеспечению и безопасности, сохранению и укреплению здоровья, развитию профессионального, социального и творческого опыта обучающихся и др.).
2.	Реализуемость программы	- оценка качества освоения программы обеспечивает определение выполнения заявленных требований к результатам на основе четкой системы критериев; - кадровый потенциал исполнителя имеет достаточную квалификацию в области теоретических знаний, практических навыков и умений; - учебно-методическое и информационное обеспечение реализации программы соответствуют современному уровню и учитывают перспективы развития информационных и коммуникационных технологий.
3.	Инструментальность (управляемость)	- обеспечение соответствия результатов современным характеристикам профессиональной деятельности; - организация управления реализацией программы в полной мере обеспечивает учет интересов и потребностей участников образовательного процесса при формировании и реализации основных образовательных программ.

Данные критерии могут быть выражены в виде текста или в виде таблицы, как представлено в примерном образце:

Примерный образец

ЭКСПЕРТНОЕ ЗАКЛЮЧЕНИЕ

по результатам апробации программ обучения и подготовки слушателей, учащихся и студентов для сети образовательных учреждений на базе ресурсного центра

Наименование программы обучения и подготовки слушателей, учащихся и студентов для сети образовательных учреждений на базе ресурсного центра:

Рабочая ПРОГРАММА ПРОФЕССИОНАЛЬНОГО МОДУЛЯ

ПМ.00. «____________________________________________»

для специальности _________ «___________________» (________)

№ п/п	Наименование показателей оценки	Сужде ние (да, нет)	Оценка (%)	Примеча ние
1	2	3	4	5
1. Разработка программы
1.1	Результаты освоения программы:
1.1.1	- представлены с достаточной степенью детализации и полноты
1.1.2	- обеспечивают соответствие результатов характеристикам современного образования и перспективным задачам системы образования в Российской Федерации
1.1.3	- обеспечивают соответствие результатов современным характеристикам профессиональной деятельности
1.1.4	- обеспечивают возможность достоверного подтверждения достижения всех видов результатов
1.1.5	- могут быть реализованы в системе начального и среднего профессионального образования Российской Федерации
1.2	Соотношение объемов частей программы:
1.2.1	- соответствует современным характеристикам профессиональной деятельности
1.2.2	- обеспечивает возможности для выполнения заявленных требований к результатам
1.3	Форма представления:
1.3.1	- указаны все сведения, однозначно идентифицирующие обучаемых (уровень образования, профессия (специальность), разрядность, квалификационный уровень)
1.3.2	- представлено структурированное содержание программы (перечень всех разделов) с достаточной степенью детализации и полноты
1.3.3	- полно представлены расшифровки применяемых обозначений и сокращений, в достаточной степени подробно даны разъяснения понятий, используемых терминов
1.3.4	- полно представлен перечень учебной литературы, рекомендуемой к использованию в образовательном процессе, соответствует действующему Перечню учебных изданий для образовательных учреждений, реализующих образовательные программы начального / среднего / дополнительного профессионального образования
1.3.5	- полно и в достаточной степени подробно представлен перечень нормативных правовых актов, методических и иных документов, на основании которых составлена программа
1.4	Учтены вопросы и выделено необходимое учебное время для занятий по безопасности труда
1.5	Информационные и коммуникационные технологии, применяемые в учебном процессе при реализации данной программы соответствуют современному уровню и позволяют учитывать перспективы их дальнейшего развития
1.6	Оценка качества освоения программы обеспечивает определение выполнения заявленных требований к результатам на основе четкой системы критериев
1.7	Организация управления реализацией программы в полной мере обеспечивает учет интересов и потребностей участников образовательного процесса при формировании и реализации основных образовательных программ
В целом программа:
	- представлена с достаточной степенью детализации и полноты
	- соответствует законодательству Российской Федерации
	- отвечает характеристикам современного образования
	- соответствует возрастным особенностям и возможностям обучающихся
	- может быть реализована в системе образования Российской Федерации
Практическая апробация
2.1	Кадровый потенциал исполнителя имеет достаточную квалификацию в области:
2.1.1	- теоретических знаний
2.1.2	- практических навыков и умений
2.2	Материально-техническая база:
2.2.1	- соответствуют современным характеристикам профессиональной деятельности
2.2.2	- позволяет обеспечить реализацию современных образовательных потребностей и возможностей обучающихся (по жизнеобеспечению и безопасности, сохранению и укреплению здоровья, развитию профессионального, социального и творческого опыта обучающихся и др.)
2.3	Финансовое обеспечение достаточно для создания необходимого качества реализации программы и эффективной стимуляции его повышения
2.4	Учебно-методическое и информационное обеспечение реализации программы соответствуют современному уровню и учитывают перспективы развития информационных и коммуникационных технологий
2.5	В целом практическая апробация:
2.5.1	- проведена в соответствии с содержанием программы
2.5.2	- обеспечивает освоение компетенций на рабочем месте
3. Рекомендации по доработке
3.1
3.2
…

Заключение

Достигнутый уровень разработки и апробации программы является:	Качественная оценка (выбрать соответствующий пункт)	Обоснование
- достаточными для внедрения программы	«А»
- условно достаточным, требующим доработок	«В»
- не достаточным	«С»

подпись эксперта _________________ Ф. И.О.

ученая степень

дата ________ г.

Копия диплома о присвоении ученой степени прилагается.

Рекомендуемый образец экспертного заключения является базовым и может дополняться другими пунктами, которые эксперт сочтет важными, например:

-  востребованность программы, ее модульность, практикоориентированность, актуальность, степень применения компетентностного подхода, включенность представителей работодателей в ее реализацию;

-  качество модульной структуры программы, возможность реализации вариативных модулей, актуальных для единиц клиентской сети ресурсного центра и их заказчиков;

-  степень проработанности и актуальности учебно-методического обеспечения программы;

-  результативность применяемых технологий обучения;

-  качество системы контроля образовательных результатов и др.

Заполнение таблицы для эксперта носит вспомогательную роль – представить в упорядоченном виде свое понимание качества проведения апробации.

Основным пунктом в отзыве является вывод, который эксперт делает на основании своего личного мнения и, в случае наличия замечаний, обосновывает его:

«Достигнутый уровень разработки и апробации программы является:

- достаточными для внедрения программы

- условно достаточным, требующим доработок

- не достаточным».

В соответствии с полученными заключениями от экспертов, при необходимости, проводится доработка программ(-ы) и учебно-методических комплектов:

- область применения образовательной программы определяется соответствующими профессиональными компетенциями (ПК);

- требования по освоению профессионального модуля должны быть соизмеримы целям и задачам модуля;

- общее количество часов на освоение программы профессионального модуля конкретизируется количеством часов на учебную и производственную практику;

- требования к минимальному материально-техническому обеспечению конкретизируются перечнем оборудования для учебных кабинетов и рабочих мест кабинетов по дисциплинам (модулям);

- структурированное содержание программы, включая перечень всех разделов, рекомендуется детализировать в части информационных и коммуникационных технологий;

- все требуемые для освоения программы знания должны найти отражение в дидактических единицах МДК (при этом не должно быть единиц, не обозначенных в знаниях, то есть не должно быть лишнего);

- все умения должны быть отражены в практических занятиях и лабораторных работах (при этом не включаются работы, не отраженные в умениях);

- все работы, отраженные в требованиях к практическому опыту, должны найти отражение в видах работ по практике;

- перечень учебной литературы, рекомендуемой к использованию в образовательном процессе, должен соответствовать действующему Перечню учебных изданий для образовательных учреждений, реализующих образовательные программы среднего профессионального образования;

- перечень учебной литературы, нормативных правовых актов, методических и иных документов, на основании которых составлена программа, может быть дополнен актуальными ссылками: информационно-аналитическими, научно-практическими материалами, современными и периодическими печатными или электронными изданиями, интернет-ресурсами.

По результатам экспертизы, после устранения замечаний со стороны экспертов, должны быть осуществлены доработка сетевых программ и уточнение методических рекомендаций по проведению апробации сетевых образовательных программ.

Методические рекомендации должны быть согласованы с работодателями отрасли и Заказчиком.

[1] Программа апробации включает в себя всю деятельность, необходимую для планирования, организации и проведения апробации.

[2] Контрольно-измерительные материалы (далее – КИМ, оценочные материалы, тесты) - измерительное средства, представляющее собой стандартизированную систему калиброванных заданий стандартной формы, позволяющее надежно и объективно оценить уровень достижений испытуемых и выразить результат в числовом эквиваленте. При этом качество КИМ оценивается через соответствие характеристик тестовых заданий и КИМ совокупности требований к качеству КИМ.

[3] объективность – оценивания, как демонстрирует практика, обеспечивается максимальной стандартизацией ее проведения. Объективность процедуры измерения возможна лишь при одинаковых условиях для всех участников. Данная процедура должна дополняться объективностью обработки данных и интерпретации полученных результатов.

[4] валидность (пригодный) – характеристика, указывающая на то, что измеряется и насколько хорошо это делается, например, пригодность тестовых результатов для той цели, ради которой проводится тестирование (качество заданий, их число в тесте, глубина охвата содержания, баланс распределения заданий в тесте по степени трудности).

[5] надежность – характеристика, показывающая обеспечение объективности результатов; отражающая точность диагностических измерений; устойчивость результатов к действию случайных факторов

[6] Квалификационные требования к экспертам в области проведения государственной аккредитации образовательного учреждения и научной организации (утв. приказом Министерства образования и науки РФ от 01.01.01 г. N 2701)