Методические рекомендации по апробации сетевых образовательных программ (стр. 6 )

Инструменты и методы сбора, обработки информации для оценки эффективности сетевых образовательных программ и профессиональных модулей:

1.  На этапах текущего контроля оценка знаний, умений и практического опыта обучающихся, как дескрипторов формируемых компетенций, осуществляется в соответствии с универсальной шкалой (табл. 12):

Таблица 12

Процент результативности (правильных ответов)	Качественная оценка индивидуальных образовательных достижений
балл (отметка)	вербальный аналог
90 ÷ 100	5	отлично
80 ÷ 89	4	хорошо
70 ÷ 79	3	удовлетворительно
менее 70	2	неудовлетворительно

2.  На этапе промежуточной и итоговой аттестации заполняется таблица (Приложение 18). Для заполнения таблицы необходимо:

- определить общее количество баллов по знаниям и умениям;

- определить сумму баллов по знаниям и умениям (Б);

- определить общую эффективность деятельности по знаниям и умениям (Эд) согласно формуле:

Эд = Б/Бmax× 100%,

где «Б» – сумма баллов эффективности деятельности обучающегося;

«Бmax» – максимальная сумма баллов эффективности деятельности обучающегося без учета ошибок;

- определить процент обучающихся, эффективность знаний которых 85% и более (Э1); эффективность знаний которых находится в пределах от 65% до 84 % (Э2); эффективность знаний которых находится в пределах от 45% до 64% (Э3);

3.  По окончании этапа апробации студентами/слушателями заполняется специально разработанная анкета (Приложение 19)

4.  Преподаватель-апробатор проводит анализ результатов анкетирования (Приложение 20).

5.  Администрацией образовательных учреждений проводится анализ посещения учебных занятий и заполняются листы посещения.

9. Методика экспертизы программ и УМК по итогам апробации, включающая оценку сетевых программ и результатов освоения соответствующих модулей программ на базе ресурсного центра

По окончании апробации независимыми экспертами делаются заключения по итогам эксперимента, в которых дается оценка новых разработанных образовательных программ, учебно-методических комплексов к этим программам и итогов самой апробации, основанных на результатах освоения материалов студентами, слушателями.

Основными принципами, на основе которых должна осуществляться экспертиза:

·  соблюдение законности, соблюдение прав и свобод человека и гражданина при производстве экспертизы;

·  принцип независимость эксперта; эксперт должен давать заключение, основываясь на результатах собственных исследований, при этом он несет личную ответственность за данное им заключение;

·  объективность исследования, при котором выводы о новых образовательных программах строятся исключительно на профессиональном мнении и практических знаниях эксперта, а также на результатах апробации, подтвержденных соответствующими аналитическими справками;

·  принцип компетентности, который гарантирует участие в качестве экспертов специалистов, имеющих практический опыт, в педагогической и практической деятельности соответствующего направления;

·  принцип осведомленного согласия, эксперт должен дать исчерпывающую информацию;

·  принцип открытости и публичности экспертных действий и решений;

·  принцип комплексности (многокритериальности) в исследовании и оценке новых образовательных сетевых программ;

Основные этапы экспертизы:

1. Ознакомление экспертов с критериями, разработанными МОРЦ для проведения экспертизы новых образовательных сетевых программ и результатов их апробации

2. Знакомство эксперта с сетевыми программами и УМК к этим образовательным программам

3. Первичное экспертное заключение новых сетевых образовательных программ по формальным признакам

4. Индивидуальное исследование экспертами педагогической, методической, управленческой, материально-технической обеспеченности новых образовательных программ на "пилотных" площадках

5. Индивидуальное исследование (присутствие на теоретических и практических занятиях, проведение тестирований, опросов, анализ промежуточной и итоговой аттестации) результатов апробации новых программ

6. Определение экспертами совместно с представителями МОРЦ основных пунктов экспертного заключения и их содержания в контексте вопросов и критериев оценивания.

7. Оформление экспертных заключений

Другими словами, основной метод, используемый при экспертном исследовании новых сетевых образовательных программ, а также результатов апробации этих учебных курсов сводятся к Методу системного анализа, при котором исследуемая программа рассматривается в трех основных проекциях (как структура, образовательный процесс и набор функций, направленных на результат)

Методика предполагает использование следующих методов:

-  Анализ соответствия программы формальным требованиям;

-  Анализ содержательной составляющей программ;

-  Анализ формальных результатов (например, соответствие результатов итоговой аттестации, заложенным требованиям в учебной программе)

-  Анализ динамики развития студентов, слушателей (например, промежуточные тестирования в процессе апробации программы, с последующими аналитическими выводами)

-  Анализ педагогической организации образовательной среды.

Базовая схема для построения системы оценок в ходе проведения апробации включает в себя ключевые вопросы, на которые проводимые измерения должны давать ответ на разных шагах внедрения новых образовательных программ. Эти ответы могут иметь различное оформление в зависимости от того, кому из заинтересованных потребителей они представлены и для выполнения каких задач (принятия каких решений) они предназначены.

Все этапы проведения апробации, будут заложены в конечную оценку эффективности апробации.

Используя материалы ФИРО, МОРЦ рекомендует следующую методику проведения экспертизы новых сетевых программ:

Первый этап.

Проводится техническая экспертиза сетевых программ и модулей. Проверяется соответствие программы формальным требованиям. Результат первого этапа – решение о допуске программы к содержательной экспертизе или об отклонении программы.

Ниже приведены критерии, которые учитываются при анализе новых сетевых программ на первом этапе и указываются в экспертном заключении.

Критерии оценки сетевых программ;

·  информация об авторах-разработчиках и/или организации-разработчике, а также об образовательном учреждении, реализующем программу;

·  требования к обучающимся (образование, опыт работы);

·  требования к результатам освоения программы;

·  тематический план;

·  описание дидактических единиц учебного материала;

·  наименование лабораторных и практических заданий, виды заданий и примерную тематику самостоятельной работы обучающихся (при наличии);

·  перечень видов работ на практике (при наличии);

·  условия реализации программы, в том числе организация образовательного процесса, информационные ресурсы, кадровое обеспечение, материально-техническая база и др.;

·  описание форм и методов контроля и оценки результатов освоения программы;

·  информация о порядке, видах и итогах аттестации.

Второй этап. Проводится содержательная экспертиза новых сетевых программ и УМК экспертами-представителями работодателей и представителями образовательного сообщества.

Для оценки эффективности программы по результатам апробации также проводится итоговое анкетирование слушателей/студентов по окончании обучения.

Но, несомненно, основным показателем эффективности является уровень освоения студентами, слушателями сетевой образовательной программы, т. е. уровень сформированности общих и профессиональных компетенций.

-  Определение эффективности освоения программы заключается в процентном эквиваленте соотношения суммы набранных балов к максимально возможному количеству балов. Учебное заведение само выбирает оценочную шкалу для аттестации.

По итогам аттестации оформляется оценочная ведомость (экзаменационная ведомость) по профессиональному модулю. Примерный образец приведен в таблице (13).

Таблица 13

Вариант оценочной ведомости по профессиональному модулю

Министерство образования …………………………. наименование УЗ Оценочная ведомость по профессиональному модулю _______________________________________________________________ код и наименование профессионального модуля ФИО ____________________________________________________________ Курс________, группа _________ Специальность _______________________________________________________ код и наименование Объем ______ час. Результаты промежуточной аттестации по элементам профессионального модуля (если предусмотрено учебным планом). Элементы модуля (код и наименование МДК, код практик) Формы промежуточной аттестации Оценка МДК 0n.01 ________ Экзамен МДК 0n.0m ________ Экзамен УП Зачет ПП Зачет Результаты выполнения и защиты курсового проекта (работы) (если предусмотрено учебным планом; если защита проекта входит в экзамен квалификационный – пункт переносится ниже). Тема «________________________________________________________» Оценка _______________________. Итоги экзамена (квалификационного) по профессиональному модулю Результаты (освоенные профессиональные и общие компетенции) Показатели оценки результата Оценка (да / нет) Если нет, то что должен обучающийся сделать дополнительно Заключение комиссии: Программа профессионального модуля _________________________________________________ освоена/ не освоена наименование профессионального модуля Дата ___.___.20___ Подписи членов экзаменационной комиссии

Варианты сводных ведомостей представлены в таблицах 15 – 16.

В целом эффективность освоения программы = Количество набранных баллов по итогам аттестации / максимально возможное количество балов * 100 % (таблица 14).

Таблица 14

Шкала эффективности программ (модулей) по итогам аттестации

№ п/п	Средний процент эффективности по всей группе	Уровень эффективности программы (модуля)
1.	85% - 100%	Высокий
2.	75% - 84%	Выше среднего
3.	60 % - 74%	Средний
4.	50 – 59 %	Ниже среднего
5.	40 - 49%	Низкий
6.	Менее 40 %	Неудовлетворительный

Итак, экспертное заключение по итогам апробации должно включать в себя следующие разделы:

·  общая характеристика программы: целевая аудитория, срок реализации, на который рассчитана программа, степень новизны программного курса в системе профессионального и дополнительного образования;

·  характеристика структуры программы (краткое описание разделов и их анализ);

·  характеристика организации апробации: методическое, материально-техническое, кадровое и прочее соответствие условий проведения требованиям;

·  характеристика результатов испытаний (аттестации) обучающихся на соответствие их подготовки ожидаемым результатам;

·  данные по уровню освоения профессиональных компетенций, заложенных в образовательной программе;

·  общие выводы о качестве и эффективности новой образовательной сетевой программы, с учетом критериев, указанных в содержательной экспертизе.

На основе результатов экспертизы соответствия программы потребностям регионального (отраслевого) рынка труда и дидактической целесообразности программы модуля принимается одно из трех решений:

-  рекомендовать к включению в перечень профессиональных модулей в рамках ОПОП и (или) программ для повышения квалификации и (или) переподготовки кадров в области туризма и сервиса:

-  вернуть разработчикам на доработку;

-  отклонить.

Экспертное заключение строится на аргументации экспертов о том, что представляется актуальным / устаревшим, целостным / произвольно-структурированным, грамотным / безграмотным, целесообразным / нецелесообразным, перспективным / бесперспективным, обеспеченным/не обеспеченным (по эффективности, диагностики).

Язык и стиль изложения экспертного заключения должен отличаться четкостью, ясностью, убедительностью и логикой.

Рецензия на программу должна содержать ее аргументированную оценку, рекомендации по совершенствованию недостатков и заключительный вывод о возможности использования в системе профессионального и дополнительного образования.

Эксперт заверяет содержание рецензии личной подписью, указывает полностью свои фамилию, имя, отчество, должность и место работы. Документ скрепляется печатью организации, удостоверяющей подпись рецензента.

Все представленные для апробации программы профессиональных модулей в обязательном порядке должны быть обеспечены учебно-методическим комплексом. Цель разработки УМК по профессиональному модулю является организация и управление образовательным процессом в соответствии с требованиями ОПОП и ФГОС СПО (НПО). За качество разработки УМК, соответствие требованиям ФГОС по направлению подготовки, своевременное обновление и доступность УМК отвечает автор – преподаватель(ли) соответствующего ПМ.

УМК профессионального модуля, по своей сути, – информационная модель процесса обучения, структурированный системный комплекс учебно-методических материалов, обеспечивающих качественное освоение обучающимися (студентами) содержания профессионального модуля и позволяющий эффективно формировать профессионально значимые компетенции. УМК предназначен, как преподавателям и мастерам производственного обучения, так и обучающимся (студентам). Он позволяет и тем и другим оптимально организовать свое время и отвечает принципу «прозрачности» образования.

Учебно-методический комплекс ориентирован на:

·  развитие у обучающихся (студентов) общих и профессиональных компетентностей, необходимых для успешной профессиональной деятельности;

·  развитие рефлексивного опыта, гражданской позиции, способностей к решению проблем и задач;

·  на формирование индивидуальной и коллективной ответственности за профессиональные действия.

Программные и учебно-методические материалы, включаемые в УМК, должны отражать современный уровень развития образования, предусматривать логически последовательное изложение учебного материала, использование современных методов и технических средств образовательного процесса, позволяющих обучающимся (студентам) глубоко осваивать изучаемый материал и получать умения и навыки для его использования на практике.

Экспертиза УМК образовательной программы представляет собой довольно сложную задачу, поскольку охватывает своим содержанием весь перечень действий, осуществляемых в процессе образования, а именно усвоение нового материала (теоретический блок) и закрепление/контроль знаний (практический блок, блок оценочно-диагностических средств и контрольно-измерительных материалов). Плюс ко всему содержит методические указания для студентов и преподавателей, что создает удобство для работы последних и учебы для первых (нормативный блок, методический блок).

Табличный вариант экспертного заключения представлен в таблице 17.

При экспертизе качества УМК нужно рассматривать три аспекта.

Первый – это степень адекватности отображения вида профессиональной деятельности и формируемых компетенций в структурных компонентах УМК.

По первому аспекту можно выделить следующие критерии:

·  соответствие материалов УМК требованиям ФГОС СПО/НПО;

·  отражение в материалах УМК требований профессиональных стандартов (при условии их наличия):

·  учет в материалах УМК специфики профессий и специальностей сферы туризма и сервиса, требований работодателей;

·  отражение в материалах УМК региональных особенностей и перспектив развития туристско-рекреационного кластера СКФО;

·  отражение в содержании УМК современных достижений науки, культуры и других сфер общественной практики, связанных со сферой туризма и сервиса;

·  наличие согласований материалов УМК с работодателем.

Второй – успешность решения поставленных задач профессионального обучения. По второму аспекту можно выделить несколько критериев, определяющих эффективность применения методических материалов:

·  целостность ­– УМК в полной мере выступает как модель проектируемой педагогической системы освоения профессионального модуля (сетевой программы);

·  научность – содержание УМК опирается на современные достижения науки, образовательной практики и реализует авторский подход к объекту изучения;

·  детерминированность и обеспеченность учебной деятельности обучающихся – УМК определяет целевую программу действий обучающихся и обеспечивает ее соответствующими средствами обучения, а также создает условия для самоуправления учебно-профессиональной деятельностью;

·  модульность – учебный модуль выступает единой структурной единицей УМК;

·  связь между целями и результатами обучения – диагностичность описания целей, реализация требований ФГОС, обеспечение контроля, включая объективные методы, за достижением целей.

·  соответствие характеристикам, отражённым в учебном плане (название, трудоёмкость, семестры, формы учебной работы, виды контрольных мероприятий и т. д.).

·  вариативность материалов УМК в зависимости от требований ФГОС по специальности/направлению подготовки, целей образовательной программы и учебного плана.

Третий аспект – это соответствие УМК задачам сетевого взаимодействия. По третьему аспекту можно выделить следующие критерии:

·  учет общей идеологии региональной политики и парадигмы сетевого взаимодействия образовательных учреждений в рамках туристско-рекреационного кластера СКФО;

·  создание оптимальных условий для сетевого взаимодействия путем систематизации учебно-методических материалов и сведения к минимуму нормативно-методических, стандартно реализуемых документов, обеспечивающих подготовку выпускников;

·  обеспечение единства требований к студентам;

·  наличие электронного контента УМК, обеспечение электронными учебно-методическими материалами всех видов учебных занятий и учебной и внеаудиторной деятельности;

·  доступность и полнота методической помощи обучающимся и преподавателям, простота использования.

К экспертизе УМК целесообразно привлекать нескольких специалистов, которые будут осуществлять его изучение и анализ поэлементно (по блокам).

Технический эксперт осуществляет анализ программы профессионального модуля как базового методического документа, регламентирующего содержание и структуру модуля, его место и значение в системе подготовки рабочего/специалиста данного профиля, составляющего основу УМК. Это основной рабочий документ преподавателя, определяющий содержание, объем и порядок изучения профессионального модуля, а также формы (виды) контроля образовательных результатов. Поэтому эксперт устанавливает соответствие оформления программы модуля установленному макету программы профессионального модуля. Специалисты в области профессионального образования, представители работодателей осуществляют экспертизу содержания программы профессионального модуля по критериям, которые были изложены выше.

Эксперт-методист может осуществлять анализ и оценку качества методических рекомендаций по организации практических, лабораторных и семинарских занятий, которые оформляются как отдельный компонент УМК и могут включать (в зависимости от специфики) перечень практических, лабораторных и семинарских занятий по профессиональному модулю, а также средства и методы обучения обучающихся (студентов), рекомендации по организации учебной деятельности, указания по оформлению практических и лабораторных работ (если необходимо). Методические рекомендации оценивается и по тем критериям, которые были изложены выше.

Методист может также сделать экспертизу методических указаний для обучающихся (студентов) по внеаудиторной самостоятельной работе, которые также оформляются как отдельный компонент УМК и могут включать в себя (в зависимости от специфики учебного курса) перечень тем для самостоятельного изучения обучающимися (студентами) с указанием объема времени, перечень форм и методов контроля самостоятельной работы обучающихся (студентов), указания и рекомендации по подготовке рефератов и контрольных работ, перечень необходимой литературы. Естественно, методические указания оценивается и по тем критериям, которые были изложены выше.

В экспертном заключении на учебно-методические материалы (учебные пособия, методические рекомендации, методические указания) оценивается:

·  соответствие содержания учебного материала ФГОС НПО/СПО и рабочей программе;

·  логичность, стиль и последовательность изложения материала;

·  научный и методический уровень материала;

·  наличие и качество дидактического аппарата (обобщений, выводов, контрольных вопросов, заданий и т. п.);

·  качество иллюстративного материала (рисунков, схем, чертежей) и его соответствие изучаемому предмету;

·  соответствие объема учебного материала количеству учебных часов;

·  отражение регионального компонента;

·  наличие согласований с работодателем;

·  адаптированность к условиям сетевого взаимодействия.

К экспертизе ФОС и комплектов оценочных средств могут привлекаться эксперты из числа методистов, специалистов в области теории и методики профессионального образования и представители работодателей. Они устанавливают соответствие контрольно-оценочных средств по профессиональному модулю задачам и содержанию входного, текущего контроля, промежуточной и итоговой аттестации, утвержденному Положению о фонде оценочных средств основных профессиональных образовательных программ профессий/специальностей, реализуемых в образовательном учреждении НПО/СПО, требованиям ФГОС. Кроме того, ФОС оценивается и по тем критериям, которые были изложены выше.

В экспертном заключении на ФОС (КОС) отмечается:

·  соответствие форм и методов контроля дескрипторам компетенций;

·  однозначность и корректность заданий;

·  наличие и правильность эталонов ответов;

·  соответствие общего количества заданий для контроля содержанию программы и объему учебного материала;

·  правомерность использования различных типов и видов заданий;

·  возможность выполнить обучающемуся задание за отведенное время;

·  наличие согласований с работодателем;

·  адаптированность к условиям сетевого взаимодействия.

К экспертизе дидактических средств организации учебных занятий (конспекты теоретического материала, опорные плакаты, карточки-задания, кроссворды, наглядные средства, сборники заданий, задач, примеров, упражнений и другой материал, используемый преподавателем на занятии и пр.) целесообразно привлекать как методистов, так и специалистов в области теории и методики профессионального образования.

Каждое экспертное заключение заканчивается выводом о возможности или невозможности использования учебных материалов в образовательном процессе.

Обобщенное экспертное заключение по итогам апробации УМК должно включать в себя следующие разделы:

·  общая характеристика УМК: соответствие ФГОС НПО/СПО, программе модуля; четкость структуризации (модульность); полнота материалов, их способность обеспечить формирование компетенций, которых должен достичь студент; комплексность (теоретические, практические материалы, промежуточная и итоговая аттестация); мобильность (возможность модернизации компонентов УМК каждые 1–1,5 года); современность и соответствие научным достижениям в соответствующей сфере; оптимальность (размещение дидактических единиц на различных носителях информации); доступность компонентов УМК для студентов и преподавателей при сетевом обучении.