Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов: социальная работа (разработчик )

Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов: социальная работа (разработчик ).

Апробация КИМ по специальности «Социальная работа» проводилась на базе АНОО ВПО "Институт экономики и управления в медицине и социальной сфере", факультет начального и среднего профессионального образования. Всего в апробации приняло участие 7 человек.

Современная ситуация социально-экономического развития России характеризуется существенными преобразованиями во всех сферах жизнедеятельности общества. Система отечественного образования, основные параметры которой определялись в прошлом веке на основе прежнего социально-экономического уклада, перестала отвечать современным требованиям и, тем более, не соответствует задаче ее функционирования в опережающем режиме. Новые вызовы требуют изменения структуры и содержания профессиональной подготовки молодого поколения нашей страны к достойной успешной жизни и к конкурентоспособной профессиональной деятельности в условиях социально-экономической модернизации российского общества. В сложившихся условиях ключевым звеном реализации современной образовательной политики становится эффективное введение нового поколения Федеральных государственных образовательных стандартов различных ступеней общего образования в действие, причем на содержательном, а не только на формальном уровне. Значительные перемены, произошедшие в концептуальных взглядах на общее и профессиональное педагогическое образование, ставят перед педагогической подготовкой студентов новые цели и задачи. Для будущих работников системы образования формирование их готовности к эффективной деятельности в условиях введения новых ФГОС ОО – задача, решаемая в процессе их профессиональной подготовки.

На ее решение нацелен также новый ФГОС СПО по направлению подготовки «040401 Социальная работа», принятый в октябре 2009 г.

Данный проект был направлен на создание соответствующих ожидаемым результатам профессионального обучения (валидных) и надежных инструментов и процедур оценки. Профессиональные компетенции, изложенные в ФГОС СПО по направлению подготовки «040401 Социальная работа» «форматируются» в результаты, составляющие шесть групп умений:

- разрабатывать программу учебной дисциплины в соответствии с требованиями федерального государственного образовательного стандарта;

- конструировать учебные задания, направленные на формирование предметных грамотностей на трех уровнях: формальном, предметном и функциональном;

- создавать и использовать контрольно-измерительные материалы, позволяющие оценивать предметные грамотности учащихся на трех уровнях: формальном, предметном и функциональном;

- создавать и использовать контрольно-измерительные материалы, позволяющие оценивать метапредметные умения учащихся;

- создавать и использовать контрольно-измерительные материалы, позволяющие оценить индивидуальное продвижение учащихся;

- разрабатывать оценочные процедуры, позволяющие диагностировать метапредметные умения и личностные достижения учащихся.

Для оценки уровня сформированности необходимых профессиональных компетентностей, установленных во ФГОС СПО проводится квалификационный экзамен, организуемый в стандартизированной форме (тестирование), с использованием современных методов и процедур оценивания. Пакет контрольно-измерительных материалов состоит из трех разделов: «КИМы – программы», «КИМы – задания», «КИМы – инструменты оценки». Каждый раздел контрольно-измерительных материалов включает в себя задания, позволяющие выявлять компетентности студентов соответственно трем уровням осуществления деятельности:

- репродуктивный уровень: студент может отличить, выбрать из предложенных вариант (задания, программы, инструмента оценки), соответствующий требованиям ФГОС разных ступеней общего образования;

- пользовательский уровень: студент может выбрать из ряда предложенных тот вариант (задания, программы, инструмента оценки), что соответствует поставленной (в КИМе) задаче;

- конструктивный уровень: студент может сконструировать вариант (задания, программы, инструмента оценки), соответствующий поставленной (в КИМе) задаче.

Стандартизированный тест – это тест, выполняемый в максимально унифицированных условиях и в силу этого позволяющий при необходимости сопоставить подготовку учащихся различных учебных заведений, вузов и даже стран, притом, что каждый из них сдает этот тест по месту своей учебы. Поскольку в настоящее время данный тест используется не только для определения ЗУН, но и компетенций, он должен содержать в себе вопросы не только закрытого (с выбором из общего списка правильных вариантов ответа), но и открытого типа (без приведенного списка возможных ответов, с предъявлением ситуационных задач, анализа текста и т. д.).

Стандартизация используется для повышения надежности инструмента. Надежность закрытых вопросов состоит в том, что на выбор предлагаются варианты ответов, среди которых есть дистракторы (ответы, близкие к правильному, но отличающиеся от него по существенным характеристикам). Стандартизация открытых вопросов заключается в том, что имеются надежные критерии для различения релевантных и нерелевантных ответов.

Внутренняя вадидность аттестационных материалов.

Цель первого раздела «КИМы – программы» - оценить знание студентами требований Федерального государственного образовательного стандарта к программам воспитания, социализации и духовно-нравственного развития обучающихся.

Выполняя задание 1 уровня (репродуктивного), студенту необходимо было из предложенных фрагментов программ воспитания, социализации и духовно-нравственного развития обучающихся выбрать вариант, соответствующий требованиям ФГОС и аргументировать выбор. Выполнили задание с максимальным количеством баллов (3 балла) 100% участников.

2 уровень (рефлексивный), студенту необходимо заполнить таблицу с указанием возможных метапредметных и личностных результатов, достигаемых обучающимися в процессе их воспитания, социализации и духовно-нравственного развития.

В задании 3 уровня (конструктивного) предлагается перечислить средства, используемые для реализации школьной программы воспитания, социализации и духовно-нравственного развития обучающихся, ориентированной на требования ФГОС ОО.

Таблица 1. – «КИМы – программы», результаты освоения.

Уровни заданий Результативность выполнения	Репродуктивный уровень	Рефлексивный уровень	Конструктивный уровень
Кол-во	В %	Кол-во	В %	Кол-во	В %
Приступили к выполнению	7	100	7	100	7	100
Выполнили полностью правильно	7	100	4	57,14	3	42,86
Выполнили с частичными ошибками	0	0	1	14,29	1	14,29
Не справились с заданием	0	0	2	28,57	3	42,86

Цель раздела 2 «КИМы – задания» - оценить понимание студентами современных технологий воспитания, социализации и духовно-нравственного развития обучающихся.

Выполняя задание 1 уровня (репродуктивного), студент должен показать владение педагогическим тезаурусом и знаниями требований новых ФГОС к разработке программ воспитания, социализации и духовно-нравственного развития обучающихся.

Выполняя задание 2 уровня (рефлексивного), студент должен решить педагогическую ситуацию в соответствии с требованиями новых ФГОС ОО, т. е. показать владение методологией и приемами современного воспитания.

Выполняя задание 3 уровня (конструктивного), студент должен был самостоятельно сконструировать задание, элемент программы, соответствующие поставленной задаче, взятой из ФГОС ОО.

Таблица 2. – «КИМы – задания», результаты освоения.

Уровни заданий Результативность выполнения	Репродуктивный уровень	Рефлексивный уровень	Конструктивный уровень
Кол-во	В %	Кол-во	В %	Кол-во	В %
Приступили к выполнению	7	100	7	100	5	71,43
Выполнили полностью правильно	4	57,14	3	42,86	2	28,57
Выполнили с частичными ошибками	1	14,29	2	28,57	1	14,29
Не справились с заданием	2	28,57	2	28,57	2	28,57

Раздел 3 «КИМ – инструменты оценки» также состоит из трех уровней: репродуктивный, рефлексивный, конструктивный, и определяет степень овладения студентами инструментами диагностики и оценки сформированности у учащихся социальной и личностной компетентности. Успешность решения данных задач зависит от того, владеет ли студент психолого-педагогической диагностикой и способен ли он поддерживать и стимулировать учащихся.

Выполняя задание 1 уровня (репродуктивного), студент должен показать владение психолого-педагогической диагностикой и знаниями требований новых ФГОС к результатам обучающихся.

Выполняя задание 2 уровня (рефлексивного), студент должен перечислить измеряемые показатели воспитания, социализации и духовно-нравственного развития обучающихся, по одному из результатов, сформулированному в соответствии с требованиями новых ФГОС ОО, т. е. показать владение методологией и техникой педагогической диагностики.

Выполняя задание 3 уровня (конструктивного), студент должен был самостоятельно сформулировать требования к экспертной карте, оценивающей результаты, которых учащиеся должны достичь в соответствии с ФГОС ОО.

Таблица 3. – «КИМ – инструменты оценки», результаты освоения.

Уровни заданий Результативность выполнения	Репродуктивный уровень	Рефлексивный уровень	Конструктивный уровень
Кол-во	В %	Кол-во	В %	Кол-во	В %
Приступили к выполнению	7	100	5	71,43	5	71,43
Выполнили полностью правильно	2	28,57	2	28,57	1	14,29
Выполнили с частичными ошибками	3	42,86	1	14,29	2	28,57
Не справились с заданием	2	28,57	2	28,57	2	28,57

Сравнивая успешность выполнения студентами заданий, представленных в разных разделах, можно сделать вывод, что задания, требующие теоретической подготовки, выполнены студентами лучше (раздел «КИМ-программы»). Гораздо более трудными для студентов оказались задания, ориентированные на практические умения (раздел «КИМ-задания) и особенно – задания по конструированию контрольно-оценочных инструментов. Таким образом, формирование у студентов практических умений и оценочной компетентности остается слабым местом педагогической подготовки.

Отдельный интерес представляет сравнение результативности студентов, проведенное по уровням контрольных заданий.

Таблица 4. – Уровни заданий, результаты выполнения по всем разделам.

Уровни заданий Результативность выполнения	Репродуктивный уровень	Рефлексивный уровень	Конструктивный уровень
Кол-во	В %	Кол-во	В %	Кол-во	В %
Приступили к выполнению	21	100	19	90,48	17	80,95
Выполнили полностью правильно	13	61,90	9	42,86	6	28,57
Выполнили с частичными ошибками	4	19,05	4	19,05	4	19,05
Не справились с заданием	4	19,05	6	28,57	7	33,33

Мы видим из результатов, приведенных в таблице, что к решению заданий репродуктивного уровня приступили все студенты, участвующие в апробации, полностью справились с заданиями 61,9 %, еще 19,05% - выполнили их с частичными ошибками. К заданиям рефлексивного уровня не приступили порядка 10%, а конструктивного – 20% студентов. Полностью правильное выполнение заданий рефлексивного уровня удалось менее чем половине испытуемых, а выполнение заданий конструктивного уровня провалили более 50% студентов.

Эти данные указывают, во-первых, на внутреннюю валидность апробируемого инструментария, наличии нарастания сложности заданий от уровня к уровню. Во-вторых, эти данные подтверждают существующие экспертные мнения о том, что в профессиональном обучении по-прежнему сохраняется ориентация на запоминание фактической информации и заучивание определенного ряда приемов, а рефлексивно-оценочная компетентность у студентов развивается в недостаточном объеме для успешного осуществления профессиональной деятельности.

Внешняя валидность

аттестационных педагогических измерительных материалов

Заключение о степени вешней валидности аттестационных материалов можно сделать, сравнив средние баллы успеваемости конкретных студентов с их результатами выполнения КИМ, т. е. определяя меру соответствия тестовых оценок уровню теоретической и практической подготовки выпускников СПО, их общекультурных и профессиональных компетенций:

- участники апробации, успевающие на «отлично» (28,57 от всех участников), полностью справились с 55,56% заданий, частично – с 22,22%, не справились – тоже с 22,22% заданий;

- студенты, успевающие в основном на «хорошо», без троек (42,86% от всех участников), полностью справились с 44,45 % заданий, частично – с 22,22%, не справились – с 33,33 % заданий;

- студенты, успевающие в основном на «удовлетворительно» (28,57 % от всех участников), полностью справились с 33,33 % заданий, частично – с 11,11 %, не справились – с 55,56 % заданий.

Таким образом, наблюдается взаимосвязь между уровнем теретической и практической подготовленности студентов колледжа и результатами, полученными в данной апробации. Это говорит о внешней валидности материалов, их способности объективно дифференцировать уровень развития студентов.

Надежность параллельных форм

аттестационных педагогических измерительных материалов

Если рассмотреть согласованность результатов выполнения заданий одними и теми же студентами, то можно сделать следующие выводы: у 71,43% участников результаты выполнения одного и того же уровня в разных разделах идентичны. Это означает, что параллельные формы аттестационных материалов, направленные на диагностику готовности педагогов оценивать, применять и разрабатывать инструменты развития и оценки компетентностей учащихся, являются равновесными по сложности и надежно оценивают уровень подготовленности студентов колледжа.