Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов, специальность «Начальное образование», предмет «Математика» (руководитель группы разработчиков ) (стр. 3 )

	КИМ - программы	КИМ - задания	КИМ – инструменты оценки
Репродуктивный уровень	Рефлексивный уровень	Конструктивный уровень	Репродуктивный уровень	Рефлексивный уровень	Конструктивный уровень	Репродуктивный уровень	Рефлексивный уровень	Конструктивный уровень
Приступили к выполнению	100%	100%	95%	100%	100%	82%	100%	91%	77%

Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов, специальность «Начальное образование», предмет: «Окружающий мир» (руководитель группы разработчиков г. Пенза).

Внешняя валидность

аттестационных педагогических измерительных материалов.

В апробации контрольно-измерительных материалов по окружающему участвовали студенты МГППУ (магистратура, 1 курс, 3 человека).

Аттестационные педагогические измерительные материалы направлены на оценивание уровня теоретической и практической подготовки выпускников, их общекультурных и профессиональных компетенций, необходимых для работы в начальной школе в условиях введения нового ФГОС.

Пакет КИМов по окружающему миру состоит из трех разделов: «КИМы – программы», «КИМы – задания, представленные в логике проведения урока», «КИМы – инструменты оценки». Каждый раздел КИМов состоит из трех уровней, отличающихся по сложности и рефлексивности: репродуктивный, рефлексивный, конструктивный. Задания репродуктивного уровня предполагают выбор из предложенных двух вариантов однозначно верного решения. Задания рефлексивного уровня направлены на нахождение верного решения из 3-4 вариантов, причем каждый комплект вариативен (содержит разное количество верных и неправильных решений, в том числе фрагмент–дистрактор, который задаче соответствует формально). Задания конструктивного уровня предполагают проверку применения умений на практике – самостоятельного выполнения задания КИМа.

Цель первого раздела «КИМы – программы» - оценить, насколько знают студенты требования Федерального государственного образовательного стандарта начального общего образования к результатам освоения основной образовательной программы начального общего образования и к рабочим программам отдельных учебных предметов.

Выполняя задание 1 уровня (репродуктивного), студенту необходимо было из предложенных фрагментов рабочих программ по предмету выбрать вариант, соответствующий требованиям ФГОС, и аргументировать выбор. Выполнили задание с максимальным количеством баллов (3 балла) 100% участников.

2 уровень (рефлексивный), содержит два идентичных варианта задания. В каждом варианте предлагается рабочая программа по предмету, соответствующая либо не соответствующая требованиям ФГОС, и две рецензии на нее. Студенту необходимо было выбрать правильную рецензию и аргументировать свой выбор. Выполнили задание с максимальным баллом (4 балла) 67% участников; выполнили задание более чем на 50% баллов – 33% участников; выполнили задание с 0 баллов – 0% участников.

В задании 3 уровня (исполнительского) предлагается фрагмент тематического планирования рабочей программы по предмету, где в графе «Характеристика учебной деятельности» к каждому уроку указаны только предметные действия. Студент должен был самостоятельно дополнить данную графу универсальными учебными действиями, которые планируется формировать на каждом из уроков, чтобы указанные универсальные учебные действия соответствовали задачам урока. Приступили к выполнению 100% участников. Их них выполнили задание с максимальным количеством баллов (4 балла) – 33% участников; выполнили задание более чем на 50% баллов – 33% участников; выполнили задание неверно (0 баллов) – 0% участников. Типичные ошибки и недочеты при выполнении данного уровня:

- формальное указание универсальных учебных действий;

- недопонимание студентами сути познавательных УУД и переформулирование их в предметные.

Таким образом, процент выполнения заданий этого раздела уменьшается в соответствии с возрастанием уровня сложности и рефлексивности, что является показателем внешней валидности измерительных материалов.

	Репродуктивный уровень	Рефлексивный уровень	Конструктивный уровень
Приступили к выполнению	100%	100%	100%
Выполнили с максимальным количеством баллов	100%	67%	33%
Выполнили более чем на 50% баллов	0%	33%	33%
Выполнили неверно – 0 баллов	0%	0%	0%

Цель раздела 2 «КИМ – задания, представленные в логике проведения урока» - оценить глубину понимания студентами способов формирования универсальных учебных действий в заданиях уроков различного типа (постановки учебной задачи; поиска общего способа действия и моделирования; контроля; оценки).

Выполняя задание 1 уровня (репродуктивного), студент из двух предложенных фрагментов уроков одного и того же предметного содержания должен был выбрать тот, который соответствует поставленной задаче формирования УУД, и аргументировать свой выбор.

Приступили к выполнению заданий данного уровня 100% участников. Из них выполнили задание с максимальным количеством баллов (10 баллов) – 67% участников; выполнили задание более чем на 50% баллов – 33% участников; выполнили задание неверно (0 баллов) – 0% участников.

Выполняя задание 2 уровня (рефлексивного), студент из трех предложенных фрагментов различного предметного содержания должен был выбрать тот, который соответствует поставленной задаче формирования УУД. Сложность для студента в том, что фрагменты содержат разный предметный материал, т. е. необходимо выделить некий общий способ диагностирования УУД.

Приступили к выполнению задания 100% участников. Из них выполнили задание с максимальным количеством баллов (13 баллов) – 0% участников; выполнили задание более чем на 50% баллов – 67% участников; выполнили задание неверно (0 баллов) – 0% участников. При выполнении заданий данного уровня студенты не учитывали наличие фрагмента–дистрактора (провокации), что говорит о недостаточной сформированности у них рефлексивного контроля.

Выполняя задание 3 уровня (исполнительского), студент должен был самостоятельно сконструировать задание, соответствующее поставленной задаче формирования УУД.

Приступили к выполнению задания 100% участников. Из них выполнили задание с максимальным количеством баллов (16 баллов) – 0% участников; выполнили задание более чем на 50% баллов – 67% участников; выполнили задание неверно (0 баллов) – 33% участников. Наиболее трудными для выполнения оказались задания из этапов моделирования, контроля и оценки уроков.

Таким образом, процент выполнения заданий этого раздела уменьшается в соответствии с возрастанием уровня сложности и рефлексивности, что является показателем внешней валидности измерительных материалов.

	Репродук-тивный уровень	Рефлек-сивный уровень	Конструк-тивный уровень
Приступили к выполнению	100%	100%	100%
Выполнили с максимальным количеством баллов	67%	0%	0%
Выполнили более чем на 50% баллов	33%	67%	67%
Выполнили неверно – 0 баллов	0%	0%	33%

Раздел 3 «КИМы – инструменты оценки» также состоит из трех уровней: репродуктивный, рефлексивный, конструктивный, и определяет степень овладения студентами инструментами диагностики и оценки сформированности у учащихся универсальных учебных действий. Успешность решения данных задач во многом зависит от того, как устроена система оценки: насколько она поддерживает и стимулирует учащихся; насколько она направлена на метапредметную, а не только на предметную составляющую; насколько включает учащихся в самостоятельную оценочную деятельность.

Выполняя задание 1 уровня, студент из четырех предложенных инструментов оценки результатов учащихся должен выбрать те, которые направлены на оценку сформированности у учащихся метапредметного результата (УУД).

Приступили к выполнению задания 100% участников. Из них выполнили задание с максимальным количеством баллов (4 балла) – 33% участников; выполнили задание более чем на 50% баллов – 0% участников; выполнили задание неверно (0 баллов) – 67% участников. Студенты, набравшие 0 баллов, не поняли задание, и вместо осуществления выбора карточки с инструментом оценки, сами выполняли задание урока, предназначенное для ребенка.

2 уровень (рефлексивный). Студентам предлагался фрагмент урока, где учащиеся выполняют некоторое задание, а также три варианта инструментов оценки, сформулированных как задание учащемуся и направленных на диагностику предметных грамотностей или универсальных учебных действий. Студент должен был определить, на формирование какого УУД направлено задание фрагмента урока, а затем выбрать из трех предложенных вариантов заданий те, которые направлены на оценку именно этого УУД.

Приступили к выполнению задания 100% участников. Из них выполнили задание с максимальным количеством баллов (3 балла) – 67% участников; выполнили задание более чем на 50% баллов – еще 33% участников; выполнили задание неверно (0 баллов) – 0% участников. Типичные ошибки и недочеты при выполнении данного уровня: прежде всего, неверное определение формируемого на уроке универсального учебного действия.

3 уровень (исполнительский). Предлагается фрагмент урока, где учащиеся выполняют задание, направленное на формирование какого-либо УУД. Студент должен определить, на развитие/формирование чего (какого УУД) направлено задание, и самостоятельно спроектировать инструмент оценки (оценочное задание).

Данный уровень оказался самым сложным. Приступили к выполнению задания 100% участников. Из них выполнили задание с максимальным количеством баллов (4 балла) – 0% участников; выполнили задание более чем на 50% баллов – 33% участников; выполнили задание неверно (0 баллов) – 33% участников. Типичные ошибки и недочеты при выполнении данного уровня: студенты не могут сконструировать инструмент оценки сформированности УУД.

	Репродук-тивный уровень	Рефлек-сивный уровень	Конструк-тивный уровень
Приступили к выполнению	100%	100%	100%
Выполнили с максимальным количеством баллов	33%	67%	0%
Выполнили более чем на 50% баллов	0%	33%	33%
Выполнили неверно – 0 баллов	67%	0%	33%

Анализируя процент выполнения заданий, можно сделать вывод, что задания, требующие теоретической подготовки, выполнены студентами лучше (раздел «КИМ-программы»). Гораздо более сложными оказались задания, ориентированные на практические умения (раздел «КИМ-задания»). И совершенно незначительный процент справился с конструированием контрольно-оценочных инструментов для универсальных учебных действий. На настоящий момент это наиболее актуальная проблема введения ФГОС.

Внутренняя валидность

аттестационных педагогических измерительных материалов.

Заключение о степени внутренней валидности аттестационных материалов можно сделать, сравнивая результаты выполнения КИМов студентами вуза и студентами колледжа, т. е. меру соответствия тестовых оценок уровню теоретической и практической подготовки выпускников, их общекультурных и профессиональных компетенций (среднее профессиональное образование и высшее профессиональное образование):

	Среднее профессиональное образование	Высшее профессиональное образование
Набрали более 50% возможных баллов	20%	69%
Выполнили задания репродуктивного уровня на 100%	48%	80%
Выполнили задания рефлексивного уровня на 100%	7%	40%
Выполнили задания конструктивного уровня на 100%	7%	11%
Не приступили к выполнению того или иного уровня	47%	0%

Надежность параллельных форм

аттестационных педагогических измерительных материалов.

Если рассмотреть согласованность результатов выполнения заданий одними и теми же студентами, то можно сделать следующие выводы: у 80% участников результаты выполнения одного и того же уровня в разных разделах идентичны. Это может быть еще одним показателем надежности КИМов. Уменьшающийся процент выполнения заданий студентами от уровня к уровню также свидетельствует о надежности контрольно-измерительных материалов (нарастающей трудности от репродуктивного к конструктивному уровню).

Как пример, результаты нескольких студентов (нулевые результаты в 1 уровне 3 раздела связаны с тем, что студенты не поняли задание):

	КИМы-программы	КИМы-задания	КИМы-инструменты оценки
1уровень (max 3балла	2уровень (max 4б)	3уровень (max 4б)	1уровень (max 10б)	2уровень (max 13б)	3уровень (max 16б)	1уровень (max 4б)	2уровень (max 3б)	3уровень (max 4б)
	100%	100%	Более 50%	100%	Более 50%	Более 50%	0%	100%	Более 50%
	100%	Более 50%	Менее 50%	Более 50%	Менее 50%	0%	0%	Более 50%	0%
	100%	100%	100%	100%	Более 50%	Более 50%	100%	100%	Более 50%

Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов, специальность «Начальное образование», предмет: «Литературное чтение» (руководитель группы разработчиков г. Пенза).