Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов: специальность: «Начальная школа» (авторы: к. ист. н. доцент Ю. Троицкий, к. филол. н. доцент )

Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов: специальность: «Начальная школа» (авторы: к. ист. н. доцент Ю. Троицкий, к. филол. н. доцент ).

В соответствии со спецификой подготовки педагогов на уровне среднего профессионального образования, осуществляющегося в соответствии с ФГОС СПО по направлению 050146 — Преподавание в начальных классах (УГС – Образование и педагогика), КИМы были ориентированы на работу с пониманием студентами колледжа специфики школьных образовательных стандартов нового поколения, в частности, ФГОС начального общего образования. В качестве материала для измерителей привлекались фрагменты программ, заданий и контрольных вопросов в рамках «гуманитарных» составляющих начального общего образования (предметы «Литературное чтение» и «Окружающий мир»).

Апробируемый комплект КИМов состоит из трех частей:

1) В первой части студенту колледжа предлагается поработать с текстом ФГОС НОО и выработать предварительные подходы к содержанию учебной программы. Цель – измерение уровня понимания студентами текста ФГОС.

Предполагается, что выпускник выбирает из предложенных ФГОС результатов обучения те, которые представляют собой совокупности знаний, умений и навыков младшего школьника, и те, которые имеют развивающий характер.

В этом случае

репродуктивный уровень студент демонстрирует, если умеет распознать и применить в своем ответе знания о тредиционных и инновационных подходах в педагогике;

пользовательский уровень обнаруживается в том, насколько обоснованно выпускник выбирает результаты образования, связанные с ЗУНовской перспективой преподавания и развивающими стратегиями инновационной дидактики;

конструктивный уровень заключается в способности выпускника предложить собственные подходы к формированию разных типов компетенций школьника.

2) Во второй части студенту дается набор оценочных средств (инструментов оценки) для измерения уровня подготовки школьников в области литературного чтения, способности к самостоятельному пониманию текстов, а также к текстопроизводству.

Выпускнику предлагается ранжировать (выстроить спецификацию и назначить баллы за оценочные задания) задания по степени возрастания в них деятельностных и компетентностных компонентов, выстроить оценочные средства в той логической последовательности, которая сделает возможным их применение в качестве целостного пакета контрольно-измерительных материалов. Предполагается обязательная саморефлексия выпускника по поводу своего практического занятия. Поскольку задание носит проектный характер, при его выполнении выпускником имеется возможность оценить его способность к пониманию и ответственной реализации образовательных проектов.

3) Задание (кейс) для разработки выпускником собственного сценария урока (задания).

Выпускнику предлагается для анализа ряд реальных учебных заданий, из которых он должен выбрать те, которые соответствуют поставленным в кейсе целям, а затем (устно) самостоятельно создать план урока.

Апробация КИМ проводилась в течение двух академических часов.

В экспериментальном экзамене приняли участие 23 студента Барнаульского государственного педагогического колледжа.

Внутренняя валидность аттестационных материалов.

В соответствии с предложенной разработчиком системой оценки (по количеству набранных баллов) с заданиями справились 100% студентов, участвовавших в апробации. При этом задания репродуктивного и пользовательского уровней выполнили все студенты (только репродуктивным владеют порядка 22% студентов, пользовательским – до 56%). Далеко не всем удалось получить положительный балл по итогам выполнения заданий конструктивного уровня (около 22% участников).

В приведенной ниже таблице можно увидеть процентные значения успешности выполнения отдельных заданий:

Номер задания	Профессиональное умение, проверяемое заданием	Уровень овладения профессиональным умением, проверяемый заданием	Время на выполнение задания (мин)	Принцип начисления баллов за задание	Полученные результаты
Часть 1. «Учебные программы»
1	Знание основных понятий и принципов современной педагогики, требований ФГОС НОО, умение выбирать образовательный контент, соответствующий этим требованиям.	репродуктивный	15	15-20 баллов: знает термины и понятия, осмысленно и аргументированно делает предложенный выбор; 10-14 баллов: испытывает небольшие затруднения, связанные с нетвердым знанием базовых понятий и принципов; 1-9 баллов: плохо ориентируется в материале, обладает фрагментарными знаниями, не способен осознанно сделать выбор.	Высший балл (15-20) получили 78% студентов. Средний балл (10-14) получили 22% студентов.
2	Умение применять на практике методические разработки, дидактические модели, концепции программ.	пользовательский	15	15-20 баллов: демонстрирует способность проецировать методические принципы программы на реальную учебную ситуацию; 10-14 баллов: достаточно хорошо реконструирует теоретические принципы, но затрудняется спроецировать их на реальный учебный процесс; 1-9 баллов: не понимает дидактической логики предложенных программных материалов, не способен применять их на практике.	Высший балл (15-20) получили 54% студентов. Средний балл (10-14) получили 21% студентов. Низкий балл (1-9) набрали 25% студентов.
3	Способность критически переосмыслять и корректировать образовательный контент программы на уровне ее практической реализации.	конструктивный	15	5-8 баллов: способен аналитически и критически отнестись к представленному контенту, указать на реальные затруднения при реализации изложенных дидактических принципов и предложить решение возможных проблем; 1-4 балла: способен достроить общие дидактические принципы до реальной учебной ситуации, предложив конкретные приемы и формы учебной деятельности, но затрудняется в решении проблемных задач.	Высокий балл (5-8) получили 19% студентов. Низкий балл (1-4) получили 81% студентов.
Часть 2. «Инструменты оценки»
1	Понимание различия между знаниевыми и деятельностными заданиями, умение опознавать на конкретном примере общие дидактические принципы построения диагностических заданий.	репродуктивный	10	15-20 баллов: знает термины и понятия современной дидактики, различает разные типы заданий в зависимости от типа учебной деятельности учащегося; 10-14 баллов: владеет понятийным аппаратом, но не может анализировать с его помощью конкретные задания; 1-9 баллов: плохо ориентируется в материале, обладает фрагментарными знаниями, не способен отличать теоретические и практические типы контрольных заданий.	Высший балл (15-20) получили 65% студентов. Средний балл (10-14) получили 32% студентов. Низкий балл (1-9) набрали 3% студентов.
2	Способность выбирать для практического использования контрольно-измерительные материалы, адекватные проверяемым предметным и метапредметным знаниям и навыкам.	пользовательский	10	15-20 баллов: понимает взаимосвязь между структурой учебной деятельности, результатами обучения и измерителями; уверенно различает разные типы заданий в зависимости от типа учебной деятельности и проверяемых результатов; 10-14 баллов: достаточно хорошо реконструирует теоретические принципы построения КИМов, но затрудняется с обоснованием целей их применения; 1-9 баллов: не понимает дидактической логики предложенных оценочных материалов, не способен соотнести КИМы с целями и принципами их формирования.	Высший балл (15-20) получили 59% студентов. Средний балл (10-14) получили 27% студентов. Низкий балл (1-9) набрали 14% студентов.
3	Способность самостоятельно анализировать уровни владения учащимся культурой понимания текстов и подбирать задания в зависимости от выделяемых уровней.	конструктивный	10	4-6 баллов: способен обоснованно сформулировать дефициты предложенных КИМов с точки зрения их целей и измерительного потенциала, критически осмыслить сам формат КИМов; 1-3 баллов: не вполне понимает различия между различными уровнями понимания текста учеником, не может ранжировать задания по уровню сложности.	Высокий балл (4-6) получили 14% студентов. Низкий балл (1-4) получили 86% студентов.
Часть 3. «Задания»
1	Понимание структуры учебной деятельности, способность анализировать уровни понимания текста учащимся с помощью заданных (в самом задании) параметров.	репродуктивный	15	15-20 баллов: знает термины и понятия современной дидактики, различает уровни понимания текста учеником, аргументированно отвечает на вопросы; 10-14 баллов: владеет понятийным аппаратом, но не может анализировать с его помощью конкретные фрагменты уроков и учебные задания; 1-9 баллов: плохо ориентируется в материале, обладает фрагментарными знаниями, не способен различать уровни понимания текста учеником, исходя из заданных параметров.	Высший балл (15-20) получили 73% студентов. Средний балл (10-14) получили 27% студентов.
2	Способность самостоятельно реконструировать цели и структуру учебной деятельности, анализировать текст методической разработки, вычленять ее дидактический потенциал.	пользовательский	15	15-20 баллов: способен реконструировать цели учебных действий на основе методической разработки, соотносить цели и средства обучения; 10-14 баллов: достаточно хорошо реконструирует теоретические принципы построения методики обучения, но затрудняется с обоснованием целей их применения; 1-9 баллов: не понимает дидактической логики предложенных учебно-методических материалов, не способен соотнести их с целями и принципами их формирования.	Высший балл (15-20) получили 56% студентов. Средний балл (10-14) получили 23% студентов. Низкий балл (1-9) набрали 21% студентов.
3	Способность критически переосмыслять и корректировать образовательный контент методической разработки на уровне ее практической реализации.	конструктивный	15	4-6 баллов: способен обоснованно сформулировать дефициты предложенных заданий и предложить решение обнаруженных проблем; 1-3 баллов: понимает и может обосновать недостатки представленных материалов, но не может предложить корректирующих действий по их устранению.	Высокий балл (4-6) получили 24% студентов. Низкий балл (1-4) получили 76% студентов.

По результатам апробации видно, что существенная часть студентов не справляется с заданиями конструктивного уровня. По нашему мнению, это не связано с чрезмерной сложностью материалов КИМ, но обусловлено спецификой выделения самого этого уровня, который будет вводиться в узус среднего профессионального образования постепенно – с расширением внедрения инновационных образовательных технологий и других параметров новых ФГОС СПО. На сегодняшний момент студенты колледжа, участвовавшие в апробации, фактически учатся по старым, традиционным стандартам, приемы инновационной педагогики проникают в колледжи с большим трудом. Поэтому не случайно, что студенты не могли дать более высокий результат по тем видам деятельности, где требуется творческое начало в области педагогических технологий, просто потому, что для его формирования необходимы занятия деятельностного креативного типа в рамках обучения в колледже.

Это свидетельствует о внутренней валидности КИМ, направленных на оценку именно тех компетенций, которые необходимы в современной школе в условиях введения стандарта общего образования.

Надежность параллельных форм.

По результатам апробации можно говорить о достаточной надежности КИМов, поскольку они удовлетворяют двум ключевым требованиям:

•  В каждом из трех вариантов имеется нарастающая трудность от репродуктивного к конструктивному уровню (это хорошо видно также и по результатам выполнения КИМов студентами колледжа). Данное свойство результатов наблюдается системно.

•  Результаты одних и тех же студентов по трем заданиям пакета КИМов являются согласованными. Как правило, уровень ответов конкретного студента на каждом из уровней каждого типа заданий соотносится с остальными его ответами. Иногда студенты хуже отвечали на отдельные вопросы (даже более простые по уровню), однако можно заметить, что это происходило из-за того, что они неправильно распределили время на выполнение заданий и либо не успевали выполнить задания третьей части (порядка 15%), либо не успевали вернуться к незавершенным ранее ответам (порядка 5%). В целом же времени для выполнения заданий было достаточно, о чем говорили сами студенты, и о чем свидетельствует большинство полностью выполненных работ.

Внутренняя валидность КИМ определяется корреляцией заложенных в них целей проверки и качеством ответов студентов при апробации. Навыки и способности, оцениваемые посредством апробированных КИМов, соотносятся с соответствующими компетенциями ФГОС СПО по специальности 050146 - Преподавание в начальных классах. Каждая из проверяемых способностей может быть реализована на репродуктивном, пользовательском и конструктивном уровне владения ею. Проанализируем с этой точки зрения содержание студенческих ответов и свойства КИМов (см. таблицу).

Предмет оценки	Характеристика ответов студентов	Анализ свойств КИМ
1.Способность выбирать стратегию и тактику обучения, исходя из его целей (ОК-2, ОК-4, ОК-7, ОК-9, ПК-1.1).	Студенты знают и понимают нормативно-методическую документацию, обеспечивающую их деятельность в качестве педагогов, способны самостоятельно и с определять цели обучения и соответствующие им средства и применять их на практике.	КИМы определяют разные уровни понимания образовательных целей, которые ставят перед собой будущие педагоги начальной школы, и способность эти цели соотносить с образовательной практикой. В этом отношении измерители могут считаться валидными.
2. Способность к методической работе в рамках современных подходов и требований стандартов качества образования (ОК-2, ОК-4, ОК-5, ОК-7, ОК-9, ПК-1.1, ПК-1.4, ПК-1.5).	Студенты могут самостоятельно вести методическую работу, одни из них имеют представление, где найти необходимые требования (репродуктивный уровень), другие могут осуществлять методические разработки «по образцу» (пользовательский уровень), третьи способны сами разработать методические подходы (конструктивный уровень).	КИМы фиксируют способность студентов определять характер, оценивать эффективность методических материалов и предлагать собственные решения в соответствии с тремя описанными уровнями владения данной способностью.
3. Готовность к практической реализации учебных программ с использованием современных образовательных технологий (ОК-2, ОК-3, ОК-6, ОК-7, ОК-9, ПК-1.2).	Студенты в целом недостаточно конкретно представляют себе реальный учебный процесс, затруднена их реакция на возникновение нестандартных учебных ситуаций. Однако они достаточно хорошо знают типовые подходы и, в зависимости от уровня владения данной способностью, смогут оперативно реагировать на те или иные вызовы.	КИМы достаточно хорошо фиксируют затруднения студентов, пытающихся спроецировать кейсы на реальную учебную ситуацию, позволяют определить практический потенциал будущих педагогов.
4. Способность разрабатывать и использовать в педагогической практике современные инструменты оценки и контроля качества образования (ОК-7, ПК-1.3, ПК-1.5)	Студенты способны выносить суждения о соответствии измерителей заложенным в них целям, о качественных характеристиках оценочных средств. Несколько слабее у них проявляется конструктивный подход к самостоятельной разработке контрольных заданий, что выявляет недостаточность практической подготовки.	КИМы позволяют определить уровень понимания студентами современной проблематики, связанной с оценкой не безличных знаний, умений и навыков, но субъектных склонностей и способностей школьника.

Внешняя валидность КИМ заключается в том, насколько результаты теста соответствуют внешнему критерию, по которому испытуемых оценивают эксперты. Поскольку к апробации привлекались студенты колледжа различных уровней успеваемости, уровень успешности выполнения заданий вполне коррелирует тому, как обычно учатся данные студенты.

В значительной мере повышению результативности выполнения заданий способствовало участие студентов в экспериментальной апробации практик. Часть студентов не проходили практику, однако, подверглись экспериментальному испытанию в рамках апробации КИМов. Их уровень по итогам экзамена не превышал репродуктивного, и результаты были невысокими.

Рекомендации по корректировке КИМов:

1. Следует скорректировать систему оценивания КИМов. Во-первых, необходимо более подробно прописать дескрипторы для заданий конструктивного уровня (предусмотреть как минимум три степени оценки и диапазона баллов, как и в описании первых двух уровней). Во-вторых, в данном виде в КИМах максимальный балл, который может получить студент, равен 140, а в описании системы оценки заявлена 100-балльная система оценки. Предлагается изменить систему исчисления баллов следующим образом:

Часть комплекта КИМов	Уровень формирования компетенций	Баллы
Часть 1. «Учебные программы»	Репродуктивный	10
Пользовательский	10
Конструктивный	10
Часть 2. «Инструменты оценки»	Репродуктивный	10
Пользовательский	10
Конструктивный	15
Часть 3. «Задания»	Репродуктивный	10
Пользовательский	10
Конструктивный	15

2. В критерии оценки ответов рекомендуется добавить характеристики стиля ответа, аргументированность, полноту, репрезентативность (иллюстрированность примерами) и т. п.

3. Целесообразно предпослать заданиям тезаурус основных понятий для снятия возможных разночтений при выполнении и проверке заданий.