Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов по направлениям 050400 Психолого-педагогическое образование и 050100 Педагогическое образование (профили «Дошкольная педагогика», «Дошкольная педагогика и психология) (разработчики – , )

Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов по направлениям 050400 Психолого-педагогическое образование и 050100 Педагогическое образование (профили «Дошкольная педагогика», «Дошкольная педагогика и психология) (разработчики – , )

Апробация КИМ проводилась на двух группах студентов. В качестве экспериментальной выступила группа студентов колледжа (31 группа колледжа № 8 «Измайлово» Г. Москвы), проходивших практику в экспериментальном формате. В качестве контрольной – группа студентов того же колледжа (41 группа), практику не проходивших. Всего в апробации принял участие 21 человек.

Кроме разделения заданий КИМ по трем блокам (программы, задания, инструменты оценки) и по трем уровням (репродуктивный, пользовательский и конструктивный) в данных КИМ задания отличались и по типам действий, которые оценивались у студентов. Выделялось три типа действий: использование понятий для решения профессиональной задачи (П), обще-интеллектуальные действия – аргументация и сравнение (И), рефлексивные действия (Р).

К рефлексивным относились следующие действия:

Р1. Умение соотносить цель и средство, вывод и способ его получения, цель и результат.

Р2. Умение соотносить свое суждение с основаниями – с позицией, умение соотносить позиции. Умение относиться к понятию как к возможности объекта (если под А понимать то-то..).

Р3. Умение оценивать чужой комментарий: есть ли внутренняя критика – логичность –не логичность суждения.

Данные по результатам выполнения контрольно-измерительных материалов приведены в Приложении 3.

Надежность параллельных форм аттестационных измерительных материалов, оценивающих общекультурные и профессиональные компетенции выпускников.

Надежность параллельных форм проявляется в том, насколько соответствуют друг другу по сложности разные варианты заданий одного и того же типа контрольно-измерительных материалов. Результаты выполнения заданий разных блоков для студентов, обучающихся на специальности «Дошкольное образование», представлены в Таблице 1 (группа студентов, проходивших практику) и в таблице 2 (контрольная группа).

Таблица 1. Успешность решения задач разных блоков (вариантов) в экспериментальной группе.

	А (программы)	В (содержание )	С (диагностика)
Среднее значение	1,777	11,333	10,888
Максимум	10	45	34
% выполненных заданий	17,77	25,18	32,03

Таблица 2. Успешность решения задач разных блоков (вариантов) в контрольной группе.

	А (программы)	В (содержание )	С (диагностика)
Среднее значение	1,09	8,27	6,36
Максимум	10	45	34
% выполненных заданий	10,9	18,3	18,71

Анализ успешности выполнения разных вариантов КИМ показывает, что варианты оказались не равнозначными: блок «Программы» явно сложнее для выполнения.

В то же время блоки «Задания» и «Инструменты оценки» соответствуют друг другу по сложности, что позволяет их использовать, как взаимозаменяемые формы аттестационных измерительных материалов, отвечающих требованию надежности. При этом, поскольку они диагностируют разные профессиональные компетентности – в построении занятий и в разработке (проведении) оценочных процедур, рекомендуется использовать их не в отдельности друг от друга, а вместе.

Внешняя валидность аттестационных педагогических измерительных материалов.

Одна из задач, которая решалась при создании контрольно-измерительных материалов, состояла в том, чтобы установить соответствие между современным пониманием результативности ступеней общего образования, зафиксированным в ФГОС НОО, ФГОС ФГОС ОО, а также в ФГТ, к содержанию и освоению программ дошкольного образования с одной стороны, и результативностью высшего профессионального педагогического образования, определяемого ФГОС СПО (050144 Дошкольное образование). Предлагаемые контрольно-измерительные материалы устанавливают такое соответствие. Сформированность общекультурных и профессиональных компетентностей устанавливается на материале профессиональных задач направленных на достижение современной результативности образования, как она определяется во ФГОС и ФГТ. Таким образом, можно говорить, что уровень успешности выполнения заданий, составляющих аттестационные педагогические измерительные материалы для проведения квалификационного испытания выпускника учреждения среднего профессионального педагогического образования должен позволять судить о степени готовности выпускников педагогических вузов к реализации ФГТ и ФГОС ступеней общего образования. Проверить эту гипотезу можно, сопоставив успешность решения задач КИМ студентами контрольной и экспериментальной группы.

Диаграмма 1.

Сопоставление успешности выполнения разных трех блоков заданий в экспериментальной и контрольной группах.

На диаграмме отчетливо видно, что студенты, прошедшие практику, оказались более успешными в решении задач, требующих профессиональной окмпетнтности.

Таким образом, справедливо утверждать что предлагаемые контрольно-измерительные материалы отвечают требованию внешней валидности. Еще одно подтверждением этого находим в результате сопоставления успешности выполнения заданий, входящих в состав обсуждаемой аттестационной работы и успешности прохождения этими же студентами экспериментальной педагогической практики. Экспертные оценки выставлялись на основании наблюдений за взаимодействием практикантов с детьми, а также на основании их активности в ходе семинаров, проходивших в рамках практики.

Таблица 3.

Сопоставление результативности выполнения заданий КИМ с экспертными оценками по итогам прохождения экспериментальной практики.

		В	П	И	Р	Баллы без выборов	Экспертная оценка по практике
1	С. Дарья	16	4	7	4	15	5
2	Е. Елизавета	12	2	4	0	6	3
3	К. Владимир	16	1	1	3	5	3
4	Г. Дарья	15	3	4	0	7	3
5	А. Дарья	19	7	10	1	18	5
6	Ф. Нина	10	3	4	0	7	4
7	Ф. Яна	12	3	2	0	5	4
8	Г. Татьяна	13	4	5	0	9	5
9	Л. Евгения	17	5	7	2	14	5

Из Таблицы 3 видно, что двое студентов, получивших высшие экспертные оценки по практике, получили и наиболее высокие баллы за выполнение задание контрольно-измерительных материалов. Трое студентов, получивших низшие ответки по практике, получили наименьшее количество баллов при заполнении КИМ. Таким образом, можно становить наличие тенденции взаимосвязи успешности прохождения практики и заполнения КИМ, что позволяет говорить о внешней надежности инструментария.

Таблица 4. Успешность использования понятий, применения интеллектуальных и рефлексивных действий в экспериментальной и контрольной группах.

	В	П	И	Р
Контрольная группа	40,40	10,38	8,75	1,2
Экспериментальная группа	53,49	16,07	18,10	7,40

В этой таблице представлены средние результаты по отдельным действиям (использованию понятий, общеинтеллектуальным действиям и рефлексивным действиям) у экспериментальной и контрольной групп. Мы видим, что наименьшую дифференциацию дает количество правильных выборов, это означает, что правильные ответы слишком узнаваемы. Для того чтобы выбор имел большую дифференцирующую силу, необходимо при доработке КИМ продумать более сложные дистракторы.

Относительно же применяемых действий видны значимые различия: в полтора раза выше средний балл по параметру «использование понятий», вдвое – по аргументации и сравнению, в пять раз – по использованию рефлексивных суждений. Это подтверждает тезис о способности методики различать студентов по степени их подготовленности к обоснованию профессионального действия, уровню развития профессиональной рефлексии.

Внутренняя валидность аттестационных педагогических измерительных материалов, оценивающих общекультурные и профессиональные компетенции выпускников.

Внутренняя валидность аттестационных педагогических измерительных материалов определяется соответствием предлагаемых в аттестационных материалах заданий определению общекультурных и профессиональных компетентностях. Аттестационные задания принципиально не ориентированы на простое воспроизведение знаний. Даже задания самого низкого, репродуктивного уровня сконструированы таким образом, что дают возможность студенту продемонстрировать указанные компетентности.

Внутренняя валидность может проявиться в нарастании уровня сложности от уровня к уровню: это будет означать, что задания более высоких уровней требуют большей компетентности от студентов.

Таблица 4. Успешность решения задач разного уровня в контрольной группе.

репродуктивный		выборы	предметные	Интеллект.	рефлексивные
Среднее значение	4,18	0,90	0,45	0,90
максимум	12	4	3	2
% выполненных заданий	34,84	22,72	15,15	4,54
пользовательский	Среднее значение	6,72	0,81	1,36	0,90
максимум	14	9	18	12
% выполненных заданий	48,05	9,09	7,57	0,75
конструктивный	Среднее значение	0	0,45	0,54	0
максимум	0	8	6	2
% выполненных заданий	0	5,68	9,09	0

Успешность решения задач разного уровня в экспериментальной группе.

репродуктивный		выборы	предметные	Интеллект.	рефлексивные
Среднее значение	5,555	1,222	1,111	0,333
максимум	12	4	3	2
% выполненных заданий	46,29	30,55	37,03	16,66
пользовательский	Среднее значение	8,888	1,444	2,666	0,333
максимум	14	9	18	12
% выполненных заданий	63,49	16,04	14,81	2,777
конструктивный	Среднее значение	0	0,888	1,333	0,222
максимум	0	8	6	2
% выполненных заданий	0	11,111	22,21	11,111

Сопоставление выполнения заданий разных уровней показало, что репродуктивный уровень оказался более простым для обеих групп студентов. Однако однозначного повышения сложности от пользовательского к конструктивному уровню не происходит. В некоторых случаях студентам оказалось сложнее решить задачи пользовательского уровня. Качественный анализ отдельных заданий контрольно-измерительных материалов показывает, что необходимо предпринять следующие меры для повышения внешне валидности измерительных материалов. Во-первых, несколько снизить уровень сложности задний пользовательского уровня. Во-вторых, приписать различные веса заданиям репродуктивного, пользовательского и конструктивного уровней. Это позволит увеличить дифференцирующую силу контрольно-измерительных материалов.

В целом апробируемые контрольно-измерительные материалы показали свою способность дифференцировать студентов, что проявилось при сопоставительном анализе результатов студентов экспериментальной и контрольной групп, с одной стороны, и студентов вуза и колледжа, с другой. Материалы могут быть рекомендованы для использования при проведении квалификационных испытаний.