Аналитические материалы по результатам апробации аттестационных педагогических измерительных материалов: по русскому языку для специальности «Русский язык и литература» (руководитель группы разработчиков КИМ - ).

Надёжность параллельных форм аттестационных педагогических измерительных материалов, оценивающих общекультурные и профессиональные компетенции выпускников.

В каждом из трёх вариантов наблюдалась нарастающая трудность: от репродуктивного к конструктивному уровню.

Выполняя КИМы, студенты демонстрировали сформированность профессиональных умений и компетенций на трех уровнях: репродуктивном, пользовательском, конструктивном. Самый сложный уровень для студентов был конструктивный, где студентам самим предлагалось составить элементы программы, задания, контрольно-измерительные материалы.

Студенты хорошо справились с конструктивным уровнем на втором и третьем вариантах «Задания» и «Инструменты оценки». Трудность для студентов вызвал первый вариант «Учебные программы» (см. таблицу 1).

Таблица 1

Задания в % (конструктивный уровень)

Учебные программы

Задания

Инструменты оценки

Номера заданий

5

6

5

8

9

5

6

Экспериментальная группа

68,8

76,6

100

90

76

86,6

96

В таблице 2 приведены данные студентов, набравшие мах и мin количество баллов. Следует отметить, что и первый и второй студенты хуже справились с первым блоком «Учебные программы» на конструктивном уровне. У второй студентки затруднения вызвал и третий блок «Инструменты оценки» также на конструктивном уровне.

НЕ нашли? Не то? Что вы ищете?

Таблица 2

Учебные программы

Задания

Инструменты оценки

№/балл

1/4

2/3

3/3

4/4

5/2

6/12

1/1

2/1

3/1

4/4

5/3

6/1

7/3

8/3

9/5

1/3

2/2

3/3

4/4

5/3

6/3

итого

ФИО

1.

4

3

3

4

1

11

1

1

1

4

3

1

3

3

5

3

2

3

4

3

3

66

2.

3

3

3

3

0

10

1

1

1

4

3

1

2

3

3

3

2

3

3

2

2

56

Самыми сложными для студентов экспериментальной группы оказались следующие задания:

«Учебные программы»: Задание 5 (конструктивный уровень овладения умением разрабатывать программу учебной дисциплины в соответствии с требованиями ФГОС)

Составьте три верных соответствия: спрогнозируйте, при выполнении каких видов предметных учебных действий возможно достижение названных в таблице личностных результатов обучения русскому языку.

Личностные результаты обучения русскому языку

Предметные учебные действия

1

Стремление к речевому самосовершенствованию

А

Сформулируйте собственное мнение по одной из проблем …

Составьте рецензию на ответ ученика…

2

Достаточный объем словарного запаса и усвоенных грамматических средств для свободного выражения мыслей и чувств в процессе речевого общения

Б

Определите, какие из предложенных слов являются исконно-русскими…

Редактирование текста: найдите в тексте разговорные и просторечные слова и замените их на общеупотребительные…

3

Осознание эстетической ценности русского языка; уважительное отношение к родному языку, гордость за него; потребность сохранить чистоту русского языка как явления национальной культуры

В

Подберите синонимы к подчёркнутым словам…

Напишите сочинение-рассуждение на одну из предложенных тем…

4

Г

Спишите, расставляя пропущенные знаки препинания…

Исправьте стилистические ошибки…

Ответ занесите в таблицу

1

2

3

С пятым заданием справились 68,8% студентов экспериментальной группы.

«Задания»: Задание 6 (репродуктивный уровень овладения умением конструировать учебные задания, направленные на формирование метапредметных результатов)

Готовясь к уроку обобщающего повторения по пунктуации, учащиеся 9 класса выполняли следующее задание:

Верны ли следующие суждения? Ответ оформите в виде таблицы.

1)  После обобщающего слова перед перечислением однородных членов предложения ставится тире.

2)  Если однородные члены соединены двойными союзами как…так, не только…но и, настолько…насколько, то запятая ставится перед второй частью союза.

3)  Обособляется определение, относящееся к личному местоимению, независимо от степени распространённости и местоположения определения.

4)  Между однородными придаточными предложениями, соединёнными неповторяющимися соединительными или разделительными союзами ставится запятая.

5)  В бессоюзном сложном предложении ставится тире, если вторая часть раскрывает содержание того, о чём говорится в первой части.

6)  Придаточное предложение отделяется от главного запятой или выделяется запятыми с обеих сторон, если находится внутри главного.

Какое задание позволит ученикам научиться самостоятельно обнаруживать ошибки в своих работах, вносить коррективы в их выполнение на основе учета характера ошибок:

1) Правильные ответы представлены в таблице.

Верно

Неверно

2, 3, 6

1, 4, 5

Проверьте свою работу. За каждый верный ответ поставьте 1 балл.

2) Проверьте свою работу, используя учебник и справочную литературу. Результаты самопроверки занесите в таблицу:

Номер суждения, при оценке истинности которого допущена ошибка

Причина ошибки

(что я не знаю)

Источник, в котором я нашел верный ответ

(с указанием страницы)

3) Правильные ответы представлены на доске. Проверьте свою работу. Результаты самопроверки занесите в таблицу.

Верно

Неверно

Выпишите суждения, при оценке истинности которых вы допустили ошибки. Подчеркните в каждом из них ключевое понятие, о котором идет речь. Составьте с каждым из этих слов (словосочетаний) два верных суждения.

С шестым заданием справились 70% студентов экспериментальной группы.

Лучше всего студенты экспериментальной группы справились с Задание 2 «Учебные программы» (100%) и заданием 5 «Задание» (100%).

Задание 2 проверяло репродуктивный уровень овладения умением разрабатывать программу учебной дисциплины в соответствии с требованиями ФГОС.

Задание 5 выявляло конструктивный уровень овладения умением овладения умением конструировать учебные задания, направленные на формирование предметных грамотностей.

Внешняя валидность параллельных форм аттестационных педагогических измерительных материалов, оценивающих общекультурные и профессиональные компетенции выпускников.

Выполняя КИМ, студенты могли набрать мах 68 баллов.

ФИО

Успеваемость студентов:

Набранное количество баллов

Экспериментальная группа

3/4

58

3/4

58

3/4

56

5/4

64

5/4

66

3/4

60

3/4

58

5/4

62

4

62

5/4

66

Контрольная группа

4

53

3/4

50

3

47

3/4

50

3/4

50

4

53

Следует отметить, что студенты, которые входили в экспериментальную группу справились с КИМ в целом лучше, чем те студенты, которые не участвовали в эксперименте (см. баллы).

Студенты контрольной группы хуже справились с первым блоком «Учебные программы» (например, справились с 1 заданием только 2 студента из 6 студентов).

Второй блок вызвал затруднение у студентов экспериментальной и контрольной группы. В блоке «Задания» наибольшую трудность для студентов вызвали материалы на пользовательском уровне.

Лучше всего студенты справились с третьим блоком – это «Инструменты оценки».

Профессиональные умения и компетенции у студентов сформированы на трех уровнях: репродуктивном, пользовательском, конструктивном. Затруднения у студентов вызвали частично задания на пользовательском и конструктивном уровнях.

Выполнение заданий в %.

Первый блок «Учебные программы»

Задания в %

1

2

3

4

5

6

Экспериментальная группа

97,5

100

70

72,5

68,8

76,6

Контрольная группа

33,3

66,6

50

60

50

66,5

Второй блок «Задания»

Задания в %

1

2

3

4

5

6

7

8

9

Экспериментальная группа

80

72,5

100

72,5

100

70

86,6

90

76

Контрольная группа

70

66,6

90

39,5

83,3

60

83,3

66,6

56,6

Третий блок «Инструменты оценки»

Задания в %

1

2

3

4

5

6

Экспериментальная группа

86

95

76

76,6

86,6

96

Контрольная группа

83,3

83,3

66,6

68,3

72

74,4

Рекомендации по корректировке и доработке апробируемых материалов:

В содержание диагностической работы необходимо внести следующие изменения:

1.  Задание 5 (Диагностическая работа № 1 «Учебные программы»). Необходимо изменить предметные учебные действия (убрать из пункта А Составьте рецензию на ответ ученика…).

Составьте три верных соответствия: спрогнозируйте, при выполнении каких видов предметных учебных действий возможно достижение названных в таблице личностных результатов обучения русскому языку.

Личностные результаты обучения русскому языку

Предметные учебные действия

1

Стремление к речевому самосовершенствованию

А

Сформулируйте собственное мнение по одной из проблем …

2

Достаточный объем словарного запаса и усвоенных грамматических средств для свободного выражения мыслей и чувств в процессе речевого общения

Б

Определите, какие из предложенных слов являются исконно-русскими…

Редактирование текста: найдите в тексте разговорные и просторечные слова и замените их на общеупотребительные…

3

Осознание эстетической ценности русского языка; уважительное отношение к родному языку, гордость за него; потребность сохранить чистоту русского языка как явления национальной культуры

В

Подберите синонимы к подчёркнутым словам…

Напишите сочинение-рассуждение на одну из предложенных тем…

4

Г

Спишите, расставляя пропущенные знаки препинания…

Исправьте стилистические ошибки…

Ответ занесите в таблицу

1

2

3

2.  Задание 4 (Диагностическая работа № 1 «Учебные программы»). Необходимо изменить предметные результаты (заменить формулировку п.1 Уметь анализировать и характеризовать предложение на Уметь анализировать словарную статью, определять по пометам стилистическую принадлежность слова).

Задание 4. Перед вами фрагмент тематического планирования по теме «Предложение» (8 класс).

Заполните пропуски в таблице:

– согласуйте предметные результаты, заявленные в таблице, с метапредметными и личностными результатами обучения русскому, представленными в списке;

– поставьте буквы списка в соответствующие ячейки таблицы.

Результаты обучения русскому языку

Предметные

Метапредметные

Личностные

Уметь анализировать словарную статью, определять по пометам стилистическую принадлежность слова

Уметь использовать речевые этикетные формулы, средства выражения значения утверждения и отрицания

Уметь производить синтаксический анализ предложения

А. Понимание определяющей роли родного языка в развитии интеллектуальных, творческих способностей и моральных качеств личности. Стремление к речевому самосовершенствованию.

Б. Способность извлекать информацию из различных источников.

В. Достаточный объем усвоенных грамматических средств для свободного выражения мыслей и чувств в процессе речевого общения

Г. Способность определять последовательность действий.

Задание 4 (Диагностическая работа № 1 «Учебные программы»). Необходимо убрать – (тире) из 3 п.(метапредметные результаты).

Результаты обучения русскому языку

Предметные

Метапредметные

Личностные

Уметь анализировать словарную статью, определять по пометам стилистическую принадлежность слова

Уметь использовать речевые этикетные формулы, средства выражения значения утверждения и отрицания

Уметь производить синтаксический анализ предложения

-- (убрать)

В содержание ответов и в указания по оцениванию работ необходимо внести следующие изменения:

1.  Задание № 1 (Диагностическая работа № 1 «Учебные программы») – изменить количество мах баллов с 4 на 3.

Содержание верного ответа и указания по оцениванию

(допускаются иные формулировки ответа, не искажающие его смысл)

Баллы

Могут быть названы следующие элементы ответа:

Номер программы, соответствующей ФГОС – 1

Могут быть приведены такие аргументы:

– отмечается, что программа составлена с опорой на фундаментальное ядро содержания общего образования (ключевой нормативный документ, созданный в рамках разработки ФГОС и фиксирующий набор ключевых фактов, понятий, идей, методов и теорий, относящихся к наукам, отраслям знания и культуры, представленным в курсе средней школы);

– программа является ориентиром для составления рабочих программ для всех общеобразовательных учреждений (основной образовательной программы учреждения);

– программа не задает последовательности изучения материала и распределения его по классам (в отличие от всех предшествующих программ);

– программа ориентирована на фундаментализацию содержания общего образования (проявление усиления общекультурной направленности общего образования; ответ на вызовы времени, связанные с возрастающей профессиональной мобильностью выпускников школы и необходимость непрерывной образовательной подготовки)

Верно указана программа, соответствующая ФГОС. Приведены два верных аргумента

3

Верно указана программа, соответствующая ФГОС. Приведен один верный аргумент

2

Верно указана программа, соответствующая ФГОС.

Аргумент не приведен ИЛИ приведен неверный аргумент ИЛИ приведен аргумент, не относящийся к делу

1

Номер программы, соответствующей ФГОС, указан неверно

0

Максимальный балл

3

2.  Задание 5 (Диагностическая работа № 1 «Учебные программы») – изменить количество мах баллов с 2 на 3.

Указания к оцениванию

Баллы

Составлены три верных соответствия

3

Составлены два верных соответствия

2

Составлено одно верное соответствие

1

Все соответствия составлены неверно

0

Максимальный балл

3

Рекомендации по оцениванию: сейчас мах балл, который могут набрать студенты, – 68 баллов, это не очень удобно для подсчёта результатов. Может быть, увеличить количество баллов до 100 (например, увеличить в два раза баллы за правильно выполненные задания на конструктивном уровне).