ТЕХНОЛОГИЯ СОЗДАНИЯ КИМ ДЛЯ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ ВЫПУСКНИКА НАЧАЛЬНОЙ ШКОЛЫ
Б.
МБОУ «Северский лицей» г. Северска Томской области
В статье рассказывается об опыте работы над педагогическим проектом «Технология создания КИМ для оценки качества образования выпускника начальной школы»; о новизне подхода к организации мониторинга достижений младших школьников, об использовании тестовых технологий, их структуре, и критериях качества тестов.
МБОУ «Северский лицей» является экспериментальной площадкой Центра мониторинга и оценки качества образования г. Томска. Создание системы оценки качества образования в России происходит в условиях реализации ФГОС, потому одной из актуальных для образовательных учреждений задач является разработка контрольно-измерительных материалов для оценки достижения школьниками планируемых результатов освоения основной образовательной программы (в том числе - определение комплекса критериев, процедур и технологий оценки, организацию педагогического мониторинга и его использование как неотъемлемого инструмента управления качеством образования).
Данная тема давно интересовала меня, и не случайно я взяла её как тему по самообразованию на 5 лет и плавно преобразовала в педагогический проект. В ноябре 2011 года я прошла курсы повышения квалификации по теме «Разработка и применение тестовых материалов для внутришкольного мониторинга». По окончании курсов мне и моим коллегам было предложено принять участие в разработке КИМов для весеннего мониторинга выпускников начальной школы по русскому языку и математике.
Мониторинг - целенаправленное, специально организованное, непрерывное слежение за функционированием и развитием образовательного процесса и/или его отдельных элементов в целях своевременного принятия адекватных управленческих решений на основе анализа собранной информации и педагогического прогноза. Цель мониторинга: оперативно и своевременно выявлять все изменения, происходящие в сфере деятельности образовательного учреждения. Полученные объективные данные являются основанием для принятия управленческих решений.
Субъектами мониторинга выступают все участники образовательного процесса. Степень их участия различна, но все они (и учителя, и ученики, и родители, и общественность) получают информацию, анализируют ее.
Объектами мониторинга являются образовательный процесс и его результаты.
Новизна подхода к организации мониторинга достижений младшими школьниками планируемых результатов освоения ООП(основной образовательной программы) состоит в следующем:
· изменились целевые установки контроля (задания ориентированы на проверку сформированности универсальных и специфических для каждого учебного предмета способов действий);
· появилась необходимость в использовании критериального подхода при разработке заданий. Основными критериями оценивания при этом выступают планируемые результаты освоения ООП;
· предметом диагностики выступают как достигаемые образовательные результаты, так и процесс их достижения;
· изменилась роль учителя при проведении работ (активный участник, рефлексивная позиция при анализе и коррекции, наблюдатель при проведении).
Такой подход обеспечивает педагогам возможность в деятельностном режиме осваивать новые способы организации оценочной деятельности.
Использование тестовых технологий
Тест – это инструмент, краткое стандартизованное испытание, в основе которого лежит специально подготовленный набор заданий, позволяющих объективно и надежно оценить исследуемые качества на основе использования статистических методов. При разработке и использовании уже готовых тестов важно знать, насколько они соответствуют запроектированным целям. Ответ на этот вопрос дают критерии качества теста.
Надежность – характеристика теста, показывающая обеспечивает ли тест объективность результатов; отражающая точность диагностических измерений; устойчивость результатов теста к действию случайных факторов.
Валидность (пригодный) – характеристика теста, указывающая на то, что тест измеряет и насколько хорошо он это делает; пригодность тестовых результатов для той цели, ради которой проводится тестирование (качество заданий, их число в тесте, глубина охвата содержания, баланс распределения заданий в тесте по степени трудности).
Объективность – оценивания, как показала практика, обеспечивается максимальной стандартизацией ее проведения. Объективность процедуры измерения возможна лишь при одинаковых условиях для всех участников. Кроме того, эта процедура должна дополняться объективностью обработки данных и интерпретации полученных результатов.
Уровень усвоения, на который рассчитан тест, зависит от содержания задания. Выделяют четыре основные формы:
- закрытые;
- на установление соответствия;
- на установление правильной последовательности;
- открытые.
Формы тестовых заданий | Модификация |
Закрытые | Вопросы с выбираемыми ответами, вариантами ответов, множественным выбором. К ним относят: фасетные задания, задания-задачи с предлагаемым вариантом ответов – числами. |
На установление соответствия | Устанавливается соответствие элементов одного множества элементам другого. К ним относят: термины-определения, показатели-способы расчета, предметные операции. |
На определение правильной последовательности | Необходимо указать порядок выполнения процессов, операций, вычислений. Обучаемый вводит номера предлагаемых операций в нужной последовательности. Разновидность – задания на ранжирование: расположение элементов по возрастанию их значимости. |
Открытые | Задания на заполнение пропусков, на завершение фраз, предложений: в месте пропуска (точек) указывается слово или несколько слов. |
На практике применяются различные модификации закрытых заданий, называемых также вопросами с выбираемыми ответами, вариантами ответов, множественным выбором.
При разработке дисциплинарных и других тестов рекомендуется использовать задания:
- на сравнение («В чем сходство…», «Чем отличается …», «Признаки, отличающие … от … »);
- на установление причинно-следственных связей («Что произойдет, если.…», «Как изменится …», «Что послужило причиной …», «Какие причины …», «Какая связь существует…», «Чем объясняется …», «От чего зависит …», «Почему …»);
- на определение цели действия процесса («Какую цель преследует…», «Каково назначение …», «Для чего выполняется …»);
- на установление характерных черт, признаков или качеств предметов, явлений («Укажите особенности…», «Укажите признаки, характерные для…»);
- на классификацию предметов, явлений по указанному признаку («Укажите… , относящуюся к …», «На какие группы подразделяют …», «Что относится к …» ;
- на установление значения того или иного явления, процесса (Какое влияние оказывает…);
- на объяснение, обоснование («Чем объяснить …», «Увеличение … при сокращении … объясняется…»);
- на выводы и обобщения («Какой вывод можно сделать …», «Сущность … заключается в …»).
В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм. Содержание теста не может быть только легким, средним или трудным. Здесь в полной мере проявляется известная мысль о зависимости результатов применяемого метода. Легкие задания теста создают только видимость наличия знаний у учащихся, потому что ими проверяются минимальные знания. Анализируя итоги предыдущих тестирований, наша рабочая группа исключала типы заданий, с которыми справлялись большинство тестируемых. Искажает результаты тестирования и подбор заведомо трудных заданий, в результате чего у большинства обучаемых оказываются заниженные баллы. Если тестируется слабая, по подготовленности, группа учащихся, то оказывается, что трудные задания теста просто не работают, потому что ни один учащийся не может правильно на них ответить. Такие задания из дальнейшей обработки данных также изымаются. Ориентация на трудные задания нередко рассматривается как средство усиления мотивации к учебе. Однако это средство действует неоднозначно. Одних трудные задания могут подтолкнуть к учебе, других − оттолкнуть от нее. Подобная ориентация искажает результаты и в итоге, снижает качество педагогического измерения.
Все задания теста, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы.
Тест должен оценивать умения, значимые для дальнейшей жизни испытуемых, включая и когнитивные умения. Получение положительной оценки за выполнение теста должно быть социально значимо. Стандарты достижения должны быть определены и сформулированы в терминах школьных программ. Проверяемые компетентности и задания теста не должны дискриминировать ни одну из групп обучающихся.
Одним из главных критериев качественной Системы оценки является её объективность. Объективность оценки предполагает, во-первых, соответствие измерителей планируемым целям, в нашем случае – требованиям к результатам образования, т. е. валидность содержания проверочной работы. Во-вторых, объективность оценки невозможна, если не будет обеспечена однозначность оценки работы учащегося любым проверяющим. Выполнение этого условия во многом зависит от выбора формы и способа оценки. В связи с этими положениями и введён в Стандарт термин «стандартизированные работы». Стандартизация включает комплекс процедур, позволяющий создать для всех испытуемых равные условия. Следовательно - ни одному ученику не дается никаких преимуществ перед другими;– ученики, выполняющие работу, выровнены по мотивации, которая не должна опираться на получение отметки и поощрение или наказание за неё;– работа различных групп учащихся занимает одинаковое время и проводится в равных условиях;– содержание работы должно соответствовать требованиям Стандарта;– все ученики выполняют одни и те же задания (подобные, параллельные формы заданий);– в работу включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем;– заранее разработанная система подсчета баллов применяется ко всем ответам учеников без исключения.
Для соблюдения условия стандартизации( в идеале) диагностическая работа должна сопровождается следующей информацией для пользователя:
1) назначение и содержание;
2) показания для применения и ограничения;
3) состав работы;
4) информация об апробации (цели апробации, объем и состав выборки);
5) инструкция по процедуре проведения работы;
6) ключи;
7) данные о трудности и дискриминативности заданий;
8) данные о надежности и валидности теста;
9) другие статистические материалы;
10) правила (инструкция) для обработки данных;
11) устройство шкалы;
12) правила и особенности интерпретации результатов.
Не всю информацию, особенно на первом этапе введения Стандарта, можно обеспечить, однако, если в локальных актах школы заложить обязательное документальное сопровождение диагностических работ, то, со временем, условия стандартизации можно достичь. Контрольные измерительные материалы (КИМ) должны включать:
– кодификатор(документ, составленный на основе перечня планируемых результатов освоения ООП НОО)
– спецификацию работы(документ, в котором в краткой форме указываются все основные характеристики КИМ: структура, тип используемых заданий, время выполнения, последовательность проверяемых элементов содержания, система оценивания и др.)
– демонстрационную версию итоговой работы;
– итоговую работу с инструкцией для учащихся (в определенном количестве вариантов)
– ключи (правильные ответы на задания с выбором ответа и кратким ответом);
– рекомендации по проверке и оценке заданий с развернутым ответом.
Требования к критериям оценки достижения планируемых результатов обязательно продумываются заранее при создании работ такого уровня. Они должны: описывать реальные результаты, которые могут быть продемонстрированы учеником в процессе оценки, и которые явно свидетельствуют о достижении планируемых результатов освоения образовательной программы; дифференцировать и описывать результаты деятельности учащегося на базовом и повышенном уровнях.
Правила и особенности интерпретации результатов лежат в основе формирования решения об освоении учебного материала– достижении планируемых результатов– критерий задается в зависимости от типа используемых заданий, возможной ошибки измерения, а также срока введения стандарта; принятый в практике педагогических измерений минимальный критерий освоения учебного материала находится в пределах от 50 до 65% от максимального балла, который можно получить за выполнение заданий базового уровня. Для заданий с выбором ответа – 65%, для заданий со свободным ответом (кратким или развернутым) – 50% при условии, что стандарт (планируемые результаты) введен и обеспечено его освоение в учебном процессе.
Представленные авторами(или рабочей группой) тестовые задания (оценочные материалы) проходят комплексную экспертизу качества контрольно-измерительных материалов. Комплексная экспертиза качества тестовых материалов – процесс системного исследования характеристик тестового задания и КИМ в целом совокупностью приемов и методов комплексного измерения и оценивания с целью получения итогового заключения о соответствии или несоответствии критериям и показателям оценочного мероприятия. Она проводится в несколько этапов: отбор тестовых заданий, которые удовлетворяют требованиям и условиям регламента применения; затем отобранные материалы проходят содержательную экспертизу, впоследствии материалы проходят тестологическую экспертизу, а также выборочную экспериментальную проверку на основе стандартизированных процедур…
Тесты, разработанные учителями или специалистами-предметниками, но не отвечающие всем требованиям, предъявляемым к стандартизированным тестам - авторские. Авторские тесты, подготовленные учителями, проводятся по мере необходимости, нередко в конце каждой темы. Часто учителя используют тесты, разработанные авторами учебников, по которым они работают
В результате работы над педагогическим проектом, я сумела:
Ø разработать тесты по русскому языку и математике для выпускников начальной школы. По разработанным мной КИМ, представителями ЦОКО было проведено тестирование обучающихся отдельно взятого Муниципалитета (в нём приняли участие12 образовательных учреждений; апрель 2012)
Ø составив анализ этого тестирования, я выступила на региональном семинаре-совещании «Приоритетные направления развития системы регионального мониторинга качества образования…» с сообщением «Результаты регионального мониторинга по русскому языку и математике в 4 классе на примере отдельного Муниципалитета» (май 2012г.)
Ø составила КИМ для проведения регионального тестирования по математике(5 класс) сентябрь 2012г
Ø выступила перед слушателями курсов повышения квалификации «Подготовка учителя начальных классов…» по теме «Разработка и применение тестовых материалов для оценки качества образования в рамках ФГОС»
Ø работала в группе составителей КИМ для проведения регионального тестирования по математике в 4 классах (декабрь 2013г.)
ВЫВОДЫ: Описание технологии создания КИМ для оценки качества образования выпускника начальной школы кратко можно представить в следующей технологической цепочке:
1) Изучение кодификатора и составление спецификации КИМ.
2) Анализ различных УМК и предшествующих результатов тестирования.
3) Подбор и составление заданий диагностической работы.
4) Обсуждение заданий в рабочей группе и их корректировка.
5) Представление и экспертиза представленных материалов.
6) Отбраковка и корректировка заданий (по рекомендациям тестологов), составление ключей.
7) Проведение работы.
8) Анализ работы.
Используемая литература:
Беспалько педагогической технологии. М: Педагогика, 1989.
Гулидов контроль и его обеспечение. – М.: «Форум», 2005.
О качестве систем педагогических измерений //Народное образование. 2012. №6
Майоров и практика создания тестов для системы образования. - М., «Интеллект центр», 2011.
, Казанович качества подготовки обучающихся в рамках требований ФГОС Воронеж: ВГУ – 2010.
