Модели использования результатов ЕГЭ при аттестации школ

МОДЕЛИ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ ЕГЭ
ПРИ АТТЕСТАЦИИ ШКОЛ

,

Центр государственной аккредитации Минобразования России

При аттестации образовательного учреждения оцениваются различные стороны его деятельности. Одним из важнейших аттестационных показателей являются результаты обучения. Поскольку при разработке КИМ для ЕГЭ учитывалось несколько уровней усвоения знаний (базовый, повышенный и высокий), то это дает возможность анализировать различные аспекты освоения предмета выпускниками. В данном исследовании рассмотрена возможность использования результатов ЕГЭ по отдельному предмету для целей аттестации образовательного учреждения, то есть выполнение выпускниками требований стандарта.

При разработке системы принятия решений об аттестации были использованы положения статьи 33 п. 20 Закона РФ «Об образовании»: «Условием аттестации образовательного учреждения является положительная итоговая аттестация не менее 50% выпускников в течение трех лет, предшествовавших аттестации». Поскольку целью аттестации согласно тому же пункту ст.33 Закона является «… установление соответствия содержания, уровня и качества подготовки выпускников требованиям государственных образовательных стандартов», то возникла необходимость уточнения в этом контексте понятия «положительная итоговая аттестация выпускников». С этой целью рассмотрены три подхода к оценке освоения стандарта общего (полного) образования на основе анализа КИМ ЕГЭ, которые привели к трем моделям использования результатов ЕГЭ для целей аттестации.

1. Модель структурно-уровневого соответствия подготовки выпускников требованиям стандарта

Концептуальной основой модели структурно-уровневого соответствия подготовки выпускников требованиям стандарта является оценка освоения всех дидактических единиц (ДЕ) предмета на уровне требований ГОС. Согласно этой модели, подготовка выпускника оценивается по каждой ДЕ путем сравнения количества решенных заданий с критерием освоения. Подготовка выпускника считается соответствующей требованиям стандарта, если он освоил все ДЕ. Для школы аттестационным показателем по отдельному предмету является доля выпускников, освоивших все дидактические единицы предмета. В качестве значения аттестационного критерия выбрано 50% выпускников, освоивших все дидактические единицы предмета.

Анализ содержания КИМ по математике показал, что использовавшиеся для проведения ЕГЭ в г. г. КИМ по математике контролируют 5 из 6-ти содержательных линий стандарта. Исключение составляет линия, связанная с теорией вероятностей и математической статистикой, не входившая ранее в учебную программу базового уровня.

Для целей аттестации выделены 4 дидактические единицы (табл. 1) соответствующие четырем содержательным линиями стандарта. Для контроля указанных дидактических единиц в КИМ выбраны задания, уровень трудности которых соответствует уровню обязательной подготовки по стандарту, то есть задания только части А. Содержательная линия "Геометрия" контролировалась в КИМ заданиями повышенной и высокой сложности (части В и С), что привело к ее исключению из перечня контролируемых дидактических единиц стандарта. В скобках указаны критерии освоения ДЕ, т. е. минимальное число заданий, при выполнении которых ДЕ считается освоенной.

Таблица 1

Контролируемые дидактические единицы ГОС

Контролируемые ДЕ ГОС	Номер задания в КИМ по математике (в скобках – критерии освоения ДЕ)
2001	2002	2003	2004
Алгебра	А1, А2, А3, А13 (3)	А1, А2, А3, А4 (3)	А1,А2, А3, А4,А5 (3)	А1,А2,А3,А4, А12 (3)
Функции	А5, А9 (1)	А7, А8, А9 (2)	А7, А10,А11,А12, А13 (3)	А7, А10, А11, А13 (3)
Начала анализа	А7, А10,А11,А12 (3)	А10, А11, А12 (2)	А14, А15, А16 (2)	А9, А14 (1)
Уравнения и неравенства	А4, А8 (1)	А5, А6, А13 (2)	А6, А8, А9 (2)	А5, А6, А8 (2)

2. Модель освоения базового уровня подготовки выпускников

Для оценки школ по результатам ЕГЭ гг. предложена аттестационная модель, основанная на оценке освоения выпускниками школы базового уровня математической подготовки по результатам выполнения определенной доли заданий части А КИМ.

Исследования показали, что критерием освоения базового уровня может быть принято выполнение не менее 70% заданий части А. Для характеристики освоения базового уровня подготовки по школе в целом введен аттестационный показатель «доля выпускников, соответствующих критерию освоения базового уровня». Критериальным значением аттестационного показателя для школы является утверждение: «Не менее 50% выпускников должны выполнить критерий освоения базового уровня».

3. Модель оценки уровня подготовки выпускников по критериальному тестовому баллу

По этой модели показателем выполнения требований стандарта является так называемый «критериальный тестовый балл», устанавливаемый по общему результату выполнения всех заданий КИМ. Значение критериального тестового балла - это число баллов за выполнение определенного количества заданий, уровень которых соответствует требованиям стандарта. Такой подход привел к тому, что значение критериального тестового балла превышает границу положительной оценки, рекомендуемой для аттестации выпускника. При этом аттестационным показателем школы по этой модели является доля выпускников, получивших по ЕГЭ баллы не менее критериального.

4. Принятие решений

На основе сопоставления величин аттестационного показателя школы с критериальным значением в течение трех лет предлагается разделить школы на 4 группы (табл. 2).

Таблица 2

Условия распределения школ по аттестационным группам

№ п/п	Наименование группы	Обозначение группы
1.	Школы, значения аттестационного показателя которых выше критериального в течение 3-х лет, предшествовавших аттестации	A
2.	Школы, значения аттестационного показателя которых хотя бы 1 год из трех лет, предшествовавших аттестации, ниже критериального	B
3.	Школы, значения аттестационного показателя которых 2 года из трех лет, предшествовавших аттестации, ниже критериального	C
4.	Школы, значения аттестационного показателя которых в течение трех лет ниже критериального	D

Очевидно, что школы группы А устойчиво обеспечивают освоение стандарта. В свою очередь, уровень подготовки выпускников школ, отнесенных к группе D, не соответствует требованиям стандарта. Школы, отнесенные к группам В и С, работают нестабильно и образуют так называемую "группу риска". Для каждой группы школ должно быть сформулировано решение об аттестации.

Статистически значимые выводы о соответствии аттестационного показателя критериальному значению возможны только для школ с ежегодным числом выпускников не менее 10. Поэтому для школ с меньшим контингентом выпускников хотя бы в течение 2-х лет аттестационный показатель формируется по результатам суммарного числа выпускников за три года. При проверке соответствия аттестационного показателя критериальному значению эти школы могут быть отнесены либо к группе А, либо к группе D.

5. Оценка надежности принятия решений

Влияние случайных факторов на результаты выполнения заданий КИМ, а также статистический характер показателя аттестации приводят к необходимости оценки надежности принимаемых решений об аттестации школы.

Для проверки гипотезы о соответствии величины аттестационного показателя школы критериальному значению использована оценка в виде доверительного интервала, величина которого зависит от количества выпускников в школе. Например, если в школе с контингентом из 20 выпускников не менее 7 учащихся (т. е. 35%) показали требуемый уровень подготовки, то с надежностью 0,9 нельзя принять гипотезу о несоответствии аттестационного показателя школы принятому законодательно критерию аттестации (50%).

Апробация моделей аттестации школ в одном из регионов, принимавшем участие в ЕГЭ в течение четырех лет, показала, что учет погрешности оценивания существенно влияет на долю школ, отнесенных к группам A – D. Например, по модели 1 (освоение дидактических единиц ГОС) доля школ в группе А (значения аттестационного показателя выше критерия в течение трех лет) без учета доверительного интервала составляет всего 28%, а при его учете увеличивается до 55%. Доля школ в группе D ( значение аттестационного показателя ниже критерия в течение трех лет) изменяется от 25% до 7% при учете доверительного интервала.

Для других моделей аттестации ситуация с крайними группами школ (A и D) несколько мягче. Так по модели 2 (освоение базового уровня подготовки) доля школ, отнесенных к группе А, составляет 46%, а с учетом доверительного интервала -71%. Процент школ, отнесенных к группе D, составляет соответственно 10% и 3%.

По модели 3 (критериальный балл) к группе А можно отнести 68% школ, а при учете доверительного интервала эта доля составляет 87%. К группе D отнесены 4% и 1% школ соответственно без учета и с учетом доверительного интервала.

Таким образом, предложенные модели использования результатов ЕГЭ по математике для целей аттестации школ оказались достаточно эффективными. Наиболее корректная оценка освоения стандарта по результатам ЕГЭ осуществляется по модели структурно-уровневого соответствия подготовки выпускников образовательных учреждений. Наиболее приемлемой для использования в целях аттестации школ в регионах на данном этапе является модель освоения базового уровня подготовки выпускников образовательных учреждений, хотя она исключает возможность проведения содержательного анализа освоения структурных элементов стандарта. Модель оценки уровня подготовки выпускников по критериальному тестовому баллу будет приемлема для целей аттестации школ по мере сближения балла положительной итоговой аттестации выпускника и критериального балла освоения стандарта.

Показано, что учет погрешности оценивания аттестационного показателя приводит к существенному перераспределению школ по группам при проведении процедуры принятия решения об аттестации.