Оглавление (стр. 1 )

Оглавление
I.  Введение	с. 2
II.  Основные направления деятельности
1. Научно-исследовательская работа 2005 г.	с. 4
2. Разработка контрольных измерительных материалов единого государственного экзамена и обеспечение качества КИМ	с. 7
3. Анализ результатов ЕГЭ 2005 г.	с. 17
4. Подготовка методических изданий в сфере оценки качества образования	с. 21
5. Организация общественных связей	с. 23
6. Осуществление международной деятельности	с. 29
7. Подготовка и переподготовка научно-педагогических кадров высшей квалификации	с. 33
8. Деятельность Ученого совета ФИПИ	с. 35
9. Деятельность Научно-методических советов ФИПИ	с. 41
10. Создание Экспертного совета ФИПИ	с. 42
11. Выполнение ФИПИ государственных контрактов	с. 43
III.  Заключение	с. 54
Приложение: Публикации сотрудников ФИПИ за 2005 год. по проблемам педагогических измерений	с. 59

Введение

Федеральное государственное научное учреждение «Федеральный институт педагогических измерений» создан с целью разработки и внедрения в практику высокоэффективных технологий и методик в области педагогических измерений образовательных достижений, оценки качества образования, научно-методического обеспечения единого государственного экзамена в Российской Федерации и других мероприятий с использованием измерительных (тестовых) технологий.

Основные направления работы ФИПИ формировались в соответствии с приоритетными задачами развития системы образования страны, отраженными в документах Министерства образования и науки Российской Федерации, Федеральной службы по надзору в сфере образования и науки. В документе Минобрнауки России «О приоритетных направлениях развития образовательной системы Российской Федерации» (Москва, 2004 год) конкретизируются основные положения Концепции модернизации российского образования на период до 2010 г., принятой в 2001 г., а именно, основные цели развития образования в России - повышение его качества, доступности и эффективности. «Экономический подъем выдвигает на первый план задачу формирования системы непрерывного образования. Создание независимой общественно-государственной системы оценки качества образования должно обеспечить возможности гибкого перехода между различными образовательными программами. А мониторинг качества и единство процедур оценивания – защиту интересов всех потребителей на рынке образовательных услуг, и в первую очередь, самого обучающегося.» (: Откуда эта цитата, в концепции ее нет, она нуждается в стилистической правке)

Основная деятельность Федерального института педагогических измерений, осуществляемая в соответствии с планом, утвержденным на Ученом Совете ФИПИ 27 мая 2005 года, может быть представлена следующими направлениями:

- научно-исследовательская работа;

- разработка контрольных измерительных материалов единого государственного экзамена;

- обеспечение качества контрольных измерительных материалов единого государственного экзамена;

- тестологический анализ результатов ЕГЭ 2005 года;

- методический анализ результатов ЕГЭ 2005 года;

- подготовка методических изданий в сфере оценки качества образования;

- организация общественных связей;

- осуществление международной деятельности;

- подготовка и переподготовка научно-педагогических кадров высшей квалификации;

- деятельность Ученого совета ФИПИ;

- деятельность Научно-методических советов ФИПИ;

- создание Экспертного совета ФИПИ;

- выполнение ФИПИ государственных контрактов;

- деятельность ФИПИ по договорам;

подготовка методических и других видов изданий в сфере оценки качества образования.

В представленном ниже отчете кратко раскрываются результаты деятельности Федерального института педагогических измерений по указанным направлениям за 2005 год.

Основные направления деятельности

1.  Научно-исследовательская работа

При формировании научно-исследовательской работы Федерального института педагогических измерений учитываются перспективность проводимых исследований для развития единого государственного экзамена и общероссийской системы оценки качества образования, а также их направленность на решение практических задач повышения качества контрольных измерительных материалов.

Научно-исследовательская работа ФИПИ в 2005 году осуществлялась в соответствии с заданиями Минобрнауки России (Федерального агентства по образованию) в рамках подпрограммы № 4 «Исследования в области образования, молодежной политики и социальной политики в сфере образования», раздела № 4.11 «Научно-методическое обеспечение развития независимой системы оценки качества образования» по следующим двум направлениям:

- Совершенствование КИМ по математике, химии, биологии, физике и иностранным языкам в соответствии с Федеральным компонентом государственного стандарта общего образования; руководители по каждому из вышеперечисленных предметов: , к. физ.-мат. н.; , д. хим. н.; , д. биол. н.; , д. тех. н.; Тер-, д. филол. н.

- Разработка системы подготовки экспертов для проверки заданий с развернутыми ответами по математике, русскому языку, химии, биологии, географии, истории, обществознанию, литературе, информатике и иностранным языкам в рамках ЕГЭ с использованием компьютерных технологий; руководители по каждому из вышеперечисленных предметов: - , к. тех. н.; , к. пед. н.; , к. пед. н.; , к. пед. н.; , к. пед. н.; , д. ист. н.; , к. пед. н.; ; д. пед. н.; , к. пед. н.; , к. пед. н.

Данные направления НИР являлись продолжением работ, проводимых ФИПИ в 2004 году.

По первому направлению в цели НИР входила разработка методики совершенствования контрольных измерительных материалов (КИМ) по математике, химии, биологии, физике и иностранным языкам в соответствии с Федеральным компонентом государственного стандарта общего образования 2004 года.

Для определения направлений совершенствования КИМ по вышеперечисленным предметам в соответствии с Федеральным компонентом государственного стандарта общего образования 2004 года проведен сравнительный анализ вопросов содержания и требований к уровню подготовки учащихся, включенных в минимум содержания этого стандарта и действующих программ, анализ банка тестовых заданий ЕГЭ.

По каждому предмету определены направления совершенствования КИМ в соответствии с требованиями образовательных стандартов. Разработана методика совершенствования контрольных измерительных материалов по вышеперечисленным предметам в соответствии с Федеральным компонентом государственного стандарта общего образования 2004 года, которая включает:

–  уточнение и детализацию требований к уровню подготовки выпускников средней школы, соответствующих образовательным стандартам общего образования;

–  разработку измерителей, проверяющих достижение заданного уровня стандарта, и иллюстрирующие их примеры образцов заданий;

–  разработку новых типов измерителей и соответствующих им образцов заданий, подходов к оценке выполнения этих заданий.

Научная новизна проведенных исследований заключается в разработке подходов к достижению образовательных стандартов в рамках ЕГЭ. Практическая значимость проявилась в том, что в работах показаны направления уточнения и операционализации требований к уровню подготовки выпускников средней школы, соответствующих образовательным стандартам, достижение которых может быть проверено в рамках ЕГЭ, приведены примеры заданий, проверяющих достижения указанных требований, даны статистические данные их выполнения выпускниками средней школы, участвовавшими в ЕГЭ. Разработаны рекомендации по использованию банка заданий ЕГЭ и созданию заданий нового типа, необходимых для проверки достижения новых требований стандарта 2004 года. Даны предложения по уточнению требований стандарта, адекватных реальной подготовке выпускников общеобразовательных российских школ.

По всем предметам разработаны кодификаторы для ЕГЭ 2006 года с учетом Федерального компонента государственного стандарта общего образования 2004 года.

Целью работы по второму направлению является разработка структуры системы подготовки экспертов-предметников для проверки заданий с развернутыми ответами по перечисленным выше предметам в рамках ЕГЭ с использованием компьютерных технологий, рекомендаций по подготовке экспертов-предметников для проверки заданий с развернутыми ответами в рамках ЕГЭ с использованием компьютерных технологий, а также системы тренировки экспертов-предметников.

На основе анализа и обобщения опыта подготовки экспертов на федеральном и региональном уровнях за годы были разработаны общие подходы к построению системы стандартизированной подготовки экспертов на основе использования компьютерных технологий, создан экспериментальный образец компьютерной программы обучения экспертов для проверки заданий с развернутым ответом.

Научная новизна и практическая значимость выполняемых НИР может быть проиллюстрирована следующим образом. В рамках данного направления НИР была создана не только система подготовки экспертов ЕГЭ, включающая инновационные технологические решения (использование компьютерных технологий для дистанционного обучения экспертов), но также:

-  отрабатывались научно-методические подходы к оценке заданий нового типа, вводимых в КИМ в 2006 году.;

-  апробировался тезаурус ЭГЭ (общий и предметный);

-  проводилась классификация типичных ошибок экзаменуемых и экспертов, проверяющих их работы, и создавались методические рекомендации для экспертов, учитывающие эти ошибки;

-  разрабатывались новые нормы оценки образовательных достижений учащихся.

Результаты проведенной работы частично апробировались на семинаре по подготовке региональных экспертов для проверки заданий с развернутыми ответами (семинар проходил 29-31 марта 2005 года в г. Москве, в нем приняли участие 227 слушателей из 52 субъектов Российской Федерации). Каждый регион, участвующий в ЕГЭ, получил полный комплект материалов для подготовки экспертов, включающий программу подготовки и квалификационные характеристики экспертов, методические рекомендации по проверке заданий с развернутыми ответами, материалы для самостоятельной подготовки и аттестации экспертов, экспериментальную версию компьютерной программы «Эксперт ЕГЭ» и Руководство пользователя. Данное комплексное пособие на бумажных и электронных носителях позволяет организовать легко адаптируемую к потребностям и особенностям региона систему подготовки региональных экспертов, позволяющую организовать дистанционное обучение и иметь постоянную связь через сайт ФИПИ с Федеральными предметными комиссиями разработчиков КИМ. Таким образом, все результаты НИР уже на этапе разработки апробируются в эксперименте по введению ЕГЭ и после одобрения регионов органически включаются в практику ЕГЭ.

В выполнении обоих направлений НИР участвовали члены Научно-методических советов и федеральных предметных комиссий разработчиков КИМ ЕГЭ.

Полученные результаты могут быть использованы при проведении эксперимента по введению ЕГЭ в России, а так же при проведении ЕГЭ в штатном режиме.

Результаты НИР обсуждались на расширенном заседании Ученого совета Федерального института педагогических измерений 20 сентября 2005 года и на международной конференции «Национальные экзамены в системе оценки качества образования», которую проводил институт в г. Москвеа 12-14 декабря 2005 года.

2. Разработка контрольных измерительных материалов единого государственного экзамена

2.1. Процедура разработки контрольных измерительных материалов единого государственного экзамена

Разработка контрольных измерительных материалов является одним из основных направлений работы ФИПИ. Именно КИМ представляют главный продукт деятельности всего производственного коллектива ФИПИ в 2005 году. Для единого государственного экзамена 2005 года было подготовлено 465 контрольных измерительных материалов по 13 общеобразовательным предметам в соответствии с Государственным контрактом № 000 от 01.01.01 года.

Создание высококачественных контрольных измерительных материалов по каждому общеобразовательному предмету было основано на последовательном выполнении обязательных этапов производственного цикла.

1.  Подготовка спецификации КИМ, представляющей описание всех основных характеристик контрольного измерительного материала и условий его применения. Ключевым элементом спецификации является обобщенный план экзаменационной работы, в котором для каждого тестового задания КИМ указаны его тематическая принадлежность, уровень сложности, тип задания и другие характеристики. Спецификации создаются на основе кодификатора элементов содержания учебного предмета, представляющего перечень элементов содержания, которые выносятся на итоговый контроль за весь курс обучения по данной дисциплине в средней общеобразовательной школе. Одновременно со спецификациями разрабатываются демонстрационные варианты КИМ, которые полностью им соответствуют. Демонстрационные варианты КИМ дают возможность всем интересующимся увидеть полный аналог тех вариантов, которые будут выдаваться на едином государственном экзамене. Разработчиками указанных материалов (кодификаторов, спецификаций и демонстрационных вариантов КИМ) являются Федеральные предметные комиссии и научно-методические советы ФИПИ. Эти материалы в качестве проектов публикуются на сайтах Рособрнадзора и ФИПИ и обсуждаются педагогической общественностью. На основе полученных замечаний материалы корректируются и обсуждаются на Ученом совете ФИПИ. После их утверждения Рособрнадзором они становятся нормативными документами для разработки КИМ ЕГЭ следующего года.

В 2005 году. все указанные материалы были одобрены Ученым советом ФИПИ (протокол от 01.01.01 года.) и в начале ноября утверждены Рособрнадзором.

2.  Подготовка тестовых заданий в соответствии с разработанной спецификацией КИМ является важнейшим направлением деятельности института.

В 2005 году проводилась целая система мероприятий, позволяющая сформировать банк действующих на данный момент тестовых заданий ЕГЭ. Для этого проводился анализ имеющегося банка тестовых заданий. Часть заданий, которые по тем или иным основаниям (содержательным или тестологическим) не могли быть использованы в КИМ ЕГЭ, переводились в разряд недействующих, а часть заданий корректировалась. Выявлялись темы, для которых не хватает тестовых заданий определенных видов. Готовились таблицы, показывающие потребности банка тестовых заданий ЕГЭ, и образцы заданий, которые требуются для его пополнения.

В мае 2005 г. был объявлен традиционный конкурс «Контрольные измерительные материалы и тестовые задания единого государственного экзамена». На конкурс было представлено 53 заявки из 22 городов России, из них по направлениям:

·  «Тестовые задания для единого государственного экзамена» – 52 заявки,

·  «Контрольные измерительные материалы для единого государственного экзамена» – 1 заявка.

Было рассмотрено 10863 заданий. Отобрано для банка тестовых заданий ЕГЭ 2770 заданий.

В соответствии с решением конкурсной комиссии от 01.01.01 года по направлению «Тестовые задания для единого государственного экзамена» были принят целый ряд решений.

Определены следующие победители конкурса:

Предмет	Город	Участник
Биология	Екатеринбург	, руководитель авторского коллектива, Уральский государственный университет им.
География	Ростов-на-Дону	, руководитель авторского коллектива, Ростовский государственный университет
Информатика	Белгород	, МОУ «Лицей № 9»
Математика	Озерск, Челябинская обл.	, Озерский технологический институт
Русский язык	Калуга	, учебный центр «Русский язык»
Физика	Крымск, Краснодарский край	, СОШ № 25 г. Крымска
Химия	Домодедово, Московская обл.	, МГПУ

Не определены победители конкурса по английскому языку, истории России, литературе, обществознанию (вследствие недостаточного числа участников), по немецкому и французскому языкам (вследствие отсутствия заявок по этим предметам).

По направлению «Контрольные измерительные материалы для единого государственного экзамена» победитель конкурса не был определен, поскольку была представлена только одна заявка, в которой не предлагались значимые для совершенствования КИМ материалы. Конкурсная комиссия сочла возможным приобрести у конкурсанта задания, отмеченные экспертами как пригодные для единого государственного экзамена.

В октябре 2005 г. по результатам экспертизы конкурсных материалов (отобранных тестовых заданий) была определена оставшаяся потребность в пополнении банка и сформирован целевой заказ на разработку заданий. Полученные по целевому заказу задания прошли экспертизу и пополнили банк тестовых заданий ЕГЭ.

3.  Подготовка апробационных вариантов тестов и проведение апробационных исследований осуществляется с целью получения статистических характеристик тестовых заданий банка ЕГЭ.

В 2005 году были проведены апробационные исследования по 163 вариантам апробационных тестов.

В первом полугодии 2005 г. апробационные исследования тестовых заданий проводились на выборках выпускников старшей школы и на выборках студентов первых курсов вузов, во втором полугодии 2005 г. - на выборках учащихся подготовительных отделений вузов. При этом использовались апробационные тесты на 90 или 180 минут. Кроме того, проводились «камерные» апробационные тестирования на 45 минут в общеобразовательных учреждениях для получения статистических данных по новым типам тестовых заданий, создаваемых разработчиками КИМ. Полученные данные тестирований обрабатывались так же, как и данные единого государственного экзамена. Полученные формы результатов обработки передавались для тестологического и содержательного анализа экспертам.

4.  Тестологический анализ и корректировка заданий по результатам апробации осуществляется Федеральными предметными комиссиями совместно с тестологами ФИПИ в целях формирования банка действующих заданий для сборки вариантов КИМ.

В 2005 г. анализировались все действующие задания банка ЕГЭ в сравнении с полученными данными апробационных исследований.

5.  Формирование стандартизированных вариантов КИМ ЕГЭ осуществляется на основе подготовленных Федеральными предметными комиссиями планов экзаменационных работ, соответствующих обобщенному плану экзаменационной работы по данному общеобразовательному предмету.

В 2005 г. планов экзаменационных работ в каждом предмете было от 1 до 8. Специалисты базы тестовых заданий ЕГЭ осуществляли автоматическую сборку вариантов КИМ, используя планы экзаменационных работ из действующих заданий банка ЕГЭ, имеющих статистические параметры, которые соответствуют спецификации. Если требуемых заданий не оказывалось в банке ЕГЭ, то осуществлялась доработка заданий, их экспертиза и ввод в базу.

В целях повышения качества КИМ Федеральные предметные комиссии анализировали подготовленные комплекты вариантов на предмет совместимости заданий, качества отдельных заданий, а также выравненности вариантов по статистическим характеристикам (первичный анализ). Работа осуществлялась с распечатанными вариантами и сопроводительными материалами, в которых были представлены все требуемые характеристики тестовых заданий, с выполнением всех необходимых мер соблюдения информационной безопасности.

Общую схему подготовки вариантов КИМ можно представить следующим образом:

 

Подготовленные варианты, прошедшие 2-3 внутренние экспертизы и первую тестологическую экспертизу, скорректированные по результатам экспертиз, отформатированные и доработанные в соответствии со стандартами ЕГЭ (блок «Подготовка вариантов КИМ») передаются в административную группу для проведения внешней экспертизы.

Далее варианты КИМ выдаются внешним экспертам для работы в специальных помещениях, в которых обеспечено непрерывное видеонаблюдение (блок «Экспертиза (1 и 2 эксперты)»). Списки специалистов, привлекаемых в качестве внешних экспертов, утверждаются специальным распоряжением директора ФИПИ.

Материалы первого этапа экспертизы передаются членам Федеральных предметных комиссий, которые анализируют все замечания экспертов и заполняют протокол экспертизы, фиксируя принятые и отклоненные замечания. Члены предметных комиссий корректируют варианты КИМ (блок «Корректировка КИМ»).

Далее специалист базы ЕГЭ вносит исправления вариантов КИМ, утвержденные председателем Федеральной предметной комиссии, в базу (блок «Внесение исправлений в базу ЕГЭ»). Варианты вновь распечатываются. При этом все листы нумеруются и регистрируются. Затем сверщик проверяет правильность внесенных правок (блок «Сверка»).

На следующем этапе варианты КИМ анализирует тестолог и редактор (блок «Тестологическая экспертиза и редакторская правка»). Предметная комиссия снова корректирует материал в соответствии с полученными замечаниями. Исправления вносятся в базу ЕГЭ и снова сверяются.

Затем варианты КИМ готовятся ко второму этапу внешней экспертизы (блок «Экспертиза (3 и 4 эксперты)»). На этом этапе особое внимание уделяется экспертизе прилагаемых решений и критериев оценивания.

Далее варианты снова передаются тестологу и корректору (блок «Тестологичская экспертиза и корректорская правка»). Каждый раз предметные комиссии просматривают замечания, фиксируют свое согласие или несогласие с ними и вносят необходимые правки в варианты КИМ. Эти правки, утвержденные председателем Федеральной предметной комиссии, вносятся в базу ЕГЭ и сверяются. На заключительном этапе председатель комиссии проводит окончательную сверку и подписывает оригинал-макеты вариантов КИМ (блок «Формирование оригинал-макетов КИМ»), завершая работу над ними. Эти варианты вместе с сопроводительной документацией к ним передаются в Рособрнадзор.

В таблице № 1 приведены данные о вариантах КИМ 2005 года. В этой таблице даны: время, отведенное на выполнения варианта КИМ, общее число заданий в варианте, число заданий по отдельным типам (задания с выбором ответа – А, задания с кратким ответом – В, задания с развернутым ответом – С), максимальный первичный балл за вариант КИМ и общее число оригинальных вариантов для ЕГЭ 2005 года.

Таблица 1

			Данные о КИМ 2005 г.
№ п/п	Предмет	Время (мин)	Общее число зада-ний	Число зада-ний А	Число зада-ний В	Число зада-ний С	Макс. первич. балл	Число вариантов КИМ 2005 г.
1	Математика	240	26	10	11	5	37	86
2	Русский язык	180	38	29	8	1	59	71
3	Физика	210	40	30	4	6	52	50
4	Химия	180	50	35	10	5	65	33
5	Биология	180	50	37	7	6	66	36
6	География	180	50	32	12	6	58	30
7	Обществознание	180	50	38	4	8	64	33
8	История	180	50	33	10	7	69	36
9	Литература	240	31	15	12	4	51	26
10	Информатика	240	37	24	8	5	47	15
11	Англ. язык	167	51	28	18	5	135	19
12	Франц. язык	167	51	28	18	5	135	15
13	Немец. язык	167	51	28	18	5	135	15

Ежегодно проводимый конкурс «Контрольные измерительные материалы и тестовые задания для единого государственного экзамена» и целевой заказ на разработку тестовых заданий ЕГЭ позволяли обеспечивать наполнение банка тестовых заданий ЕГЭ. Однако число участников конкурса для разработки заданий КИМ 2005 года почти в три раза меньше, чем для разработки КИМ 2003 года (53 вместо 132), и число поданных тестовых заданий тоже почти в три раза меньше (10863 вместо 29239). Число городов-участников изменилось всего на 7 (22 вместо 29).