Результаты диагностики по английскому языку в школах
с углубленным изучением предмета
В октябре 2012 года в рамках совместного проекта Московского центра качества образования (МЦКО) с Кембриджским университетом (Cambridge ESOL) была проведена по заявкам образовательных учреждений на добровольной основе диагностика уровня языковой компетенции (английский язык) по CEFR[1] учащихся 5-х и 10-х классов, в которых преподавание ведется по программам углубленного изучения предмета.
Характеристика инструментария
Подготовленные специалистами Кембриджского университета два теста включали задания по чтению и грамматике/лексике. Первый тест предназначался для учащихся 5-х классов, второй тест – для учащихся 10-х классов.
Теоретическая основа разработки English Benchmarking Test лежит в рамках коммуникативного подхода к изучению английского языка и учитывает при этом необходимость четкости и грамматической правильности. В реальной жизни язык всегда используется в контексте, и формы языка варьируются в соответствии с данным контекстом. Критерии оценивания в English Benchmarking Test были разработаны таким образом, чтобы гарантировать то, что тест отражает использование языка в реальной жизни; типы вопросов и формат заданий были разработаны таким образом, чтобы достигнуть поставленных целей.
Все задания теста были отобраны из банка заданий Cambridge ESOL. Создавая проверочный материал для этого банка, Cambridge ESOL следует строгим правилам написания и редактирования, что гарантирует соответствие всех материалов спецификациям тестов. Все задания были апробированы при помощи широкой программы предварительного тестирования, что гарантирует, что только вопросы и материалы с известными измерительными характеристиками войдут в банк заданий Cambridge ESOL. В систему предварительного тестирования Cambridge ESOL входят учебные заведения и экзаменационные центры по всему миру, включая Россию, и задания, использованные при создании данного теста, либо прошли предварительное тестирование или были использованы в реальных экзаменах. Анкерная система, используемая при создании тестовых материалов гарантирует, что все задания в банке заданий соответствуют общей шкале сложности Cambridge ESOL, которая тесно привязана к системе уровней CEFR. Эта жесткая система качества и процесса оценивания гарантирует валидность, надежность и объективность всех заданий, которые используются в тестах Cambridge ESOL.
Тест для 5-ого класса содержал 40 вопросов, закрывающих материал от уровня ниже уровня А 1 (pre-А 1) до уровня А 2 CEFR.
Тест для 10-го класса содержал 40 вопросов, включающих материал от уровня ниже уровня В1 (pre-В1) до уровня С1 CEFR.
Таблица 1. Спецификация теста по английскому языку для 5-го класса
№ зад. | Тип задания и формат | Проверяемые навыки и умения | Кол-во вопросов | Уровень задания |
1 | Чтение, множественный выбор. 5 дискретных вопросов на множественный выбор (три опции), с графами. | Понимание лексики на уровне предложения | 5 | Pre-A 1 |
2 | Множественный выбор (три опции). Пять пропусков в адаптированном аутентичном тексте. | Понимание лексики в коротком тексте и понимание лексико-грамматических структур в тексте | 5 | Pre-A 1 |
3 | Чтение, множественный выбор. 10 дискретных вопросов на множественный выбор (три опции). | Понимание лексики и лексико-грамматических структур на уровне предложения | 10 | Pre-A 1/ A 1 |
4 | Множественный выбор (три опции). Пять пропусков в адаптированном аутентичном тексте. | Понимание лексики в коротком тексте и понимание лексико-грамматических структур в тексте | 5 | A 1 |
5 | Множественный выбор (три опции). Пять пропусков в адаптированном аутентичном тексте. | Понимание лексики в коротком тексте и понимание лексико-грамматических структур в тексте | 5 | A 1 |
6 | Чтение, множественный выбор. Пять вопросов 'Верно/Неверно/В тексте не сказано' к адаптированному аутентичному тексту. | Полное понимание прочитанного и понимание основной идеи текста | 5 | A 2 |
7 | Чтение, множественный выбор. Пять вопросов 'Верно/Неверно/В тексте не сказано' к адаптированному аутентичному тексту. | Полное понимание прочитанного и понимание основной идеи текста | 5 | A 2 |
Таблица 2. Спецификация теста по английскому языку для 10-го класса
№ зад. | Тип задания и формат | Проверяемые навыки и умения | Кол-во вопросов | Уровень задания |
1 | Чтение, множественный выбор (три опции). 5 дискретных вопросов на множеств. выбор (ответная реплика) | Чтение и определение соответствующей ответной реплики. | 5 | A2/B1 |
2 | Множественный выбор (четыре опции). Пять пропусков в адаптированном аутентичном тексте. | Понимание лексики в коротком тексте и понимание лексико-грамматических структур в тексте | 5 | B1 |
3 | Множественный выбор (четыре опции). Пять пропусков в адаптированном аутентичном тексте. | Понимание лексики в коротком тексте и понимание лексико-грамматических структур в тексте | 5 | B1 |
4 | Множественный выбор (четыре опции). Пять пропусков в адаптированном аутентичном тексте. | Понимание лексики в коротком тексте и понимание лексико-грамматических структур в тексте | 5 | B1/B2 |
5 | Множественный выбор (четыре опции). 10 дискретных вопросов на множеств. выбор (четыре опции). | Понимание лексики и лексико-грамматических структур на уровне предложения. | 10 | B2 |
6 | Чтение, множественный выбор (четыре опции). Пять пропусков в адаптированном аутентичном тексте. | Чтение с пониманием деталей: понимание отношения, мнения и целей автора. Общее понимание прочитанного. Понимание того, что подразумевается. | 5 | B2/C1 |
7 | Чтение, множественный выбор (четыре опции). Пять пропусков в адаптированном аутентичном тексте. | Чтение с пониманием деталей: понимание отношения, мнения и целей автора. Общее понимание прочитанного. Понимание того, что подразумевается. | 5 | C1 |
В практических целях в данном проекте были использованы только задания на множественный выбор, которые могут быть объективно и быстро оценены. Тот факт, что в тест не входили задания по проверке уровня развития продуктивных навыков (говорения и письма), а также аудирования, можно считать ограничением рамок проведения данного проекта. Это следует иметь в виду при интерпретировании полученных результатов.
Обработка и оценка данных по тестированию
Листы с ответами были отсканированы в МЦКО и PDF файлы были пересланы в Cambridge ESOL. Данные файлы в Cambridge ESOL были автоматически оценены с использованием программы Teleform.
Начальные баллы были преобразованы с помощью таблицы Rasch Ability (подробнее см. Приложение 1) по уровню сложности каждого задания, определяемым в соответствии с общей шкалой оценивания уровня языковой компетенции Cambridge ESOL. Начальные баллы являются критериально-ориентированными (т. е. ориентированы на установленные уровни общего владения языком).
Результаты теста соотнесены с уровнями CEFR.
Система уровней владения иностранным языком CEFR
В системе CEFR знания и умения учащихся подразделяются на три крупных категории, которые далее делятся на шесть уровней:
A - Элементарное владение
A1 - Уровень выживания
A2 - Предпороговый уровень
B - Самостоятельное владение
B1 - Пороговый уровень
B2 - Пороговый продвинутый уровень
C- Свободное владение
C1 - Уровень профессионального владения
C2 - Уровень владения в совершенстве
Для каждого уровня описываются знания и умения, которые должен иметь учащийся в чтении, восприятии на слух, устной и письменной речи:
Уровень | Описание | % соотношение словарного запаса к вышестоящему уровню | % соотношение словарного запаса к уровню C2 |
A1 | Понимаю и могу употребить в речи знакомые фразы и выражения, необходимые для выполнения конкретных задач. Могу представиться/ представить других, задавать/ отвечать на вопросы о месте жительства, знакомых, имуществе. Могу участвовать в несложном разговоре, если собеседник говорит медленно и отчетливо и готов оказать помощь. | 50 % | 12 % |
A2 | Понимаю отдельные предложения и часто встречающиеся выражения связанные с основными сферами жизни (например, основные сведения о себе и членах своей семьи, покупках, устройстве на работу и т. п.). Могу выполнить задачи, связанные с простым обменом информацией на знакомые или бытовые темы. В простых выражениях могу рассказать о себе, своих родных и близких, описать основные аспекты повседневной жизни. | 50 % | 24 % |
B1 | Понимаю основные идеи четких сообщений, сделанных на литературном языке на разные темы, типично возникающие на работе, учебе, досуге и т. д. Умею общаться в большинстве ситуаций, которые могут возникнуть во время пребывания в стране изучаемого языка. Могу составить связное сообщение на известные или особо интересующие меня темы. Могу описать впечатления, события, надежды, стремления, изложить и обосновать свое мнение и планы на будущее. | 67 % | 48 % |
B2 | Понимаю общее содержание сложных текстов на абстрактные и конкретные темы, в том числе узкоспециальные тексты. Говорю достаточно быстро и спонтанно, чтобы постоянно общаться с носителями языка без особых затруднений для любой из сторон. Я умею делать четкие, подробные сообщения на различные темы и изложить свой взгляд на основную проблему, показать преимущество и недостатки разных мнений. | 81 % | 72 % |
C1 | Понимаю объемные сложные тексты на различную тематику, распознаю скрытое значение. Говорю спонтанно в быстром темпе, не испытывая затруднений с подбором слов и выражений. Гибко и эффективно использую язык для общения в научной и профессиональной деятельности. Могу создать точное, детальное, хорошо выстроенное сообщение на сложные темы, демонстрируя владение моделями организации текста, средствами связи и объединением его элементов. | 89 % | 89 % |
C2 | Понимаю практически любое устное или письменное сообщение, могу составить связный текст, опираясь на несколько устных и письменных источников. Говорю спонтанно с высоким темпом и высокой степенью точности, подчеркивая оттенки значений даже в самых сложных случаях. | 100 % |
Результаты тестирования
В диагностике приняли участие 3977 учащихся 5-х классов из 97 школ и 3035 учащихся 10-х классов из 103 школ.
Таблица 3. Распределение учащихся 5-х классов по уровням CEFR
Класс | Кол-во учащихся | Ниже уровня А1 | А1 | А2 |
3977 | 15,6% | 39,9% | 44,6% |
Таблица 4. Распределение учащихся 10-х классов по уровням CEFR
Класс | Кол-во учащихся | Ниже уровня В1 | В1 | В2 | С1 |
3035 | 13,9% | 36,7% | 36,0% | 13,4% |
Как видно из таблиц, подавляющее большинство учащихся 5-х классов имеют уровни А1 и А2 по CEFR; большинство учащихся 10-х классов имеют уровни В1 и В2 по CEFR.
Средний уровень по CEFR по школе в 5-х и 10-х классах определяется по среднему показателю результатов тестирования учащихся.
Таблица 5. Распределение школ по уровням CEFR
Класс | Кол-во школ | Ниже уровня А1 | А1 | А2 | Ниже уровня В1 | В1 | В2 | С1 |
5 | 97 | 3% | 68% | 29% | ||||
10 | 103 | 5% | 59% | 34% | 2% |
При интерпретации данных результатов важно иметь в виду, что во многих школах распределение результатов по уровням основано на относительно малом количестве учащихся.
[1] Common European Framework of Reference (CEFR) — система уровней владения иностранным языком, используемая в Европейском Союзе.
