Система оценки образовательных достижений учащихся - . при использовании ИМЭУ и в контрольных группах

Система оценки образовательных достижений учащихся -
при использовании ИМЭУ и в контрольных группах

Введение

Модель оценки образовательных достижений учащихся при использовании ИМЭУ и в контрольных группах должна удовлетворять следующим требованиям:

●  информативности (обеспечение всех основных участников образовательного процесса, управленцев разного уровня и других заинтересованных лиц необходимой информацией для корректировки образовательного процесса и принятия управленческих решений);

●  объективности (достоверность и надежность полученной информации);

●  интерпретируемости (полученные данные в процессе диагностики образовательных достижений должны позволять интерпретировать и объяснять результаты диагностики);

●  технологичности (процедуры организации и проведения диагностики, а также сбора, обработки и анализа данных должны быть взаимосвязаны и взаимообусловлены);

●  эффективности (проведение диагностики должно осуществляться при оптимальных затратах в соответствии критериями качества).

Для сравнения уровня образовательных достижений учащихся при использовании ИМЭУ и в контрольных группах были выбраны следующие критерии.

Критерий 1. Уровень общих интеллектуальных способностей

Данный критерий вводится с целью определения различий в уровне интеллектуальных способностей учеников контрольных и экспериментальных классов на начальном этапе проекта.

Показателями по данному критерию являются результаты выполнения теста по определению уровня интеллекта школьников в контрольных и экспериментальных классах на этапе стартовой диагностики - средний тестовый балл и стандартное отклонение, а также распределение учеников по уровням интеллектуальных способностей.

Критерий 2. Предметные достижения

В соответствии с образовательным стандартом основного общего образования к ним относятся:

- предметные знания и умения;

- использование приобрет\нных знаний и умений в практической деятельности и повседневной жизни.

Показатели:

1.  Общая успеваемость (по всем предметам) для контрольных и экспериментальных классов по итогам четвертей и учебного года:

●  отличники – доля учеников, имеющих только отличные отметки за четверть (за год) в процентах;

●  хорошисты – доля учеников, имеющих отметки «четыре» и «пять» за четверть (за год) в процентах;

●  неуспевающие – доля учеников, имеющих хотя бы одну отметку «2» за четверть (за год) в процентах.

2.  Результаты итоговых контрольных работ по предметам по четвертям и за год:

●  доли учеников, получивших различные отметки;

●  качество знаний (доля учеников, получивших отметки «4» и «5»);

●  успеваемость (доля учеников, получивших отметки «3», «4» и «5»).

3.  Успеваемость по предметам для контрольных и экспериментальных групп по четвертям и за год

В качестве показателей выступают традиционные результаты успеваемости по классам за четверть и за год:

●  доли учеников, получивших различные отметки;

●  качество знаний (доля учеников, получивших отметки «4» и «5»);

●  успеваемость (доля учеников, получивших отметки «3», «4» и «5»).

Критерий 3. Уровень овладения умениями познавательной, коммуникативной, практической деятельности в основных типичных для подросткового возраста социальных ролях (метапредметные достижения).

К метапредметным достижениям можно отнести

- коммуникативные умения (умения ясно выражать свои мысли устно или письменно, слушать и понимать других, понимать и анализировать прочитанный текст);

- общеучебные умения;

- умения решать проблемы;

- умения работать с информацией, представленной в различном виде (таблицы, графики и др.);

- умения работать с информацией с помощью компьютера (овладение информационными технологиями).

Показатели:

Результаты выполнения межпредметного теста в контрольных и экспериментальных классах на этапе итоговой диагностики в конце учебного года – распределение учеников по уровням (низкий, средний, высокий), средний тестовый балл и стандартное отклонение.

Критерий 4. Мотивация к обучению

Показателем является уровень мотивации учащихся, выявленный на основе результатов проведения исследования уровня внутренней мотивации с использованием тест-опросника в контрольных и экспериментальных классах.

Диагностика образовательных достижений учащихся должна проводиться на разных этапах процесса обучения. Она включает стартовую диагностику, промежуточный и итоговый контроль.

Основные этапы оценки образовательных достижений учащихся при использовании ИМЭУ и в контрольных группах

1.  Стартовая диагностика

Стартовая диагностика представляет обследование, проводимое в начале эксперимента. Она проводится с целью определения уровня подготовки контрольных и экспериментальных классов. Так как успеваемость учеников в четверти, предшествующей началу эксперимента, не может считаться объективным критерием для проведения сравнения разных классов, то в качестве инструмента на этом этапе должен выступать единый тест общих интеллектуальных способностей.

В качестве инструмента оценки предлагается краткий интеллектуальный тест (модификация методик Н. В. Бузина).

Тест применяется для диагностики общего уровня интеллектуального развития и структуры интеллекта учащихся 6-8 классов (общая осведомленность, речевое развитие, переключаемость внимания, математические способности, логика, сформированность пространственных представлений). Тест включает 30 заданий, которые можно выполнять в любой последовательности. Время выполнения – 15 минут.

Задания нацелены на проверку различных аспектов интеллектуального развития: эрудиции (общей осведомленности), речевого развития, внимания, математических способностей, логики и пространственных представлений. К каждому аспекту относятся 5 заданий. Качественная обработка заключается в подсчете правильных ответов по каждой группе заданий. Каждый правильный ответ оценивается в один балл, при этом выделяются следующие уровни развития способностей:

4-5 баллов – высокий уровень;

2-3 балла – средний уровень;

0-1 балл – низкий уровень.

В рамках нормативного подхода по результатам тестирования всей выборки можно выделить пять групп:

1.  наиболее успешные – 10% от общего числа испытуемых;

2.  близкие к успешным – 20% от общего числа испытуемых;

3.  средние по успешности – 40% от общего числа;

4.  мало успешные – 20 % от общего числа;

5.  наименее успешные – 10 % от общего числа испытуемых.

В рамках проведения стартовой и итоговой диагностики наиболее технологичным способом организации данных оценочных процедур является компьютерное тестирование. Если приобретенные школой ИМЭУ поддерживают возможность установки программного обеспечения и работы в локальной сети, то диагностика может проводиться с их использованием, в противном случае она должна быть организована в компьютерных классах.

Требования к программному обеспечению:

●  возможность использования различных форм тестовых заданий (выбор одного или нескольких верных ответов из списка, краткий свободный ответ, установление соответствия, установление последовательности);

●  получение и накопление результатов в виде матрицы профилей ответов испытуемых для дихотомической и политомической оценки результатов выполнения заданий;

●  защита банков тестовых задания и результирующих матриц от несанкционированного доступа;

●  возможность включения в задания графики, схем, таблиц и формул;

●  проведение тестирования и сбор результатов в сетевом варианте;

●  формирование матрицы ответов учеников на задания тестов и матрицы результатов;

●  бесплатное использование образовательными учреждениями.

К программному обеспечению, отвечающему всем представленным требованиям относится система программ для создания и проведения компьютерного тестирования, сбора и анализа их результатов MyTest X (http://mytest.klyaksa.net/htm/index.htm).

Программа обладает интуитивно понятным интерфейсом, имеется справочная система. MyTest X позволяет использовать девять типов заданий: одиночный выбор, множественный выбор, установление порядка следования, установление соответствия, указание истинности или ложности утверждений, ручной ввод числа, ручной ввод текста, выбор места на изображении, перестановка букв.

В тесте можно использовать любое количество типов заданий. В заданиях с выбором ответа (одиночный, множественный выбор, указание порядка, указание истинности) можно использовать до 10 (включительно) вариантов ответа.

Программа состоит из трех модулей: Модуль тестирования (MyTestStudent), Редактор тестов (MyTestEditor) и Журнал тестирования (MyTestServer).

Для создания тестов имеется редактор тестов с дружественным интерфейсом. Любой учитель-предметник, даже владеющий компьютером на начальном уровне, может легко составить свои тесты для программы MyTestX и использовать их на уроках.

В программе имеются богатые возможности форматирования текста вопросов и вариантов ответа. Можно определить шрифт, цвет символов и фона, использовать верхний и нижний индекс, разбивать текст на абзацы и применять к ним расширенное форматирование, использовать списки, вставлять рисунки и формулы. Для большего удобства в программе имеется собственный текстовый редактор.

К каждому заданию можно задать сложность (количество баллов за верный ответ), прикрепить подсказку (показ может быть за штрафные баллы) и объяснение верного ответа (выводится в случае ошибки в обучающем режиме), настроить другие параметры.

В MyTest X можно использовать любую систему оценивания. Систему оценки и её настройки можно задать или изменить в редакторе теста.

При наличии компьютерной сети, используя модуль журнала, можно:

- организовать централизированный сбор и обработку результатов тестирования. (Результаты выполнения заданий выводятся учащемуся и отправляются учителю. Учитель может оценить или проанализировать их в любое удобное для него время.)

- организовать раздачу тестов учащимся через сеть, тогда отпадает необходимость каждый раз копировать файлы тестов на все компьютеры. (Раздавать можно сразу несколько разных тестов.)

- непосредственно следить за процессом тестирования. (Учитель может видеть кто и какой тест выполняет, сколько заданий уже выполнено и какова их результативность.)

С помощью программ MyTest X можно организовать как локальное, так и сетевое тестирование.

Программа поддерживает несколько независимых друг от друга режимов: обучающий, штрафной, свободный и монопольный. В обучающем режиме тестируемому выводятся сообщения об ошибках, может быть показано объяснение к заданию. В штрафном режиме за неверные ответы у тестируемого отнимаются баллы и можно пропустить задания (баллы не прибавляются и не отнимаются). В свободном режиме тестируемый может отвечать на вопросы в любой последовательности, переходить (возвращаться) к любому вопросу самостоятельно. В монопольном режиме окно программы занимает весь экран и его невозможно свернуть.

При правильном отборе контрольного материала содержание теста может быть использовано не только для контроля, но и для обучения. Таким образом, позволяя испытуемому самостоятельно обнаруживать пробелы в структуре своих знаний и принимать меры для их ликвидации. В таких случаях можно говорить о значительном обучающем потенциале тестовых заданий, использование которого станет одним из эффективных направлений практической реализации принципа единства и взаимосвязи обучения и контроля.

В настройках теста предусмотрено ограничение времени выполнения как всего теста, так и любого ответа на задание (для разных заданий можно выставить разное время).

Параметры тестирования, задания, изображения к заданиям для каждого отдельного теста - всё хранится в одном файле теста. Файл с тестом зашифрован и сжат. MyTest X имеет хорошую степень защиты как тестовых заданий, так и результатов. Благодаря тому, что для теста можно задать несколько различных паролей (для открытия, редактирования, тестирования), испортить (отредактировать) тест лицам, не имеющим на это права, становится практически невозможно, плюс ко всему, невозможно “незаконно” получить ключи (правильные ответы) к тестовым заданиям. Результаты тестирования могут сохраняться в защищенный файл, который невозможно отредактировать. Ввиду того, что результаты тестирования могут сохраняться как на локальном ПК, так и параллельно - на ПК учителя (сервере), вероятность потери результатов сводится к 0% . Если ученик по каким-либо причинам не может выполнять тест за ПК (например, по состоянию здоровья), то можно сформировать “бумажный” вариант теста.

Программа MyTest X распространяется бесплатно. Некоммерческое использование программы не требует денежных выплат. Любое образовательное учреждение, учитель и ученик могут бесплатно использовать программу на основе лицензионного соглашения без каких-либо денежных отчислений. Программа работает под ОС Windows 2000, XP, Vista, 7. Для работы под Linux можно использовать Wine.

Школа может использовать своё программное обеспечение для проведения компьютерного тестирования, но в этом случае должна быть обеспечена возможность ввода вариантов тестов и передачи матриц ответов и результатов учеников в определенном формате для анализа.

2.  Промежуточная диагностика

На промежуточных этапах должна анализироваться успеваемость учеников контрольных и экспериментальных классов по всем предметам по четвертям, а также результаты четвертных контрольных работ.

Для проведения диагностических процедур необходимо организовать подготовку качественных измерителей образовательных достижений учащихся, проходящих обучение с использованием ИМЭУ, и учащихся контрольных групп, что предусматривает разработку научно-методических подходов к формированию спецификаций и содержания измерительных, в том числе, диагностических материалов. Именно спецификация является документом, отражающим основные характеристики измерительных материалов и определяющим различные аспекты их качества, например, валидность и надежность измерения.

На этапе планирования разработки инструментария диагностики образовательных достижений учащихся необходимо определить:

●  состав инструментария,

●  цели его использования,

●  показатели образовательных достижений, которые будут формироваться на основе данного инструментария. (Эти показатели должны характеризовать подготовку учащихся по учебному предмету и позволять выявить динамику её изменения, а также сравнить достижения учащихся по разным учебным предметам);

●  особенности инструментария (структура, содержание, типы используемых заданий и вопросов, система оценивания и др.).

Для разработки инструментария необходимо операционализировать ожидаемые результаты обучения в виде системы действий, которыми должны овладеть учащиеся в ходе изучения отдельных предметов.

На основе операционализированных требований к уровню подготовки разрабатываются кодификаторы проверяемых элементов содержания, спецификации проверочных работ, создаются контрольные задания и системы их оценивания.

При разработке подходов к определению структуры и содержания инструментария основные усилия должны быть направлены на повышение объективности и надёжности оценки образовательных достижений учащихся при диагностике.

Подготовка материалов для проведения контроля за четверть и за год будет проводиться совместно с педагогами образовательных учреждений, участвующих в проекте, с учётом предметной области, используемых учебников, технических и программных особенностей построения ИМЭУ, а также с условием, что разработанные материалы смогут использоваться для оценки учеников контрольных классов.

3.  Оценка уровня учебной мотивации

Одним из аспектов, который нужно проанализировать при внедрении ИМЭУ, является уровень учебной мотивации в контрольных и экспериментальных классах. Предлагаемым инструментом оценки уровня учебной мотивации является тест-опросник Т. Д. Дубовицкой. Целью данной методики является исследование направленности и уровня развития внутренней мотивации деятельности учащихся при изучении конкретных учебных предметов.

Сроки проведения исследования – начало четвертой четверти.

Общая характеристика. Методика состоит из 20 суждений и предложенных вариантов ответа. Для повышения достоверности результатов все вопросы сбалансированы по количеству положительных («да») и отрицательных («нет») ответов: по каждой шкале им соответствует равное количество пунктов опросника. В содержании опросника отсутствуют суждения, касающиеся личности учителя, что отличает данную методику от таких, как «Преподаватель глазами студентов» или «Отношение к учителю». Учащиеся высказывают свое отношение к происходящему на уроке и описывают испытываемое при этом состояние. Исследование может проводиться анонимно, коллективно и индивидуально.

В отличие от традиционных вариантов ответов («да», «нет»), которые вследствие своей категоричности часто вызывают, как показывает психодиагностическая практика, затруднения испытуемых при выборе ответа, в опроснике предлагается более широкий набор возможных ответов: «верно», «пожалуй, верно», «пожалуй, неверно», «неверно».

Ответы в виде плюсов и минусов записываются испытуемым либо в специальном бланке, либо на чистом листе бумаги. Обработка производится в соответствии с ключом. Методика может использоваться со всеми категориями обучающихся, способных к самоанализу и самоотчету, начиная с 12-летнего возраста.

Содержание тест-опросника

Инструкция: В целях повышения эффективности обучения просим Вас принять участие в нашем исследовании. Прочитайте каждое высказывание и выразите свое мнение по отношению к изучаемым предметам, проставив напротив номера высказывания соответствующий Вам ответ, используйте для этого указанные в скобках обозначения:

верно – (++);

пожалуй, верно – (+);

пожалуй, неверно – (–);

неверно – (– –).

Содержание суждений

1. Изучение данного предмета даёт мне возможность узнать много важного для себя, проявить свои способности.

2. Изучаемый предмет мне интересен, и я хочу знать по данному предмету как можно больше.

3. В изучении данного предмета мне достаточно тех знаний, которые я получаю на занятиях.

4. Учебные задания по данному предмету мне неинтересны, я их выполняю, потому что этого требует учитель.

5. Трудности, возникающие при изучении данного предмета, делают его для меня ещё более увлекательным.

6. При изучении данного предмета, кроме учебников и рекомендованной литературы, самостоятельно читаю дополнительную литературу.

7. Считаю, что трудные теоретические вопросы по данному предмету можно было бы не изучать.

8. Если что-то не получается по данному предмету, стараюсь разобраться и дойти до сути.

9. На занятиях по данному предмету у меня часто бывает такое состояние, когда «совсем не хочется учиться».

10.  Активно работаю и выполняю задания только под контролем учителя (преподавателя).

11.  Материал, изучаемый по данному предмету, с интересом обсуждаю в свободное время (на перемене, дома) со своими одноклассниками (друзьями).

12.  Стараюсь самостоятельно выполнять задания по данному предмету, не люблю, когда мне подсказывают и помогают.

13.  По возможности стараюсь списать выполнение заданий у товарищей или прошу кого-то выполнить задание за меня.

14.  Считаю, что все знания по данному предмету являются ценными и, по возможности, нужно знать по данному предмету как можно больше.

15.  Оценка по этому предмету для меня важнее, чем знания.

16.  Если я плохо подготовлен к уроку, то особо не расстраиваюсь и не переживаю.

17.  Мои интересы и увлечения в свободное время связаны с данным предметом.

18.  Данный предмет дается мне с трудом, и мне приходится заставлять себя выполнять учебные задания.

19.  Если по болезни (или другим причинам) я пропускаю уроки по данному предмету, то меня это огорчает.

20.  Если бы это было возможно, то я исключил бы данный предмет из расписания (учебного плана).

Бланк ответов

школа______________________________

класс_______________ пол___________

№ вопроса	Название изучаемых предметов
	математика	физика	литература	…	история	биология
1
2
…
20

Обработка результатов

Подсчёт показателей опросника производится в соответствии с ключом, где «да» означает положительные ответы (верно; пожалуй, верно), а «нет» — отрицательные (пожалуй, неверно; неверно).

Ключ Да 14 17 19

Нет

За каждое совпадение с ключом начисляется один балл. Чем выше суммарный балл, тем выше показатель внутренней мотивации изучения предмета. При низких суммарных баллах доминирует внешняя мотивация изучения предмета.

Для определения уровня внутренней мотивации могут быть использованы следующие нормативные границы:

0—5 баллов — низкий уровень внутренней мотивации;

6—14 баллов — средний уровень внутренней мотивации;

15—20 баллов — высокий уровень внутренней мотивации.

4.  Итоговый контроль

Целью итогового контроля является определение уровня усвоения выпускниками контрольных и экспериментальных классов предметного содержания по программе обучения за год и сформированности общеучебных умений и навыков в соответствии с требованиями стандарта.

На этапе итогового контроля анализируются результаты годовых контрольных работ по предметам, а также проводится межпредметный тест, целью которого является определение уровня сформированности общеучебных умений и навыков, таких как:

●  умения понимать и анализировать прочитанный текст;

●  умения решать проблемы;

●  умения работать с информацией, представленной в различном виде (таблицы, графики и др.).

На основе комплексного подхода к оценке образовательных достижений учащихся можно будет, во-первых, выстроить систему диагностики с точки зрения возможности наиболее полного использования интерактивных и мультимедийных возможностей устройств, на которых действуют ИМЭУ. Во-вторых, будет обеспечена гарантия объективности и достоверности результатов диагностики образовательных достижений учащихся, предупреждая возможные (случайные или преднамеренные) искажения собираемых диагностических данных. Таким образом, можно будет сделать выводы о различии уровней подготовки в контрольных и экспериментальных классах на протяжении всего периода эксперимента.

Литература

1.  , Раевский и этические аспекты психологической диагностики. Этический кодекс психолога-диагноста.

2.  Асмолов личности. Культурно-историческое понимание развития человека. - М.: Смысл, 2007.

3.  Ефремова  контроль в образовании: учебное пособие для студентов, получающих образование по педагогическим направлениям и специальностям / . – М.: Логос, 2007. – 368 с.

4.  Звонников  качества обучения при аттестации: компетентностный подход / , . – М.: Логос, 2009. – 271 с.

5.  Звонников  средства оценивания результатов обучения: учебное пособие для студентов высших учебных заведений, обучающихся по педагогическим специальностям / , . – М.: Академия, 2009. – 222 с.

6.  Педагогическая диагностика: Пер. с нем.-М.: Педагогика, 1991

7.  Ковалева  общего образования в российской школе по результатам международных исследований / [и др.] – М.: Логос, 2006. – 404 с.

8.  Майоров в образовании. М.: Интеллект-Центр, 2005.

9.  Поварницына как компонент учебной деятельности и ее роль в развитии личности школьника. Дисс. на соиск. уч. ст. канд. психол. н. Н. Новгород, 2001.

10.  , Юнина качества преподавания в школе: Учебное пособие. –М.: Педагогическое общество России, 2004. – 144с.

11.  Шамова  средства оценивания результатов обучения в школе / [и др.] – М.: Педагог. общ-во России, 2007. – 192 с.