Рейтинг и тесты в системе оценки знаний студентов (стр. 2 )

Наиболее важной характерной чертой рейтинговой оценки является частое, регулярной оценивание, когда преподаватель выставляет оценку, руководствуясь одинаковыми для всех преподавателей правилами. Если для контроля предъявляются «традиционные» материалы (вопросы, задачи), то необходимо наличие эталонных ответов. Понятно, что составление таких эталонов и пользование ими - достаточно трудоемкая процедура. Кроме того, ясно. Что очень трудно сравнивать оценки за ответы на разные вопросы. Поэтому преподаватели, желающие использовать рейтинговую технологию, неизбежно приходят к необходимости унификации контролирующих материалов, их «взвешиванию» по содержанию, сложности и трудности.

Унификация контролирующих материалов является одним из наиболее существенных моментов внедрения рейгинговой технологии. Такая унификация в конечном счете приводит преподавателя к разработке банка заданий в тестовой форме. Тестовая форма - наиболее эффективный и объективный вид контроля, позволяющий быстро проверить правильность ответов по большому объему содержания. Тестовая форма - наиболее концентрированное выражение содержания, где сформулирован не только необходимый образовательный минимум (стандарт), но и требования к нему.

При использовании традиционной «групповой» 5-балльной оценки неизбежно итоговый рейтинг тоже будет групповым, когда одинаковую сумму баллов имеют много студентов. Индивидуальный рейтинг возможен только при использовании дифференцированной

10 оценки по многобалльным шкалам. Удобно при переходе от традиционной групповой к рейтинговой индивидуальной оценке использовать оценки, кратные 5 (например, 15 баллов за билет из 3-х вопросов, ответ на каждый из которых оценивается по 5-балльной шкале. Тогда «неуд» получает студент, получивший за ответ на данный билет 6-7 баллов, «удовл» - 8-10 баллов, «хор» - 11-13 баллов и «отл» -14-15 баллов).

Хорошо зарекомендовала себя комбинированная форма текущего контроля, сочетающая в себе, например. 3-5 заданий в тестовой форме и 2 традиционных, описательных задания (такой вариант оценивается максимально в 15 баллов). Эта форма, во-первых, проверяет умение студента излагать полный, исчерпывающий ответ со всеми необходимыми аргументами, во-вторых, знакомит его с тестовой формой, навыки обращения с которой пригодятся в рубежной и итоговой аттестации.

Попытки учета трудности контролирующих заданий сделаны в [8], однако, это значительно усложняет систему подсчета баллов, которая должна быть предельно простой, доступной и понятной всем студентам.

Еще раз подчеркнем, что рейтинг неэффективен в рамках традиционной системы «групповых» оценок, он ориентирован на нормативный подход, целью которого является дифференцирование студентов по уровню их учебных достижений, реализация «достиженческого комплекса» в образовании. Эффективное использование системы рейтинга возможно в среде структурированного содержания дисциплины при блочно-модульном представлении дисциплины. Здесь должно быть обеспечено достижение каждым обучающимся поставленных перед ним дидактических целей.

Преимущества рейтинговой системы, отмеченные выше, проявляются на любом уровне ее применения (учебная группа, поток, курс, факультет). Следует подчеркнуть такие важные особенности рейтинговой технологии, как определенность правил оценивания, преемственность и предсказуемость оценки. По существу, здесь исключаются «неожиданности» на экзамене, результат которого гораздо более предсказуем, чем при традиционной системе оценивания.

Этот факт позволяет пересмотреть традиционный подход к экзамену, на который обычно выносится слишком большой объем

11

материала, выучить который в период сессии очень трудно, особенно иностранным студентам. Все это в сочетании с известными недостатками традиционного экзамена (выборочная проверка содержания, существенное влияние субъективных факторов, высокое эмоциональное напряжение, низкая эффективность при большом числе экзаменуемых) приводит к необходимости перенести «центр тяжести» итоговой оценки на учебный год, оставив экзамену только самое существенное, главное, основное (образовательный минимум или стандарт).

Подобная система аттестации хорошо себя зарекомендовала и много лет успешно действует на кафедре биохимии ЯГМА [14 ] .

Регулярная публикация рейтинговых списков является основным элементом мониторинга учебного процесса. Для всех без исключения студентов это является мотивирующим фактором проявления учебной активности. Слабые стараются улучшить свое положение в рейтинге, сильные - не потерять завоеванные позиции. Здесь включается элемент соревновательности в учебных достижениях. Ниже в качестве примера приведено «Положение о рейтинге по биоорганической химии», действующее на лечебном и педиатрическом факультетах Ярославской государственной медицинской академии.

Положение о рейтинге

по биоорганической химии для студентов 1 курса лечебного и педиатрического факультетов на учебный год

Рейтинг формируется в течение всего периода обучения дисциплине (один семестр). Рейтинговая оценка складывается из текущего (лабораторно-практические занятия), рубежного (контрольные работы) и итогового (экзамен) контролей, а также оценок за дополнительные виды работ.

В рейтинг идут баллы, полученные с первого раза и в установленные сроки. Пропущенные без уважительной причины занятия обязательно отрабатываются с рейтинговой оценкой 0 баллов (зачет-незачет).

Занятия, пропущенные по уважительной причине, отрабатываются по инициативе студента с предъявлением справки из деканата. Баллы, полученные на отработке, идут в рейтинг.

12 Пропущенные контрольные работы отрабатываются обязательно независимо от причины пропуска. Баллы за отработку идут в рейтинг. В случае успешной отработки контрольной, пропущенной без уважигельной причины, начисляется зачетная сумма баллов.

Баллы, которые можно набрать за обязательные виды работ в течение семестра: 1. Оценка лабораторно-практического занятия: а) письменный тест по теме занятия - 15 баллов б) лабораторная работа: 2 балла за своевременное и аккуратное оформление отчета 2. Оценка тестовых контрольных работ: 1-я контрольная - 60 баллов, 2-я - 50 баллов, 3-я - 50 баллов.

Дополнительные баллы, которые можно набрать за внеаудиторную работу: участие в научно-исследовательской работе на кафедре, выступление с докладом на студенческой научной конференции - до 30 баллов.

Тестирование считается успешно пройденным, если студент в
каждом случае набирает не менее 50% баллов. Сумма баллов,
набранных за семестр, соответствует следующим оценкам:
«отлично» более 310 баллов

«хорошо» 240 - 310

«удовлетворительно» 190 - 239

«неудовлетворительно» менее 190 баллов По окончании семестра студенты сдают письменный тестовый экзамен. Оценки за экзаменационный тест выражаются следующим числом баллов:

«отлично» баллов

«хорошо» 140-168

«удовлетворительно» 100 - 136 «неудовлетворительно» 96 баллов и менее Баллы, начисленные за экзамен, суммируются с баллами за семестр. Итоговая оценка по биоорганической химии определяется следующим образом:

«отлично» более 480 баллов

«хорошо» 380 - 480

«удовлетворительно» 290 - 380

«неудовлетворительно» менее 290 баллов. По решению кафедры студенты, имеющие высокий рейтинг, активно проявившие себя на занятиях, участвовавшие в научно-исследовательской работе на кафедре, а также написавшие реферат по одной из тем для самостоятельного изучения по выбору (список тем

13 прилагается), или по теме, предложенной преподавателем, могут быть с их согласия освобождены от сдачи экзамена. К семестровому рейтингу освобожденных от сдачи экзамена студентов автоматически добавляется 172 балла и в зачетную книжку выставляется оценка «отлично».

В последние годы обсуждается вариант модульно-рейтинговой системы обучения студентов [15,16]. Она принципиально не отличается от системы РИТМ, но ее разработчики считают, что, во-первых, число модулей, для семестрового курса должно быть ограничено тремя-четырьмя. Учебная дисциплина, по их мнению, должна делиться так, чтобы каждый модуль включал 3-4 конкретные темы курса, по которым проводятся лабораторно-практические занятия. Во-вторых, изучение каждого модуля должно заканчиваться модульным экзаменом, который проводится, как правило, в письменной форме. В-третьих, рейтинг студентов должен складываться только из баллов, полученных на модульном экзамене, пересдавать который не допускается. В-четвертых, сумма баллов, полученных за текущую учебную работу (выполнение лабораторных работ, домашних заданий, выступления на семинарах и т. д.), не входит в рейтинг студента, а является условием допуска к модульному экзамену. К такому экзамену допускаются студенты, набравшие некоторую минимально необходимую сумму баллов. При этом за выполнение каждой отдельной работы начисляется от 0 до 3 баллов в зависимости от качества выполнения (0 - неудовлетворительно, 1 - удовлетворительно, 2 - хорошо, 3 - отлично). Студенты, не набравшие необходимый минимум баллов, должны достигнуть его за счет выполнения индивидуальных домашних заданий, лабораторных работ, тестовых контрольных заданий. В-пятых, за все модульные экзамены в течение семестра студент может получить от 0 до 24 баллов. В-шестых, студент, получивший за все модульные экзамены не менее 15 баллов, по его желанию может быть освобожден от семестрового экзамена и получает оценку «хорошо» за 15-20 баллов и «отлично» за 21-24 балла. Тот, кто не набрал за все модульные экзамены 15 баллов, сдает итоговый семестровый экзамен, предусмотренный учебным планом в экзаменационную сессию. К итоговому семестровому экзамену допускаются те студенты, которые

имеют необходимую минимальную сумму баллов за все виды учебной

14 работы. Итоговый семестровый экзамен обычно проводится в письменной форме. Экзаменационный билет включает вопросы и задачи по всем разделам курса.

По мнению авторов модульно-рейтинговой системы, модульная и рейтинговая составляющие могут функционировать и отдельно, но с меньшей эффективностью.

Для применения рейтинга в рамках всего вуза необходимо следующее. Во-первых, заинтересованность руководства. Во-вторых, участие всех без исключения кафедр и подразделений («командный стиль» работы). И, в-третьих, должно быть детально разработано «Положение о рейтинге в вузе», позволяющее выявить «лучших из лучших» выпускников, которые затем будут востребованы на самые престижные и высокооплачиваемые должности в крупных фирмах и организациях. При разработке вузовского положения о рейтинге могут быть учтены, например, трудоемкость учебной дисциплины и ее значимость в подготовке специалиста. Проблемы разработки вузовского рейтинга обсуждаются в [2]. Следует заметить, однако, что выработанная система оценки должна быть простой, доступной, однозначной. Самым простым и понятным является паритет дисциплин, когда итоговый рейтинг выпускника равен сумме рейтинговых мест по отдельным дисциплинам; чем меньше сумма мест, тем выше рейтинг.

Рейтинговая оценка студентов - не только отражение уровня учебных достижений, но и средство управления учебным процессом. Чтобы эффективно служить стимулированию, направлению и вознаграждению образовательных усилий студентов, оценки должны быть валидными и надежными. Типичные недостатки традиционных оценок (выборочная проверка содержания, субъективизм оценивания) приводят к тому, что погрешность в определении экзаменационной оценки, например, может достигать 50% [17].

Таким образом, использование рейтинговой технологии позволяет сделать оценку учебных достижений более предсказуемой, объективной и надежной.

Валидными и надежными инструментами измерения учебных достижений являются научно обоснованные тестовые материалы, о разработке которых пойдет речь в следующей главе.

15 3. Тесты в системе оценки знаний студентов

3.1. Сравнительный анализ традиционной и тестовой форм контроля

Тестовая форма контроля, требующая дать (или выбрать) однозначный и краткий ответ, имеет ряд важнейших преимуществ по сравнению с традиционными формами (ответы на вопросы в устной или письменной форме, собеседование, устный экзамен), где требуется развернутое изложение материала. Тестовая форма наиболее конкретно выражает те только содержание дисциплины, но и требования к нему. Ее эффективность позволяет проводить частый тотальный контроль, что существенно повышает надежность итоговой оценки. Однако, педагогическое тестирование не является универсальной формой, оно имеет свои недостатки и ограничения. Четкую границу между традиционной и тестовой формами контроля проводит так называемый «операторный критерий». В тестовой форме оценщик («оператор») может быть абсолютно несведущим человеком. Желательно, чтобы при тестировании соблюдался принцип «математиков на экзамене по математике быть не должно».

Ниже в виде таблицы приводится краткий сравнительный анализ этих двух форм контроля по нескольким наиболее важным элементам сравнения. В качестве примера выбран курсовой экзамен по дисциплине. Здесь авторы настоящего пособия обобщили не только свой личный педагогический опыт, но и литературные данные по этому вопросу.

На основании анализа особенностей традиционной и тестовой форм контроля в [17] приводятся следующие рекомендации по их использованию. Например, традиционную форму оценки знаний лучше использовать в тех случаях, когда

•  группа тестируемых невелика и контролирующий материал не будет использоваться повторно,

•  преподаватель стремится стимулировать и вознаградить развитие мастерства студентов в формулировке и написании высказываний, суждений,

• преподаватель более заинтересован в выяснении позиции,
творческих способностей и потенциальных возможностей
студентов, чем в измерении их достижений,

16

•  имеется мало времени на составление контролирующего материала, но достаточно времени на проверку и оценку,

•  преподаватель увереннее чувствует себя в роли читателя-критика, чем в качестве искусного составителя содержательных объективных тестовых заданий.

Объективные тесты рекомендуется применять в случаях, когда

•  группа тестируемых велика, или тест может быть использован повторно,

•  максимально эффективно должны быть получены высоко надежные тестовые баллы,

•  существенным фактором является беспристрастие в оценке, абсолютная честность и непредвзятость,

•  нет ограничения во времени на подготовку теста, но необходимо быстро доложить результаты,

•  преподаватель более уверен в своей способности ясно сформулировать объективные тестовые задания, чем в способности корректно оценить ответы на традиционные вопросы.

Следует отметить, что легче всего с помощью тестов и заданий в тестовой форме проверять овладение хорошо структурированным учебным материалом. Глубокое овладение предметом, умение мыслить самостоятельно, творчески анализировать ситуацию и делать обобщения с помощью педагогических тестов проверить трудно. Кроме того, отсутствие непосредственного контакта с учащимся, с одной стороны, делает тестовый контроль более объективным, но, с другой стороны, повышает вероятность случайных ошибок, вызванных невниманием или неправильным пониманием задания. Поэтому только умелое использование тестового контроля в сочетании с традиционными методами оценки знаний студентов может дать наилучший эффект.

17

18

Таблица 3.1. Краткий сравнительный анализ традиционной и тестовой форм контроля

№ 1 п/п	Элемент сравнения	Традиционная форма	Тестовая форма
1.	Объективность оценки	Низкая. Существенное влияние субъективных факторов: внешний вид, темп' речи учащегося, осведомленность экза­менатора о результатах других экзаменов, срав­нение ответа экзаменуе­мого с ответом предыдущего и многое другое [18].	Высокая. Влияние субъективных факторов исключено. Имеются эталоны правильных ответов
2.	Надежность оценки	Низкая (>50%)[17].	Высокая (>70%)
3.	Дифференцирую­щая способность	Низкая (групповая оценка 2,3,4,5)	Высокая (индивидуальный тестовый балл Xi)
4.	Охват содержания контролируемого материала	Выборочный	Широкий
5.	Эффективность	При массовом контроле - низкая. Длительная про­цедура с непроизводитель­ными затратами времени и труда преподавателей	Высокая. Одновременно тестируется большое число учащихся. Проверка проводится быстро по эталонам ответов.
6.	Решающее влияние на оценку	Компетентность «оценщика» [17]	Мастерство составителя теста
7.	Трудоемкость сос­тавления контроли­рующих материалов	Низкая. Легко составить	Высокая. Трудно составить. Нужны специальные знания по теории и практике тестирования и особое искусство владения языком
8.	Трудоемкость проверки , результатов	Высокая. Трудно прове­рять. Нет эталонов.	Низкая. Легко проверять (имеются эталоны ответов, шаблоны). Может проверять даже неспециалист

9.	Сравнимость ре­зультатов (в раз­ных группах, у разных препода­вателей) и воз­можность постро­ения шкалы учеб­ных достижений	Несравнимы. Невозможно	Сравнимы, что особенно важно в связи с введением образовательных стандартов. Возможно
10.	Требования к мини­мальному объему содержания контро­лируемого материала	Неясные, расплывчатые, примерные	Открытые и ясные. Заранее известен проход­ной критериальный балл
11.	Возможность про­верки умений и навыков	Неэффективная и неболь­шая. В основном, дополни­тельные вопросы на экзамене	Больше и эффективнее. В том случае, когда предъявлен тест на «ско­рость» выполнения
12.	Соответствие требо­ваниям автоматиза­ции обучения и контроля	Не соответствует	Соответствует. Вписывается в компьютерную оболочку
13.	«Обратная связь» с целью улучшения качества экзамена­ционного контроля и качества препода­вания	Неэффективна. Действует эпизодически	Эффективна и оперативна. Действует систематически (анализ результатов тести­рования и постоянное со­вершенствование тестов.
14.	Эмоциональное напряжение	Высокое	Нормальное. Знакомая процедура (регулярное тестирование в период обучения и репетицион­ное накануне экзамена)
15.	Следование книж­ной фразеологии, механическое зау­чивание («зубреж­ка»)	Действует	Не действует. В тестовых заданиях, как правило, не содержится прямого ответа из учебника
16.	Угадывание ответа	Невозможно	Возможно (в «закрытых» тестовых заданиях)
17.	Обман (списывание)	Возможен (шпаргалки)	Невозможен (при правильной организации процедуры тестирования и соблюдении секретности)

19

3.2. Основные понятия педагогического тестирования

Педагогическое тестирование - это оценка учебных достижений, в отличие от психологического, связанного с оценкой свойств личности.

Весьма распространенное заблуждение о легкости создания педагогического теста имеет две причины. Во-первых, это недостаточная информированность преподавателей по вопросам теории и практики тестового контроля знаний. Во-вторых, простое толкование английского слова test (испытание, проверка) как любой попытки оценить знания с помощью традиционных вопросов, задач и экзаменационных билетов. Однако, уже давно известна разница между простым переводом слова и научным определением понятия. Определения основных понятий педагогического тестирования, приведенные в настоящем пособии, даны, в основном, в работах Аванесова B. C. [19-24].