Например, при отсутствии инструкции к заданию тестируемый
может быть дезориентирован в отношении числа правильных ответов:
К МЕТОДАМ ИЗУЧЕНИЯ ЛИЧНОСТИ ПОДЧИНЕННЫХ,
КОТОРЫЕ ЦЕЛЕСООБРАЗНО ПРИМЕНЯТЬ В МЕДИЦИНСКИХ
УЧРЕЖДЕНИЯХ, ОТНОСЯТСЯ
А. анкетирование
Б. тестирование
В. наблюдение
Г. эксперимент
Ответ: Б [33 ]
Намек на правильный ответ имеется в следующих заданиях:
ПРИПРАВА, КОТОРУЮ ДЕЛАЮТ ИЗ КОРЫ ТРОПИЧЕСКОГО ДЕРЕВА А. ваниль Б. гвоздика В. шафран Г. корица Ответ: Г [телеигра «О, счастливчик»)]
В следующем задании имеются недостатки, указанные выше в п.4 и п.5
37 ВСЮ ИНФОРМАЦИЮ В ЗАВИСИМОСТИ ОТ ФУНКЦИЙ УПРАВЛЕНИЯ МОЖНО СГРУППИРОВАТЬ ТАК:
A. плановая и нормативная
Б. аналитическая и учетная
B. учетная и плановая
Г. аналитическая, учетная, плановая и нормативная
Ответ: Г Следующий пример иллюстрирует нарушение принципа однородности ответов в «закрытых» заданиях (наиболее типичный недостаток «сырых», «предтестовых» заданий):
ЭМБАРГО-ЭТО
A. закон регулирования
Б. вид лодки
B. набережная
Г. глупое приключение
Ответ: А [17]. Такие задания с неоднородными (гетерогенными) ответами, как правило, легче, чем задания с гомогенными ответами. Сравните:
ЭМБАРГО-ЭТО А. тариф
Б. таможенная пошлина В. приостановка товаров от прибытия до отправления Г. освобождение товаров от пошлины
Ответ: В [17]. Второе задание требует гораздо более высокого уровня знаний об эмбарго и делает задание более трудным.
Пример неразличимых ответов имеется в следующем задании: МЯСО МОЖНО ХРАНИТЬ В СОЛЕВОМ РАСТВОРЕ БЛАГОДАРЯ ТОМУ ФАКТУ, ЧТО А. соль - это бактериальный яд Б бактерии не выдерживают осмотическое давление рассола В. соль предотвращает химическое разложение мяса Г. рассол защищает мясо от контакта с воздухом
Здесь ответ Б объясняет, почему А правильный [17 ].
Нужно отметить, что тенденцией последних лет в области педагогических измерений является увеличение в педагогических
38 тестах доли заданий «открытой» формы, позволяющих оценить не только правильность ответа, но и способы решения задач, обоснованность суждений и многие другие умения, включая практические. В комплекты заданий для централизованного тестирования выпускников общеобразовательных учреждений Российской федерации в последние годы также включены задания «открытой» формы.
3.5. Псевдотестовый контроль
Псевдотесты - это новый вид контрольных материалов. По форме они очень похожи на обычные тесты, но названы так потому, что в них четко прослеживается содержательная зависимость ответов. Если студент не ответит правильно на первое задание, то он не справится и с последующими. При этом нарушается принцип статистической независимости тестовых заданий, сформулированный в математической теории тестов [20].
Псевдотестовые контрольные материалы удобно использовать при организации самостоятельной работы студентов, для самоконтроля, а также при проведении итоговой государственной аттестации выпускников образовательных учреждений.
Существует четыре типа псевдотестов: цепные, тематические, текстовые и ситуационные. Инструкцию к заданиям псевдотеста можно не писать, если студенты имеют опыт тестирования и хорошо знакомы со всеми четырьмя традиционными формами заданий. Если же тестовый опыт испытуемых недостаточен, то инструкцию лучше написать.
Цепные тесты
Цепные тесты могут включать задания любой формы, но вероятность правильного ответа на конкретное задание всегда зависит от того, насколько верно ответил студент на предыдущее задание. Пример цепного теста по химии:
КОН, спирт, t° Сакт., t° HN03, H2S04
сн2-сн2 -2нс1 ► х, ► х 2--- :---- * х з
I I
CI CI
39
[H];Fe + HCl Br2, H20
X. 4
(структурная формула)
Тематические тесты
Это совокупность заданий любой формы по одной конкретной теме, учебному элементу. Название темы пишется в самом начале контрольного материала перед инструкцией, например:
Дождевой червь
Выберите один правильный ответ:
А. Б. В. |
1. ДОЖДЕВОЙ ЧЕРВЬ ОТНОСИТСЯ К ТИПУ плоских ' круглых
ЧЕРВЕЙ
^. | кольчатых. ПОВЕРХНОСТЬ ЕГО ТЕЛА А. гладкая Б. имеет щетинки 3. ПОЛОСТЬ ТЕЛА ИМЕЕТ СОБСТВЕННЫЕ СТЕНКИ А. верно Б. неверно 4. КРОВЕНОСНАЯ СИСТЕМА А. замкнутая Б. не замкнутая 5. НЕРВНАЯ СИСТЕМА ПРЕДСТАВЛЕНА
A. нервным стволом
Б. нервной цепочкой
B. нервной цепочкой с
окологлоточным нервным кольцом
Ответы: 1В, 2Б, ЗА, 4А, 5В
Тесты могут быть одновременно и цепными и тематическими. Пример такого теста по теме «Пищеварительная система. Слизистые оболочки», разработанного на кафедре гистологии ЯГМА, приведен в
[34].
40
Текстовые тесты
Представляют собой совокупность заданий открытой формы и предназначены для контроля знаний элементов неразрывного целого учебного текста. Например:
СТРУКТУРА ДНК БЫЛА РАСШИФРОВАНА В_______ ГОДУ.
СОГЛАСНО МОДЕЛИ УОТСОНА И КРИКА МОЛЕКУЛА ДНК ОБРАЗУЕТ _______ СПИРАЛЬ, НА КАЖДЫЙ ВИТОК КОТОРОЙ
ПРИХОДИТСЯ ________ ПАР ОСНОВАНИЙ. ШАГ СПИРАЛИ
______ нм, ДИАМЕТР__________ нм.
Ситуационные тесты
Разрабатываются для контроля знаний и умений студентов в разрешении практических, экстремальных и других ситуаций. Они хорошо подходят для ингегративного контроля знаний при итоговой государственной аттестации выпускников. Пример для контроля знаний по французскому языку [20]:
В Париже:
Вы заблудились на одной из парижских улиц.
МИМО ПРОХОДИТ 1 2 |
дедушка 70 лет полицейский
3. Л девушка 17 лет
4. юноша 18 лет
1.ВЫ ОСТАНАВЛИВАЕТЕ J ЕГО I СЛОВАМИ
1ЕЕ J A. Macherie
Б. Madame
В. Mademoiselle
Г. Ma petite
2. ИЗВИНЯЕТЕСЬ ЗА БЕСПОКОЙСТВО
A. Pardon!
Б. Excusez-moi!
В. Pardonnez-moi!
3. ПРОСИТЕ УКАЗАТЬ ДОРОГУ К f 1. латинскому ^
кварталу I
2. опере Г
3. площади Согласия J
41
A. Montrez-moi le chemien jusqu'au Quartier Latin?
Б. Le Quartier Latin c'est ou?
B. Le Quartier Latin c'est loin d'ici?
Г. Comment aller au Quartier Latin?
4. ВЫ НЕ ПОНЯЛИ ОТВЕТ. ВАША РЕПЛИКА______
5. ВЫ БЛАГОДАРИТЕ СОБЕСЕДНИКА СЛОВАМИ
Пример лечебной ситуации, разработанной на кафедре терапевтической стоматологии Московского медицинского стоматологического института для проведения итоговой аттестации
выпускников [25 ] :
При осмотре: слизистая половины твердого неба и десны, соответственно 5,4,3, отечна, гиперемирована, слившиеся и мелкие эрозии круглые, с фестончатыми краями, болезненные при пальпации, покрыты бело-желтым налетом. Локализация очагов поражения - десна, твердое небо. Кариозные полости в 5,6, неудовлетворительная гигиена полости рта. Пальпируются увеличенные и болезненные регионарные лимфатические узлы на стороне высыпаний. Общее заболевание: хронический фарингит.
1. ВЫЯВЛЕННОЕ ЗАБОЛЕВАНИЕ ОТНОСИТСЯ К
A. вирусным
Б. грибковым
B. предраковым
Г. аллергическим
Д. травматическим
2. ЭТО ЗАБОЛЕВАНИЕ А контагиозно Б. не контагиозно
3. ВОЗБУДИТЕЛЬ ДАННОГО ЗАБОЛЕВАНИЯ
A. вирус гриппа
Б. стрептококки
B. актиномицеты
Г. фузоспирохеты
Д. вирус СПИДа
Е. вирус простого герпеса
Ж. вирус ветряной оспы
42
4. ПРОВОЦИРУЮЩИМИ ФАКТОРАМИ МОГУТ ЯВЛЯТЬСЯ
A. стресс
Б. инсоляция
B. прием лекарств
Г. переохлаждение
Д. гиповитаминоз С
Е. неудовлетворительная гигиена полости рта
5. ДЛЯ ДИАГНОСТИКИ ИСПОЛЬЗУЮТСЯ МЕТОДЫ
B. бактериоскопический
Г. иммунофлуоресценции
Далее представленная ситуация в нескольких заданиях различной формы, например:
D □ □ |
18. У ЭТОГО ЗАБОЛЕВАНИЯ ВЫДЕЛЯЮТ ПЕРИОДЫ П - катаральный
продромальный угасания высыпаний
25. ПРИ ЛЕЧЕНИИ ЭТОГО ЗАБОЛЕВАНИЯ ПРИМЕНЯЮТСЯ
A. КУФ
Б. электрофорез
B. ультразвук
Г. гелий-неоновый лазер Д. флуоктуоризация
26. ИММУНИТЕТ ПОСЛЕ ЭТОГО ЗАБОЛЕВАНИЯ
A. стойкий, стерильный
Б. стойкий, нестерильный
B. нестойкий, стерильный
Г. нестойкий, нестерильный
Итак, содержание псевдотестов выражает последовательность развертывания сюжета, темы, фактов, причинно-следственных отношений, ситуаций и т. п. Содержание заданий подбирается так, чтобы по ответам студентов можно было сделать обоснованные
43 выводы о знаниях студентами проверяемых учебных элементов. В заданиях псевдотеста ответы могут выбираться или дополняться. Кроме того, иногда используются задания на установление соответствия или на установление правильной последовательности. Оценка за ответы может быть как дихотомическая (1 или 0), так и другая, вытекающая из свойств этих заданий. Для цепных тестов можно предложить такую процедуру оценивания, которая учитывала бы повышенную значимость ответов в первых заданиях по сравнению с ответами на последние [20] . Однако, в настоящее время этот вопрос
не решен однозначно.
Следует отметить, что разработка комплексных интегративных тестов без опоры на имеющиеся в мировой науке достижения бесперспективна. Непрофессионально сделанные тесты способствуют профанации самой идеи комплексной оценки и порождают сомнения и разочарования в возможностях тестового метода. В равной степени это относится и к непрофессиональному применению готовых тестов. Первым шагом профессионального подхода к созданию и применению комплексных тестов является повышение квалификации разработчиков и пользователей тестов. В этом должны быть заинтересованы сами учебные заведения, так как это защитит их от неправильной оценки их работы.
3.6 Тесты для проверки практических умений и навыков (мануальные тесты)
В последние годы в связи с внедрением государственных образовательных стандартов актуальной становится задача разработки и совершенствования тестов для проверки практических умений и навыков учащихся. Тестовые материалы такого рода необходимы на любом этапе профессионального образования (начальное, среднее и высшее). Тестирование практических умений и навыков можно проводить на реально применяемых в учебном процессе объектах, оборудовании или на специально подготовленных макетах, моделях, тренажерах. Как известно, тесты, в отличие от традиционных контролирующих материалов, обязательно должны иметь эталоны правильных решений. Эталон качества выполненной работы должен содержать перечень и описание правильно выполненных операций, его удобно представить в виде технологической карты. Каждая
44
операция карты сопровождается описанием применяемого оборудования, инструментов, приспособлений, материалов, а также условий выполнения. Все операции при этом должны иметь сквозную нумерацию. Эталоном качества может быть образец изделия, характеристика полученного продукта, параметры работы настроенного оборудования, многократно выверенные результаты анализа, требования различных норм и правил. Эталоном производительности труда является установленная для учащихся норма времени или выработки.
Перед разработкой таких тестов необходимо тщательно изучить стандарт профессии или квалификационную (профессиональную) характеристику специальности, учебный план специальности (профессии), учебные программы предметов, практик, пройденных учащимися на данном этапе обучения.
Проверка работы по таким практическим тестам сложнее, чем по теоретическим, так как она, как правило, осуществляется непосредственно в ходе выполнения. Поэтому преподавателям надо действовать весьма оперативно, чтобы успеть за учащимся, быстро выполняющим одну операцию за другой. При наличии нескольких проверяющих можно распределить функции проверки между отдельными экспертами. Можно также воспользоваться видеокамерой и видеомагнитофоном, чтобы проверять работу учащегося в любое удобное время после ее выполнения.
Критерии оценки результатов тестирования качества практического обучения устанавливаются экспертами в соответствии с эталонами правильного выполнения заданий. Кроме оценки «зачет-незачет» возможно применение дихотомической и политомической оценки отдельных этапов (заданий) теста, при этом здесь правомерно использование «коэффициента успешности» Ка , зависящего от числа правильно выполненных «существенных операций»*. При таком подходе оценка «удовлетворительно» соответствует Ка > 0,7 ; «хорошо» - Ка > 0,8 ; «отлично» - Ка > 0,9. [35]. При обучении некоторым особо ответственным (с точки зрения здоровья и безопасности людей, соблюдения правил охраны труда и др.)профессиям в системе Госатомнадзора, Гостехнадзора, ГИБДД,
*) «Существенные операции» отражают усвоение умений и навыков только по тем учебным элементам, которые в данном конкретном случае являются объектами контроля [35 ].
45
например, критическую величину коэффициента успешности принимают выше 0,7 [36]. В сущности, единые тесты качества и производительности труда сочетают в себе два подхода к оценке учебных достижений: критериальный (качество) и нормативный (производительность).
В [37] отмечено, что в период перестройки высшего медицинского образования и перехода на приоритетную подготовку врача общей практики актуальным является создание системы контроля за качеством и производительностью выполнения студентами профессиональных действий, предусмотренных квалификационной характеристикой врача. Своевременная и достоверная информация о степени приближения знаний и умений студентов к уровню требований квалификационной характеристики необходима для оперативного внесения корректив в учебный процесс.
Первичным документом для анализа деятельности студента является «Карта комплексной оценки профессиональных действий и умений студентов при самостоятельной работе с больными», которую заполняет преподаватель во время амбулаторного приема, проводимого студентом под наблюдением преподавателя. При этом преподаватель выступает в роли эксперта качества и производительности самостоятельной работы студента, оценивая его действия по разработанной системе баллов. Положительной считается оценка качества работы, соответствующая комплексному показателю успешности Ка > 0,7. Кроме Ка в карте регистрируется время, затраченное студентом на самостоятельный амбулаторный прием пациента.
Одним из основных слагаемых педагогического мастерства преподавателей в настоящее время является овладение технологией разработки научно обоснованных контролирующих материалов: тестовых заданий и тестов. Для этого надо иметь представление об основных этапах их создания и критериях оценки каждого задания и теста в целом. Эта информация будет полезна как для оценки качества предлагаемых тестовых материалов, так и для интерпретации собственных результатов тестирования.
46
3.7. Этапы создания научно обоснованного
педагогического теста
1. Постановка цели тестирования (например, входной
контроль, проверка образовательного минимума, рубежный контроль,
итоговый контроль, аттестация). Цель определяет средства ее
достижения: выбор формы заданий, полнота отображения содержания
учебной дисциплины в содержании теста, длина теста и т. д.
2. Структурирование и отбор содержания учебной
дисциплины для тестирования. Тест никогда не отобразит все
содержание дисциплины, которое намного шире содержания теста,
Поэтому отбор содержания должен быть оптимизирован, что
достигается путем укрупнения дидактических единиц, выявления
ключевых понятий, законов, закономерностей, определений,
своеобразных «структурных элементов» знания. На данном этапе
весьма полезной является постановка конкретаых образовательных
целей (что должен знать и уметь студент). Следует особо
подчеркнуть, что структурирование и отбор содержания учебной
дисциплины - главный этап не только в создании научно
обоснованного теста, но и в процессе передачи знаний. Выполнение
этого этапа обычно поручается наиболее опытным преподавателям.
Аргументацию при отборе содержания также целесообразно
проводить с привлечением графов логической структуры темы или
дисциплины.
3. Разработка банка заданий в тестовой форме. Чем больше
преподавателей участвует в разработке заданий, тем лучше. Следует
иметь в виду, что далеко не каждое задание будет включено в
педагогический тест. Часть из них будет исключена в ходе
последующей эмпирической проверки.
При отборе заданий для теста руководствуются следующими основными принципами. 1. Значимость (ключевые понятия, элементы). 2. Научная достоверность и соответствие уровню современной науки. 3. Репрезентативность (полнота контроля). 4. Различная трудность. 5. Вариативность содержания для сильных и слабых учащихся. 6. Системность содержания. 7. Комплексность и сбалансированность содержания основного теоретического материала и разделов учебного курса. 8. Взаимосвязь содержания материала, требуемого уровня обученности и формы заданий [23].
47
4. Ранжирование заданий но трудности на основании
субъективных представлений разработчика (легкие, средние,
трудные).
5. Составление инструкций для учащихся и преподавателей-
пользователей. Учащемуся: стандартные инструкции к заданиям,
время тестирования, порядок расположения заданий (по нарастанию
трудности), возможность пользоваться калькулятором, справочной
литературой, таблицами; выходить из аудитории во время
тестирования и др. Преподавателю: время тестирования, эталоны
ответов, правило оценивания.
6. Проведение тестирования (организационные вопросы,
инструктаж,, проверка результатов).
7. Обработка и интерпретация результатов тестирования.
8. Статистический анализ данных, позволяющий оценить качество каждого задания и теста в целом. Для этого используются как стандартные компьютерные программы по математической статистике, так и специальные программы.
9. «Чистка» теста (удаление и замена плохих заданий) и перераспределение тестовых заданий в порядке нарастания
трудности.
10. Повторное тестирование (п.6) и т. д. до получения
совершенного измерительного теста.
3.8. Процедура проведения тестирования
В процедуре тестирования наиболее ярко проявляется одно из важнейших преимуществ тестовой формы контроля - эффективность. Во-первых, можно одновременно тестировать большое число учащихся. Во-вторых, проверка результатов проводится намного легче и быстрее, чем обычных контрольных работ. Особенно велика экономия времени и непроизводительного труда преподавателей, когда в тестовой форме проводятся зачеты и экзамены.
Универсальная форма тестовых заданий по различным предметам облегчает тестирование психологически и технически. Тестируемому не надо приноравливаться к форме заданий, а тестирующий может пользоваться стандартной техникой, программами, бланками ответов и т. п. оснащением, не зависящим от "начинки" теста.
48
Высокая технологичность тестовых заданий позволяет использовать компьютерное тестирование. Однако, эта процедура требует соответствующего программного обеспечения и оснащения учебных классов. Поэтому наиболее распространенной формой проведения тестирования является бланковое тестирование с использованием стандартных бланков для ответов.
Бланк ответов (answer - sheet) должен содержать обязательные сведения об учащемся (фамилия, имя, отчество, номер группы, факультет) или его код (при анонимном тестировании) с указанием даты и вида контроля (см. образец). Обычно лицевая сторона бланка отводится для ответов, оборотная может быть использована как черновик. Во избежание утечки информации запрещается пользоваться какими-либо другими листками.
Кроме традиционного способа записи ответов прописными буквами существуют и другие, облегчающие процедуру проверки результатов. Например, студент закрашивает прямоугольники, соответствующие ответам на каждое задание теста, а преподаватель для проверки пользуется шаблоном с отверстиями или сканирующим
устройством
____________________________ Образец бланка ответов_______
Дата_________
Ф. И.О. студента__________________
Группа .
Факультет_____________
Тестовая контрольная работа но теме
Вариант № _____
1.-2.-3.-4.-5.-6.-7.- |
8.-9.-10.-
11.-12.-13.-
14.
49
Время тестирования может быть различным в зависимости от числа заданий в тесте (длины теста). Оно устанавливается таким образом, чтобы каждый тестируемый попытался по крайней мере один раз выполнить каждое задание теста. Такое тестирование называют тестированием без ограничения времени. Однако, следует иметь в виду, что слишком длинные тесты вызывают усталость, рассеянное внимание и скуку, что отрицательно сказывается на точности педагогических измерений. Если процедура тестирования достаточно длительна, могут быть предусмотрены перерывы с тем условием, что вторая часть теста предъявляется после перерыва.
Обычно в педагогический тест включают такое количество заданий, чтобы среднему испытуемому для их выполнения потребовалось бы не более полутора часов. На выполнение одного задания учащийся должен тратить 0,5 - 2 минуты [32].
В тех случаях, когда хотят получить максимальные различия в результатах тестируемых, проводят тестирование с ограничением времени (нормативный подход).
Число вариантов тестов должно быть достаточным для того, чтобы предотвратить обмен информацией во время тестирования. Расширение числа вариантов возможно путем замены содержательных элементов в тексте заданий ("фасет") и простой перестановкой ответов. Чтобы затруднить студентам идентификацию вариантов теста, желательно, чтобы они были максимально унифицированы и выглядели однообразно.
Наблюдение за процедурой тестирования может, в принципе, осуществлять любой человек. Если задания в тесте сформулированы четко, понятно, научно и методически верно в соответствии с требованиями теории педагогических измерений, то у тестируемых не возникает вопросов ни по форме, ни по содержанию заданий. Заранее специально оговаривается возможность пользоваться литературой, калькулятором, выходить из аудитории во время тестирования. Время окончания тестирования сообщается учащимся заранее. Примерно за 2 мин. до окончания тестирования студенты предупреждаются об этом.
Проверка результатов тестирования при наличии эталонов правильных ответов может проводиться любым преподавателем. Если речь идет об итоговом тестировании, то лучше, если это будет преподаватель, не проводивший занятия с данной группой, чтобы исключить заинтересованность, подтасовку и фальсификацию
50 результатов. Тестирование аннулируется, если обнаружены совершенно одинаковые правильные и неправильные ответы. В этом случае рекомендуется пройти повторное тестирование.
Представляет интерес опыт тестирования по методологии ETS (Education Testing Service, USA), где в тесте есть "экспериментальная" секция, которая тестируемому не засчитывается, а служит для "обкатки" новых тестовых заданий. Лучшие задания из экспериментальной секции затем включаются в основной тест.
3.9. Интерпретация результатов тестирования
Независимо от процедуры проведения тестирования (бланковое или компьютерное), исходным материалом для обработки и интерпретации полученных данных является матрица тестовых результатов, табл. В матрицу заносится профиль ответов каждого учащегося на задания теста в виде последовательности единиц и нолей (1 - правильный ответ, 0 - неправильный). Суммирование единиц и нолей в каждой строке дает индивидуальный тестовый балл X,.
Таблица 3.9.1. Пример матрицы тестовых результатов
Тема ___________________
Вариант______
Число заданий ( К)______
Число испытуемых ( N )_____
Ф. И.О. студента | Гр. | Задания в тесте (j ) | Индивидуальный тестовый балл | |||||||||
1 | 2 | 3 | 4 | 5 | 6 | _ 7 | 8 | 9 | 10 | |||
1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 5 | |
9 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 5 | |
3 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 5 | |
51 3.9.1. Оценка уровня знаний
Х можно рассматривать как показатель уровня знаний студентов. Существует два подхода к интерпретации X*.
а) Нормативный подход, который основан на измерении отношения тестовых баллов студентов. При этом полагается, что Xt / Х2 как знания 1-го относятся к знаниям 2-го. Тесты, ориентированные на нормы, дифференцируют студентов по суммарным показателям, что является основанием для построения рейтинговой шкалы учебных достижений в группе. Как правило, для нормативно-ориентированных тестов подбирают задания с трудностью q =0,2- 0,8. Типичным примером нормативного теста является абитуриентский тест.
б) Критериальный подход, в котором X, рассматривается как степень достижения учебной цели (успешности усвоения), преодоления установленного барьера для получения оценки "удовлетворительно", "хорошо" или "отлично". Отличительной особенностью тестов, ориентированных на критерии, является их высокая содержательная валидность. Количество заданий в критериально - ориентированных тестах обычно больше, чем в нормативно - ориентированных. Более того, при создании критериально - ориентированных тестов не стремятся получить максимум индивидуальных различий, а скорее наоборот. Итоговый контроль, аттестационные процедуры проводятся с использованием только критериально - ориентированных тестов. Абсолютные стандарты достижений устанавливаются в тех случаях, когда необходим минимальный обязательный уровень компетенции (врач, спасатель на воде, фармацевт, секретарь, железнодорожный инженер,
пилот самолета ).
Преподаватели, использующие тесты, неизбежно сталкиваются с проблемой перевода X, в традиционную оценку по пятибалльной шкале. Здесь при выработке критериев следует опираться на опыт тестирования и экспертную оценку преподавателей. В современной педагогической науке нет единого общепринятого подхода к решению данной проблемы. Однозначным является только мнение о том, что барьер, преодоление которого позволяет считать педагогическое тестирование успешно пройденным, устанавливает разработчик данного теста. Тем не менее, приведем несколько рекомендаций по
этому вопросу.
В проекте государственного образовательного стандарта
52
среднего (полного) образования по химии [38] предложено при оценке
уровня знаний учащихся использовать дихотомическую шкалу "зачет
- незачет". Оценку "зачет" предложено ставить в том случае, если в
бланке ответов учащегося содержится не менее70% правильных
ответов. При разработке сборника заданий в тестовой форме по
органической и общей химии [39] творческой группой разработчиков
предложено в случае дифференцированного подхода к оценке уровня
знаний учащихся ставить оценку "3", если учащийся правильно
выполнит% заданий; оценку "4" -% тестовых заданий и
оценка "5", если учащийся выполнит более 90% заданий.
Многолетний опыт тестирования студентов на кафедре биологической
и биоорганической химии ЯГМА, общей и биоорганической химии
ЯрГУ им. П.Г. Демидова свидетельствует о рациональности
использования 50% - ного барьера для того, чтобы считать тестирование успешно пройденным.
3.9.2. Оценка структуры знаний
Информацию о структуре знаний можно извлечь из анализа профилей ответов студентов на задания теста в матрице тестовых результатов. Рассмотрим, например, ответы студентов 1, 2, 3, имеющих одинаковый тестовый балл Xi, табл.3.9.1. При условии, что задания в тесте расположены в порядке нарастания трудности, структуру знаний 1-го студента следует признать правильной: легкие задания он выполняет, а трудные - нет. 2-й студент дает правильные ответы бессистемно, так он учился (или его учили), 3-й студент почему-то не выполнил легкие задания, но справился с трудными. Это информация для размышления о качестве заданий и о недостатках в организации тестирования (подсказка, списывание). Считается, что чем компактнее расположены единицы в левой части матрицы, тем лучше структура знаний студента [22].
3.9.3. Оценка качества тестовых заданий
Основными показателями качества заданий являются их трудность, дифференцирующая способность и корреляция с критерием (суммой баллов всех испытуемых за тест) [32].
Трудность j-того задания q, определяется долей студентов, давших на него неправильный ответ. Задания со значением q от 0,2 до
53
0,8 считаются удовлетворительными [32].
Если трудность задания равна 0,2 - 0,4, то это легкие задания, 0,4 - 0,6 - средней трудности, 0,6 - 0,8 - трудные задания.
Задания со значением q меньше 0,2 и больше 0,8, как правило,
исключаются из теста.
Дифференцирующая способность j-того задания показывает,
насколько хорошо оно отличает знания сильного студента от слабого.
Удобной характеристикой дифференцирующей способности задания
является «индекс дискриминативности» (или «индекс различения») D.
Это разность долей правильных ответов Pj на задание в группе «сильных» (High) и,«слабых» (Low) студентов. D= pH - ръ Размер каждой группы составляет 27% от общего числа учащихся. Хорошими считаются задания, имеющие D> 0,30. Задания с D< 0,20 требуют
улучшения или замены [17].
Корреляция с критерием (суммой баллов всех испытуемых за
тест) является основным критерием и мерой валидности задания [32].
Чем выше корреляция (г), тем лучше задание. Кроме того, при
конструировании тестов представляет интерес корреляция заданий
друг с другом, а также с индивидуальным тестовым баллом. Чем
меньше задание коррелирует с другими (коэффициент корреляции
г<0,3), тем больший специфический вклад оно вносит в общий
результат. Формулы для расчета коэффициентов корреляции
приведены в [19,32]. Однородный и дискриминативный тест может
быть получен путем отбора заданий с трудностью в пределах 0,2- 0,8
и, кроме того, имеющих высокую корреляцию с общим показателем
(г>0,2)[32].
3.9.4. Оценка теста в целом
Основными показателями качества теста в целом являются его валидность, дискриминативность и надежность.
Валидность - это та степень, в которой тест измеряет то, для чего он предназначен. В понятие «валидность» входит большое количество самой разнообразной информации о тесте. Различные категории этих сведений и способы их получения образуют типы валидности. Например, содержательная валидность теста учебных достижений определяется той степенью, в которой задания теста соответствуют содержанию предмета. Содержание теста, одобренное опытными преподавателями-экспертами, является основным
54 критерием его валидности. Тест имеет конкурентную валидность в том случае, если тестовый балл хорошо коррелирует с одновременно проведенными независимыми измерениями и оценками [17].
Дискриминативность (различающая способность) теста тем больше, чем больше дисперсия тестовых баллов. Принимается во внимание также характер распределения результатов тестирования. Обычно создатели теста стремятся добиться нормального распределения за счет варьирования числа легких и трудных заданий. В сбалансированном тесте побольше заданий средней трудности и меньше откровенно легких или трудных заданий.
Надежность теста связана с понятием точности измерений. Под надежностью подразумевается, во-первых, внутренняя согласованность теста и, во-вторых, воспроизводимость результатов тестирования. Наиболее понятным и простым способом оценки надежности является повторное тестирование в той же группе учащихся. Результаты обоих тестирований коррелируются. Чем выше коэффициент корреляции, тем выше надежность теста. Надежность при повторном тестировании через некоторое время называется ретестовой надежностью.
Можно оценить надежность и при однократном тестировании. Для этого делят тест пополам (например, на четные и нечетные задания) и полученные суммы баллов коррелируются специально разработанным для этого способом [32]. Наиболее статистически достоверным является метод оценки надежности с помощью параллельного теста. Параллельными называются тесты, одинаковые по содержанию, числу и форме заданий попарно равной трудности. Чем выше коэффициент корреляции между параллельными тестами, тем выше надежность теста. Существуют и другие методы оценки надежности тестов, основанные на применении дисперсионного и факторного анализа.
Следует отметить, что все исследования надежности должны выполняться на больших (200 и более) и репрезентативных выборках.
Определение надежности с помощью коэффициента корреляции достаточно трудоемкий процесс, что не всегда удобно тем исследователям, у которых есть затруднения с выходом на ЭВМ. Для упрощения расчетов было предложено множество формул, из них наибольшее распространение получила формула KR - 20, для дихотомических заданий, в которой буквами обозначены фамилии авторов (Kuder и Richardson), а цифра 20 - порядковый номер
55 опубликованных ими различных формул для расчета надежности, По этой формуле коэффициент надежности CL равен: |
v |
а = "U"" 2 '
У
где К - число заданий в тесте, / , Р flj ~ сумма дисперсий заданий теста,
СУ у - дисперсия тестовых баллов.
Коэффициент ОС - это наиболее эффективный показатель надежности применительно к классической модели погрешности измерения. Коэффициент надежности теста должен быть не менее 0,7 [22]. в противном случае тест почти не имеет преимуществ по сравнению с традиционным контролем.
Валидность и надежность являются понятиями классической теории тестов, основные положения которой описаны в [19]. Недостатки классической теории, в частности, невозможность полностью реализовать на практике идею параллельных тестов, а также зависимость тестовой оценки не только от уровня знаний, но и от трудности заданий теста, привели к появлению нового подхода к оценке и применению педагогических тестов. Современная теория педагогических измерений IRT (Item Response Theory), получившая свое развитие в 60-е - 80-е годы нашего столетия, нацелена на оценку латентных качеств личности и параметров заданий теста на основе математико-статистических моделей измерения [40]. Наиболее важным преимуществом IRT является устойчивость объективных оценок уровня знаний испытуемых и трудности заданий.
С момента составления заданий в тестовой форме до появления
научно обоснованного педагогического теста проходит, по различным
оценкам, от 3 до 5 лет. За это время проводятся апробационные
испытания, рецензирование, редактирование, статистическая
обработка результатов. Без этой "обратной связи" нельзя создать
стандартизованный научно обоснованный педагогический тест,
имеющий высокую надежность и валидность. Таких тестов в нашей
стране до сих пор крайне мало, хотя комплекты заданий по различным
дисциплинам активно разрабатываются и публикуются.
56
В заключение отметим, что многолетнее использование авторами пособия рейтинга и тестов в системе оценки знаний студентов показало их высокую эффективность. Рейтинговая технология оценки в сочетании с тестовым контролем знаний не только дает объективную характеристику знаний и умений студента, но и удобна для их оценки на каждом этапе обучения. Использование тестового контроля в рамках рейтинговой технологии исключает необходимость «двойной бухгалтерии», то есть перевода тестового балла в оценку по пятибалльной шкале. Этот перевод осуществляется только в конце обучения. Описанная система оценки знаний студентов является мощным стимулом для постоянной ритмичной работы студента в течение всего семестра. Она позволяет также реализовать не на словах, а на деле индивидуальную работу студентов под руководством преподавателя.
4. Литература
1. Педагогика. Учебное пособие для студентов педагогических вузов и
педагогических колледжей/ Под ред. .- М.:
Педагогическое общество России, 19с.
2. , . Методология педагогического исследования и дидактика высшей школы. М.: Изд-во МГУ, 20с.
3. , , Ершиков СМ., Лобова контроль в системе рейтинга / Высшее образование в России, 1995,№3,с.100-102.
4. Рейтинговая технология обучения: Метод. указания для слушателей ФПК и преподавателей многоуровневой системы образования // Сост. и др., СПб., 19с.
5. , Сипачев создания и применения системы рейтинга / Ж. ВХО им. Д.И. Менделеева, 1990, т.35, №3, с.323-327.
57
6. , Репинская подход к организации учебного
процесса и развитию самостоятельной работы студентов / там же,
с.328-330.
7. , , Пузаков образование в
медицинских вузах / там же, с.333-335.
8. Построение нетрадиционных систем оценивания качества знаний: Метод..рекомендации / Отв. за вып. , . Саранск: Изд-во Мордов. ун-та, 19с.
9. Попов «РИТМ»: принцип, организация, методическое содержание / Высшее образование в России, 1993, №4, с. 109-115.
10. , , Ольховский «РИТМ» в
многоуровневой системе высшего образования / Высшее образование
вРоссии, 1993,№4,с.115-119.
11. , , Наводнов
Интенсивная Технология Модульного Обучения.-19с.
12. Биохимия и молеклярная биология: Метод. Указания по курсу / Сост. , ; Яросл. Гос. Ун-т., Ярославль, 20с.
13. , Конопля контроля качества знаний студентов лечебного факультета на курсовых экзаменах / В сб. Материалы Международной конференции «Медицинское образование XXI века».- Витебск: ВГМУ, 2000, с.311-313.
14. , , Широкова совершенствования химического образования будущих фармацевтов / В сб. Международная конференция «Химическое образование и развитие общества». Тезисы докладов.- М.: РХТУ им. Д.И. Менделеева, 2000, с.201.
15. Модульно-рейтинговая система / Высшее образование в России, 1999, №4, с.121-125.
58
16. Контроль знаний студентов / Высшее образование в России, 2000, № 1, с. 116-121.
17. Ebel R. L. Measuring educational achievement.- Prentice-Hall Inc., Englewood Cliffs, New Jersey, 19p.
18. Педагогическая диагностика.- М.: Педагогика, 19с.
19. Аванесов B. C. Основы научной организации педагогического
контроля в высшей школе.- М.: Исслед. центр проблем качества
подготовки специалистов, 19с.
20. Аванесов B. C. Современные методы обучения и контроля знаний. Учебное пособие для преподавателей вузов, техникумов, училищ, учителей школ, гимназий и лицеев, для студентов и аспирантов педагогических вузов. М.: Кидди, 19с.
21. Аванесов B. C. Форма тестовых заданий: Учеб. пособие. М., 19с.
22. Аванесов B. C. Научные проблемы тестового контроля знаний.- М.: Исслед. центр проблем качества подготовки специалистов, 19с.
23. Аванесов B. C. Теоретические основы разработки заданий в тестовой форме.- М.: Исслед. центр проблем качества подготовки специалистов, 19с.
24. Аванесов B. C. Композиция тестовых заданий.- М.: Ассоциация инженеров-педагогов, 19с.
25. Аванесов B. C., , Ведеев принципы и методические правила разработки заданий в тестовой форме: Научно-метод рекомендации для преподавателей стоматологических факультетов медицинских вузов/ Под ред. проф. - М.: ВУНМЦ, 1995.32с.
26. , Савельев рекомендации по разработке педагогических тестов для комплексной оценки
59 подготовленности студентов в вузе.- М.: Исслед. центр проблем качества подготовки специалистов, 19с.
27. Тестовые задания по общей гистологии / Сост. и др.;
Новосиб. мед. ин-т, Новосибирск, 1996. 47с.
28. , Георгиев России (IX - начало XX в.).
Тесты.- М.: Изд-во МГУ, 19с.
29. Тестовые задания к междисциплинарному государственному
экзамену по специальности «Педиатрия» для выпускников
педиатрических факультетов высших медицинских учебных заведений
/ Под общ. ред. проф. Н.Н. Володина. - ML: ВУНМЦ, 19с.
30. Рейтинговая система оценки знаний: Метод. указания /
Сост. , , ; Чуваш. ун-т,
Чебоксары, 2001. 24с.
31. Никифоров и увлекательная книга по логике, содержащая объемное и систематическое изложение этой науки профессором философии. - М.: Гнозис, Русское феноменологи - ческое общество, 19с.
32. Справочное руководство по конструированию тестов: Пер. с англ.- Киев: ПАН ЛТД, 19с.
33. Квалификационные тесты по социальной гигиене и организации здравоохранения / Под ред. О.П. Щепина и .- М.: ГОУ ВУНМЦ, 20с.
34. II., Урванцева тестирование: Учеб.-метод. пособие, 2-е изд., перераб. и доп. - Ярославль: ОНМиУЦ ПО, 1998. 30с.
35. Беспалько педагогической технологии.- М.:
Педагогика, 19с.
36. Якуба тестирования качества производственного
обучения. М.: Изд. центр АПО, 2001. 57с.
60
37. Методика комплексной оценки профессиональных действий и умений студентов при самостоятельной работе с амбулаторными больными: Метод. рекомендации для преподавателей / Сост. О. А-Латышев и др.; ЯГМА, Ярославль, 1999. 14с.
38. Федеральный компонент государственного образовательного стандарта начального общего, основного общего и среднего (полного) образования. Образовательная часть «Химия» // Газета «Химия» (еженедельное приложение к газете «Первое сентября»), 1996, № 45.
39. Сборник заданий в тестовой форме по органической и общей
химии // Под ред. Г.А. Урванцевой и : Учеб. пособие,
Ярославль, 19с.
40. , Хлебников в теорию моделирования
и параметризации педагогических тестов.- М.: 20с.
,
РЕЙТИНГ И ТЕСТЫ В СИСТЕМЕ ОЦЕНКИ ЗНАНИЙ СТУДЕНТОВ
Учебно-методическое пособие для преподавателей
Подписано в печать 12.07.2002 г.
Формат 60x84/16. Усл. печ. л. 4,13.
Заказ № 65. Тираж 200 экз.
Отпечатано отделом оперативной печати ЯрПК
4
Тел.:(0852)
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 |
