ГЛАВА 3. ВАЛИДНОСТЬ И НАДЕЖНОСТЬ ДИДАКТИЧЕСКИХ ТЕСТОВ
§1 Валидность дидактических течтов
В словаре «Психология» даётся следующее определение: «валидность (от англ. valid — пригодный) — один из основных критериев качества теста. Проблема валидности возникает в процессе разработок и практического применения теста, когда ставится задача установить соответствие между степенью выраженности интересующего свойства личности и методом его измерения. Чем валиднее тест, тем лучше отображается в нём то качество (свойство), ради измерения которого он создавался» [14].
Существует много подходов к оценке валидности тестов по тому или иному критерию - содержатенльная валидность, куррикулярная, концептуальная, конструктная валидность, прогностическая, критериальная, конкурентная, очевидная валидность, психологическая валидность и т. д. . Здесь будут рассмотрены лишь содержательная валидность, куррикулярная, конструктная, концептуальная и прогностическая валидность, как представляющие наибольший интерес для оценки качества дидактических тестов (тестов достижений).
П 1.1. Содержательная валидность
Валидность по содержанию - это степень соответствия содержания тестовых заданий содержанию учебного предмета, успешность усвоения которого тестируется, то есть репрезентативность предложенного для тестирования комплекса учебных задач содержанию учебной программы.
Содержательная валидность теста описывается в качественных характеристиках соответствия-несоответствия структуры, содержания, уровня трудности заданий теста тому содержательному материалу, который тест призван отражать (знаниям и умениям, усвоение которых тест контролирует). Поэтому можно говорить о содержательной валидности теста относительно:
а) типового учебного плана (в тесте итогового контроля по всему объёму, изученному за год, за определённую ступень обучения или по циклу дисциплин — гуманитар-
ных, естественнонаучных, общественных, или по итогам изучения в профессиональном учебном заведении дисциплин узкой специализации); -куррикулярная(программная) валидность
б) типовой программы по предмету( тесты всех уровней контроля знаний по данной дисциплине);
в) рабочей программы (точно так же, как и типовой);
г) учебника, учебного пособия, методической разработки, авторской педагогической технологии учителя-предметника.
Эти качественные характеристики могут быть выражены количественно:
1) в часах, необходимых для изучения дисциплин (что заложено в учебных планах и типовых программах);
2) в процентных весах экспертной усреднённой оценки значимости разделов и тем (вплоть до отдельных пунктов программ и относительно самостоятельных учебных элементов), полученных экспертным путём. Здесь, кроме среднестатистических величин, могут использоваться все меры рассеяния, а применительно к экспертным оценкам (при научной организации экспертизы) и коэффициенты согласия экспертов, индексы их квалификации и т. п..
Для тестов различного уровня контроля знаний должна быть различная система требований к оценке содержательной валидности — чем качественнее и ответственнее проверка, этап контроля, тем более точно надо знать характеристики содержательной валидности дидактического теста, так как более значимы для обследуемого принимаемые по результатам тестирования решения.
Для текущего и рубежного контроля могут потребоваться (или каким-то особым способом учитываться) характеристики типового учебного плана, дополнительные характеристики, определяющие реальный процентный вес и значимость данной формы контроля знаний по конкретному предмету.
П 1.2.Конструктная валидность дидактического теста
Конструктная валидность дидактического теста — это отражение в нём теоретической модели курса, его структурных пропорций и основных компонентов на всех уровнях — вплоть до учебных элементов.
Куррикулярная(программная) валидность даёт нам лишь основу для определения конструктной валидности. Она показывает только одно — отражены ли в тесте необходимые с точки зрения полноты контроля знаний учебные элементы и какие именно в диагностируемых тестом разделах, главах, темах, вопросах ранее изучавшегося учебного материала.
Но логическая структура учебного материала — это не просто совокупность элементов знания, но и их определённая последовательность, иерархия со сложной системой координационных и вертикально-соподчинённых взаимосвязей.
Опыт показывает, что на базе уже проведённой куррикулярной валидизации теста намного легче и быстрее проводить его конструктную валидизацию — все основные элементы конструкта-модели теста налицо, ясна степень их значимости для решения диагностических задач.
Конструктная валидизация теста включает в себя следующие процедуры при разработке нового дидактического теста:
1. В текстовой и графической форме представляется структура знаний и умений в виде структурно-логической схемы с иерархическими и координационными связями. Строится в соответствии с этой схемой из имеющегося набора заданий адекватная структурно-логической схеме модель теста.
2. В другой ситуации, когда проводится адаптация уже готового теста, потребуется строить конструкт после спецификации этого теста.
Конструктная валидность характеризует тест с точки зрения того, какие иерархические элементы модели диагностируемых знаний (умений, навыков) в большей или меньшей степени отражены в структуре теста как средства контроля, какие — вообще не отражены. Она позволяет определить, может ли тест диагностировать через наличие (отсутствие) взаимосвязанных между собой заданий реально имеющиеся в структуре данной области знания внутри предметные и межпредметные связи — и какие именно, в какой степени.
Только конструктная валидность теста отвечает на вопрос: в какой степени в тесте отражены ключевые элементы диагностируемого содержания образования и насколько адекватно.
П 1.3.Концептуальная валидность дидактического теста
Концептуальная валидность дидактического теста показывает: В основе учебника, учебного пособия, типовой или рабочей программы всегда объективно заложена определённая концепция учебного предмета. Она отражает представление авторов о том, что в учебном материале является более или менее значимым, какие разделы, темы, главы, вопросы, учебные элементы заслуживают в изложении и объяснении большего или меньшего внимания, какие знания должны быть закреплены особо прочно, какие — быть только «информационным фоном».
Далеко не всегда, к сожалению, эта концепция предмета чётко и последовательно, хотя бы кратко, излагается самими авторами. Вероятно, и не всегда достаточно ясно осознаётся. По крайней мере, многие преподаватели, обучающие по новым учебникам, затрудняются ответить на вопрос — какая же концептуальная система лежит в основе учебника.
При разработке нового теста анализ концептуальной валидности теста позволяет привести его в соответствие с концепцией предмета и учебника, а при экспертизе имеющегося, адаптируемого теста решить вопрос о целесообразности использования.
С формальной стороны при анализе концептуальной валидности теста можно составить перечень отклонений теста от типовой (учебной) программы, от учебника (программы) с указанием рекомендаций по совершенствованию, доводке теста.
Концептуальная валидность в дидактическом тесте — неотъемлемая характеристика наряду с куррикулярной (программной), валидностью. Это разные аспекты содержательной валидности теста (и, соответственно, процесса его содержательной валидизации).
П 1.4.Текущая и прогностическая валидность теста
Прогностическая валидность связана с возможностью прогноза поведения тестируемого через определённый промежуток времени. Валидность прогноза позволяет вычислить взаимосвязь между данными, полученными в ходе ранее проведённого исследования и поведением, наблюдаемым позднее.
В дидактических тестах в прогностической валидности внешним критерием является прогноз успеваемости и поведения учащегося — например, прогноз успеваемости в вузе по результатам вступительных экзаменов.
Если критериальная валидизация проводится для допуска студентов к лабораторным работам по химии, физике, металлографии на дорогом оборудовании или для отбора лучших возможных исполнителей предстоящей профессиональной деятельности, текущая критериальная валидность покажет возможную сегодня степень потенциальных ошибок отбора (по сравнению со случайным отбором). И чем обоснованнее подобран критерий, тем выше должна быть степень надёжности отбора.
Слабое место текущей валидизации в дидактическом тестировании — то, что при ней не учитывается фактор дообучения, возможности мобилизации учащимися или опытными педагогами резервов мышления, воли и памяти, работоспособности обследуемых. Возможно, в ближайшее время всё это может быть реализовано самим обследуемым (подсмотрел или нашёл нужную ассоциацию — и вспомнил то, без чего не удалось выполнить серию заданий).
Оба вида критериальной валидности теста полностью, но по-разному «работают» в системе дидактического тестирования.
Если создан дидактический тест, то надо знать, как он коррелирует с фиксируемыми другими методами оценивания успехами или неудачами обследуемых. Текущая критериальная валидность вместе с конкурентной валидностью этого же теста показывают, насколько тест как средство диагностики лучше (или хуже) других методов оценивания успешности обследуемых. Могут ли те, кто правильно ответил на тест о составлении химического раствора, столь же успешно это делать в лаборатории.
При прогностической критериальной валидизации мы имеем дело с другим аспектом — с предсказанием успехов. И здесь появляется фактор «долговременности» прогноза: успех через неделю и успех через семестр, через год после выпуска — особенно в профпедагогике совершенно разные вещи, если учитывать факторы обучаемости личности.
При дидактическом тестировании мы изучаем успешность учебных достижений, которые отнюдь не равны профессиональным. Учебные успехи (как и учебные программы) лишь отражают, более или менее адекватно, возможные профессиональные достижения в будущем (на практике или после выпуска). Многое зависит от динамизма учебных программ — адекватно ли в них отражена профессиональная реальность и требуемые от сегодняшнего и завтрашнего профессионала знания, умения и навыки.
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 |
Основные порталы (построено редакторами)