Валидность и надежность дидактических тестов (стр. 2 )

Прогностические возможности (и прогностическая валидность) тестов для профотбора, используемых в системе профобразования, бывают весьма различны.

Для оперативной диагностики в целях своевременной коррекции возможных отклонений особое значение будет иметь текущая валидность дидактических тестов, для тестов рубежного и текущего контроля знаний.

Текущая валидность в ряде случаев точнее отвечает существу решаемых задач. Она используется в тестах, оценивающих фактическое положение обследуемого, и при этом является более дешёвым и оперативным средством сбора критериальных данных, чем длительные наблюдения [7]. Текущая валидность может в дидактическом тесте рубежного контроля предсказать, насколько серьёзно общее отставание учащихся от необходимого уровня усвоения знаний и умений с точки зрения профессиографических и психографических требований.

При подготовке к ответственным экзаменам (курсовым, государственным экзаменам, вступительным экзаменам в вузы или колледжи), когда разрыв во времени между проведённым и предстоящим тестированием невелик, текущая валидность диагностически более значима. Она определяет ожидаемую степень возможного успеха, если у учащегося сохраняется на оставшийся период достигнутый уровень знаний (умений, психического свойства). То есть она сможет в определённой степени выполнить и прогностическую функцию.

При тестировании выпускников школ, ПТУ, вуза для их отбора к обучению на последующей, более высокой ступени образования (или в магистратуру, в аспирантуру) текущая валидность также будет иметь прогностическую направленность.

НЕ нашли? Не то? Что вы ищете?

Текущая критериальная валидность в дидактическом тестировании должна особенно учитываться при валидизации тестов по социокультурным дисциплинам (знания мировой и отечественной культуры, истории, философии, теоретических разделов экономики, многих разделов психолого-педагогических дисциплин). Для этих дисциплин трудно найти адекватные прогностические критерии в окружающей студента «большой жизни».

Доминировать она будет и при проверке тестов рубежного контроля по большинству теоретических разделов спецдисциплин (в учреждениях профессионального образования) — во всех случаях, где усвоенные знания не могут непосредственно использоваться в будущей, прогнозируемой в перспективе практической деятельности. Критерием и здесь может быть решение теоретических задач не на практике, а в других формах контрольных заданий (предпочтительно — комплексного характера, но с предельно чётко выделенными составляющими).

Прогностическая валидность, не заменяя текущую, а параллельно ей проводящаяся в долговременном методологическом эксперименте, необходима при прогнозировании успешности усвоения прикладных разделов знаний и умений. То есть тех, которые можно проверить на лабораторно-практических занятиях (по химическому анализу, методике преподавания, применению алгоритмов сборки и ремонта оборудования).

Поэтому для нас особенно важно, что прогностическая валидность имеет значение в дидактическом тестировании при оценке возможной успешности обучения (при предметной системе) на следующей ступени образования: для тестов, предназначенных средней группе классов общеобразовательной школы, прогноз будет нацелен на старшие классы и вуз; в тестах для старшеклассников — вектор прогноза будет ориентирован на вузы или сравнительно несложные виды профессиональной деятельности, для вузовских тестов прогнозирование будет связано с профессиональным дебютом.

§2. Надежность дидактического теста

Надежность теста является одним из критериев качества теста и показывает, насколько точно измеряет данный тест изучаемое явление, его помехо-устойчивость».

Надежность теста обычно определяется после окончания анализа задач и составления окончательной формы теста, для ее определения проводится, как правило, специальная апробация теста. Надежность характеризует точность теста как измери-тельного инструмента, устойчивость его к действию помех (состояния испытуемых, их отношения к процедуре тестирования, случайным ошибкам и т. п.). Качественный тест не может быть создан без тщательного изучения этого важного аспекта измерения.

Использование ненадежных тестов, допуск большого количества ошибок в таком

ответственном деле, каким является тестирование людей, может стать причиной педаго-гических и административных ошибок, последствия которых трудно исправить.

Как и любая человеческая деятельность, тестирование содержит ошибки. При проведении тестирования возникают следующие виды ошибок: промахи, систематические и случайные ошибки. Промахи возникают при грубых нарушениях процедуры тестирова -

ния. При наличии качественной инструкции по проведению тестирования и ее четком исполнении промахи встречаются довольно редко. Они могут быть легко выявлены и устранены путем анализа резко отклоняющихся значений, для этого анализа необходим критичный подход к анализу полученных результатов, особенно на этапах подготовки тестов и их первого использования. Здравый смысл и некоторая осторожность позволяют выявить и устранить причины промахов.

Систематические ошибки измерения возникают постоянно или закономерно меняются от измерения к измерению. В силу этих своих особенностей они могут быть предсказаны заранее, а в некоторых случаях и устранены.

Случайные ошибки имеют место, когда при последовательных измерениях постоянной характеристики получаются различные числовые оценки, т. е. при определении случайных ошибок предполагается, что измеряемая характеристика не изменяется во времени, а все отклонения обусловлены неточностью измерения (точнее было бы говорить о погрешностях при измерении).

Граница между случайными и систематическими ошибками достаточно условна. Суммарная ошибка любого теста состоит из ошибок двух этих типов, но в разном

соотношении. Относительный вес каждого типа ошибок зависит от качества теста и условий проведения обследования. Результаты тестирования всегда содержат ошибки, как бы тщательно они не проводились. Однако, используя методы математической статистики, можно оценить величину суммарной ошибки тестирования и использовать ее для оценки надежности теста. Без статистической оценки надежности теста результаты измерения нельзя считать достоверными.

Надежность теста является характеристикой того, в какой степени полученные в результате тестирования различия между испытуемыми являются отражением различий в свойствах испытуемых и в какой мере являются отражением случайных ошибок.

На практике используются три основных метода оценки надежности тестов:

1) повторное тестирование ; 2) расщепление группы ; 3) расщепление теста.

В большинстве случаев надежность определяется как коэффициент корреляции. Между двумя наборами данных. Для этого нам необходимо получить два ряда оценок, в которых будут присутствовать результаты оцениваемого свойства. Результаты должны быть получены в разных условиях., Коэффициент корреляции показывает, насколько тесно связаны между собой два ряда оценок. Идея определения надежности через коэффициент корреляции заключается в следующем:

Тестовый балл, полученный испытуемым, содержит в себе две компоненты - истинную и ошибочную (в данном случае ошибочная — это не значит, что она вызвана ошибками или промахами испытуемого, а в том смысле, что она содержит неизбежные погрешности измерения). Проведя второе тестирование, мы так же получим ряд оценок, который будут содержать эти две компоненты. Истинные оценки этих двух измерений будут одинаковы, а ошибочные (в силу того, что изменились условия проведения, сюда же следует отнести и причины связанные с испытуемым: самочувствие, настроение и т. д.)

окажутся различными. При этом чем больше первая компонента, тем выше будет корреляция между этими двумя рядами оценок, а чем больше вторая, тем корреляция меньше.

Таким образом, выбор варианта определения надежности заключается в выборе того, каким будет второе тестирование. Практически может быть всего три варианта получения рядов оценок второго тестирования: либо разнесение результатов по времени, либо разделение теста на две части и проведение на одинаковой выборке учащихся, либо разделение группы учащихся на эквивалентные и тестирование их одним инструментом.

Рассмотрим подробнее.

П2.1. Оценивание надежности ретестовым методом.(двукратное тестирование)

Ретестовыи метод оценки надежности основан на подсчете корреляции индии-видуальных баллов испытуемых, полученных в результате двукратного выполнения одного и того же теста. Обычно повторное тестирование проводится через 2—3 недели, когда испытуемые не успели забыть задействованный в тесте учебный материал и незначительно продвинулись по пути усвоения новых знаний. В этом случае низкая корреляция будет следствием не изменения состояния испытуемых, а отсутствия надеж-ности теста.

Для подсчета коэффицента надежности по методу повторного тестирования используется формула

…………(3.1)

где - коэффициент надежности теста по ретестовому методу, - индиви-дуальный балл -го испытуемого в первом тестировании (= 1, 2,..., N); — индивидуальный балл -го испытуемого во втором тестировании (= 1, 2,..., N).