Валидность и надежность дидактических тестов (стр. 3 )

Приведем пример вычисления ( табл. 3.2.)

Таблица 3.2. Пример вычисления

После подстановки чисел из нижней строчки таблицы в формулу (16) коэффициент надежности

Значение = 0,78 указывает на невысокую надежность теста.

Хотя ретестовый метод подсчета надежности прост в вычислительном отношении, следует быть очень осторожным, чтобы не завысить надежность искусственным путем, проводя слишком близкое по времени повторное применение теста. Учащиеся могут за-помнить ответы к целому ряду заданий и при повторном тестировании значительно повысить свои результаты, что негативно скажется на объективности при оценке надежности теста.

П2.2. Метол параллельных форм (двукратное тестирование)

Не может быть никакого сомнения в том, что метод параллельных форм наиболее подходящий для оценки надежности в рамках классической теории тестов, поскольку идея существования параллельных форм заложена в ней на уровне концепций и постулатов. Однако с практической точки зрения — это наименее эффективный метод. Пользуясь им, автору приходится создавать форму теста, параллельную исходной, затем доказывать ее параллельность и только потом оценивать надежность исходного теста. К тому же параллельные формы — это скорее теория, чем реальность, поскольку на практике, несмотря на все усилия авторов, как правило, обнаруживаются статистически значимые отличия в характеристиках параллельных тестов.

Если автору все же удалось, преодолев все трудности, создать параллельные формы и проверка условий параллельности дает обнадеживающие результаты, то для оценки надежности используется формула ( 3.1). В ней - индивидуальный балл -го испытуемого в первой форме (/= 1, 2,..., N); — индивидуальный балл -го испытуемого во втором тестировании (= 1, 2,..., N).

НЕ нашли? Не то? Что вы ищете?

Далее все вычисления с точностью повторяют подробно рассмотренный пример.

П2.3. Метол расшепления теста (однократное тестирование)

И ретестовый метод, и метод параллельных форм довольно неудобны, поскольку они предполагают двукратное тестирование учащихся. Обычно их используют довольно редко и отдают предпочтение методам, требующим однократного тестирования учеников.

(однократное тестирование) Метод расщепления на две части наиболее распространен из-за своего удобства. Он позволяет вычислить коэффициент надежности при однократ-ном выполнении учениками теста.

Для оценки надежности результаты тестирования делят на две части: в одну включают данные испытуемых по четным, а в другую — по нечетным заданиям теста. (Деление на две части — не единственный способ, возможны и другие варианты, когда выделяют большее число частей при оценке надежности теста.) Первое тестирование - это результаты по нечетным заданиям, второе тестирование результаты по четным заданиям, Результаты учеников заносят в табл. 3.3 (колонки 1,2,3).

Далее используют формулу (3.1), Пример расчета приведен в табл. 3-3..

ПРИМЕР. Таблица 3.3. Подсчет надежности (метод расщепления)

После подстановки чисел из табл. 3.3. в формулу ( 3.1) получается =

По сравнению с прежним значением 0,78 надежность получилась намного меньше, что можно было предвидеть, поскольку подсчет методом расщепления велся не по 10 заданиям, а только по 5 т. е. по тесту, укороченному в 2 раза.

Для коррекции оценки надежности в соответсвии с длиной исходного теста используется формула Спирмена—Брауна

Где в числителе и знаменателе дроби стоит коэффициент надежности для поло-вины заданий теста, а слева – скорректированный коэффициент надежности с учетом всех заданий теста.

Тогда для теста из 10 заданий будет

После коррекции коэффициент надежности получился приблизительно такой же, как и в предыдущем случае подсчета ретестовым методом (= 0,78).

Применение формулы Спирмена—Брауна подтверждает предположение о том. что: увеличение длины повышает надежность теста.

Рассмотренный выше метод расщепления основан на допущении параллельности двух половин теста, что не всегда и не в полной мере может оказаться верным. Кореляция двух половин возрастает по мере роста гомогенности теста. В этой связи метод расщеп-ления нередко называют методом оценки внутренней состоятельности (согласованности) теста

П2.4. Метод Кьюдера—-Ричардсона (для дихотомических опенок по заданиям теста)

Следующий подход к оценке надежности основан на вполне реальных данных и не зависит от упомянутых выше искусственных допущений о полной параллельности частей теста. Однако и он имеет свою ограниченную сферу применения, поскольку годится исключительно для гомогенных тестов. Метод Кьюдера—-Ричардсона (для дихотомичес-ких опенок по заданиям теста)

Формула Кьюдера—Ричардсона, или КR-20 имеет вид

…………………(3.2)

где - доля правильных ответов на - е задание теста — доля неправильных ответов, =1 — , —дисперсия по распределению наблюдаемых баллов; — число заданий теста. Проведем вычисления для матрицы результатов, приведенных в таблице 3.4. (Эти данные уже использовались в таблицах 3.2 и 3.3)

Табл. 3.4. Матрица результатов тестирования с индивидуальными баллами

испытуемых и с количеством правильных ответов на задания теста.

Применительно к рассматриваемой матрице ( таблица 3.4). =6,89 , а доли правильных ответов .( /= 1,2,..., 10) приведены вз последней строчке. Тогда сумма произведений долей правильных и неправильных ответов будет равна

0,9 • 0,1 + 0,8 • 0,2 + 0,7 • 0,3 + 0,6 • 0,4 + 0,5 • 0,5 + 0,5 • 0,5 + 0,3 • 0,7 + 0,40,6 + 0,2 • 0,8 + 0,1 • 0,9 = 1,9, а коэффициент надежности =0.79

Результат подсчета коэффициента надежности по формуле (3.2) довольно близок к двум другим полученным ранее (0,76 и 0,78). Но, конечно, что не может быть какого-либо единственного показателя, доказывающего по оценке своих значений приемлемую надежность теста. Для полной ее проверки следует учитывать несколько показателей надежности, подсчитанных по разным формулам, лишь небольшая часть которых приведена в данном пособии.

В качестве нижнего предела допустимых значений надежности обычно выбирают 0,7. При более низком значении использование теста вряд ли целесообразно в силу большой погрешности измерения. Если тест разрабатывают профессионалы, то к нему предъявляют более жесткие требования. Как правило, тесты с надежностью менее 0,8 считаются непригодными в профессионально организованных службах тестирования и центрах. Значения коэффициента надежности, превышающие 0,9, говорят о высоком качестве теста. Они крайне желательны, но редко встречаются. Как правило, в тестологическои практике надежность тестов колеблется в интервале (0,8; 0,9).

Положение с выводами о качестве теста осложняется тем, что нет и не может быть раз и навсегда определенной надежности теста. Ситуация вполне объяснимая, поскольку коэффициент надежности, подсчитываемый по матрице тестовых результатов, всегда зависит от свойств выборки испытуемых. Поэтому при каждом очередном использовании теста приходится оценивать его надежность, а уж потом говорить о достоверной интерпретации результатов выполнения теста.

П2.5. Надежность и длина теста

При конструировании теста полезно уметь определить необходимую его длину, чтобы достичь планируемой надежности теста. С этой целью используется обобщенный вариант формулы Спирмена—Брауна

……………………….(3.3)

где — число раз, в которое увеличивается длина теста; — коэффициент надежности теста до увеличения его длины; — коэффициент надежности после увеличения длины теста [12]. Конечно, увеличение длины в обсуждаемой постановке проблемы предполагается вести путем добавления заданий, содержание которых основано на той же спецификации, что и исходные задания теста. Таким образом, увеличение длины предпо-лагает не изменение содержательной области, подвергающейся проверке, а детализацию проверки каждого содержательного элемента в тесте. Помимо этого, добавляемые задания должны иметь статистические характеристики, близкие к характеристикам исходных заданий теста. Нарушение одного из этих условий приводит, как правило, к неоправдан-ному завышению оценок надежности теста.