Использование формулы (3.3) легко пояснить с помощью численных данных. Например, если надежность теста была 
=0,7 и длину теста увеличили в 3 раза, то надежность нового теста возрастет до
что в отличие = 0,7 является вполне приемлемой для профессионального уровня создания теста.
Возможно другое применение формулы (3.3), когда достигнутая надежность, скажем =0,7, кажется разработчику явно недостаточной и он хочет узнать, во сколько раз следует увеличить длину для запланированного повышения качества теста. Если достигнутую надежность обозначить символом 
_, а планируемую, т. е. желатель -
ную — символом 
, то
……………………….(3.4)
Для рассматриваемого выше примера, где = 0,7, а г =0,88,
Естественно, что надежность теста не является самоцелью, поскольку неоправданное увеличение длины теста приведет к усталости и снижению мотивации у учеников, что в конечном счете отразится негативно на той же надежности теста. Поэтому при конструировании теста следует искать разумный компромисс, когда надежность теста находится в допустимых пределах, а длина теста выбрана сообразно возрастным особенностям учеников и специфике проверки. К тому же включение большого числа заданий, сходных по содержанию, нецелесообразно при итоговой проверке учеников.
П2.6. Надежность и стандартная ошибка измерения
Один из аспектов применения коэффициента надежности связан с определением стандартной ошибки измерения. Для установления связи между стандартной ошибкой измерения и надежностью теста используется соотношение
……………………….(3.5)
где
— дисперсия распределения индивидуальных(наблюдаемых) баллов; — коэффициент надежности теста; 
— дисперсия ошибок измерения. Обычно выражение (3.5) используется для вычисления по известным величинам и . Что касается сущностного смысла, то трактуется как стандартное отклонение результатов испытуемого от его истинного балла, полученное при выполнении им большого числа параллельных форм теста.
Для лучшего уяснения смысла показателя можно представить другую гипоте-тическую ситуацию, когда i - й испытуемый выполнял много раз один и тот же тест. Если предположить, что эффект запоминания отсутствует, то результаты тестирования образу-ют нормальное распределение вокруг истинного балла со стандартным отклонением 
и дисперсией .
На практике рассматривается как статистическая величина, отражающая степень точности отдельных измерений, поэтому величину используют для определения границ доверительного интервала, внутри которого должен находиться истинный балл оцениваемого ученика группы.
Общераспространен подход, когда доверительный интервал выстраивается как две симметричные окрестности (левая и правая) вокруг наблюдаемого показателя ученика, хотя это не совсем верно, поскольку речь должна идти об окрестностях, расположенных
слева и справа от истинного балла. Тем не менее этот факт обычно игнорируется в прикладных исследованиях, и доверительный интервал при заданном риске допустить ошибку t = 0,05, т. е. в пяти случаях из ста, принимается равным
где 
. — наблюдаемый балл i - го испытуемого; 1,96 — константа, табличное число, используемое при t =0,05.
Для рассматриваемого ранее примера матрицы тестовых результатов (см. табл. 3.4), коэффициента надежности =0,78 и стандартного отклонения = 2,62 по формуле (3.5) получится
Тогда доверительный интервал для истинного балла первого ученика со значением 
= 6 будет (6 - 1,96 • 1,23; 6 + 1,96 • 1,23).
Интересна геометрическая интерпретация доверительного интервала на оси наблюдаемых баллов учеников (рис. 3.1).
Рис. 3.1. Геометрическая интерпретация доверительного интервала
Следовательно, истинный балл первого ученика может находиться в любой точке этого интервала. Таким образом, стандартная ошибка измерения является стандартной погрешностью оценки истинных баллов на основании наблюдаемых результатов тесто-вых измерений.
Очевидно, что с ростом границы доверительного интервала будут раздвигать-ся, и вместе с тем будут увеличиваться возможные пределы отклонения истинного балла от наблюдаемых результатов измерения (более правильная с точки зрения теории трактовка: пределы отклонения наблюдаемых баллов от истинной компоненты измерения).
П2.7. Предсказание истинных баллов на основе регрессионной модели
Методы регрессионного анализа позволяют прогнозировать оценки истинных баллов испытуемых по распределению наблюдаемых баллов и коэффициенту надежности теста. Прогноз получается путем подставки в регрессионное уравнение, полученное Дж.
Стенли [21],
……………………….(3.6)
где 
— истинный балл; 
— индивидуальный балл i - го испытуемого; 
— среднее значение баллов испытуемых.
Например, в матрице данных из табл. 3.4 
= 1, = 5 , = 0,78. Тогда 
= 5 + 0,78(1 — 5) = 1,88 ~ 1,9, что несколько завышает исходный наблюдаемый балл=1.
Если в качестве примера выбрать не минимальный наблюдаемый балл 1, а максимальный у 4-го испытуемого, то после коррекции результат 
будет несколько занижен: = 5 + 0,78(9 — 5) ~ = 8,12 вместо прежних 9.
Завышение или занижение наблюдаемых баллов при подсчете вызвано изме-нениием знака разности - в выражении (3.6). Для всех наблюдаемых баллов выше среднего разность будет получаться положительной, а для значений ниже среднего разность - принимает отрицательные значения. Уравнение линейной регрессии (3.6) учитывает эти тенденции, в результате чего наблюдается отмеченный выше эффект.
П2.8. Источники неудовлетворительной надежности теста
Вопрос о причинах неудовлетворительной надежности имеет несомненное практическое значение, так как предварительное исследование источников ненадежности позволяет по возможности устранить их влияние при конструировании теста. К числу таких источников обычно относят:
1. Субъективизм при оценке результатов выполнения заданий теста. Субъективизм оценок является непременным атрибутом оценок при включении в тест заданий со свободно конструируемыми ответами. При анализе результатов их выполнения всегда наблюдаются различия между подходами различных экспертов и между ответами одного и того же испытуемого при повторном выполнении им теста. Очевидным следствием этих различий является снижение надежности теста. Наиболее эффективный метод преодоления отмеченного недостатка — использование закрытых заданий, которые благодаря возможности объективной оценки результатов выполнения при прочих равных ведут к повышению надежности теста.
2. Угадывание. Угадывание существенно снижает надежность теста, особенно в тех случаях, когда тестируется группа слабых учеников, которые обычно прибегают к догадке при выполнении наиболее трудных заданий теста.
3. Отсутствие логической корректности формулировок заданий теста. . Как правило, некорректные задания пропускают сильные ученики, что в целом негативно отражается на надежности теста.
4. Неоправданный выбор весовых коэффициентов. Выбор весовых коэффициентов в процессе подсчета индивидуальных баллов обучаемых должен базироваться на соответствующей теории. Только в том случае, когда весовым коэффициентам приданы оптимальные значения, их введение не ведет к снижению надежности теста.
5. Длина теста. Надежность растет по мере увеличения длины теста. Для удовлетворительной, но не хорошей надежности обычно достаточно 30 заданий теста.
6. Отсутствие стандартной инструкции к тесту. Инструкции к тесту должны быть предельно стандартизованы и точны. Любые неоднозначности, двусмысленности и отступления от требований стандартизации в инструкции ведут к снижению надежности теста.
7. Другие источники снижения надежности. Иные источники ненадежности связаны с испытуемыми, а не с заданиями теста. Испытуемый может плохо себя почувствовать во время работы над тестом либо ошибиться в инструкции и указать и вместо правильного неверный ответ. На результаты выполнения теста могут повлиять усталость и скука, температура в помещении, шум за окном и т. п. В целом все эти факторы приводят к снижению надежности теста, поэтому их влияние стараются нивелировать как в процессе создания, так и при применении теста.
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 |
Основные порталы (построено редакторами)