Составление и оценка качества педагогических ритериально–ориентированных тестов (стр. 1 )

Государственное образовательное учреждение среднего профессионального образования

«Омский государственный промышленно – экономический колледж»

Составление и оценка качества педагогических критериально – ориентированных тестов.

Методические рекомендации.

2007

Составление и оценка качества педагогических критериально – ориентированных тестов. Методические рекомендации. Омск, 2007, с. 34

Составитель: , преподаватель ГОУ СПО «Омский государственный промышленно – экономический колледж».

Методические рекомендации содержат общие вопросы теории и практики составления тестовых заданий и оценки качества теста.

Рекомендации помогут преподавателям на практике овладеть технологией конструирования педагогических тестов; выполняя упражнения (в бумажном или электронном варианте), получить навыки составления или корректировки тестовых заданий в соответствии с требованиями; изучить основные методы статистической обработки, анализа, предъявления и интерпретации результатов тестирования для определения качества созданного теста.

Данные методические рекомендации предназначены для педагогических работников образовательных учреждений среднего профессионального образования.

Содержание

ВВЕДЕНИЕ.. 4

1. ТРЕБОВАНИЯ К ТЕСТОВЫМ ЗАДАНИЯМ... 6

2. ОСНОВНЫЕ ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ.. 8

3. ОЦЕНКА КАЧЕСТВА ТЕСТОВЫХ ЗАДАНИЙ.. 10

3.1 Оценка надежности теста. 11

3.1.1 Метод – коррелирование двух параллельных тестов. 12

3.1.2 Метод – вычисление коэффициента надежности по формуле К-Р. 13

3.2 Оценка валидности теста. 22

3.2.1 Пригодность теста для достижения поставленной цели. 22

3.2.2 Соответствие по форме подачи материала. 23

3.2.3 Соответствие по уровню трудности. 23

3.2.4 Соответствие по содержанию.. 24

ЗАКЛЮЧЕНИЕ.. 26

ПРИЛОЖЕНИЯ ………………………………………………………………………………… 27

ВВЕДЕНИЕ

Тестовый контроль знаний, умений и навыков приобретает все большее распространение во всех областях. Современный человек встречается с тестами при поступлении в учебное заведение, в процессе обучения, при итоговой аттестации, устройстве на работу и т. д.

Тесты для объективного контроля знаний и умений называют педагогическими. Педагогический тест принято определять как систему заданий определенного содержания, специфической формы, позволяющую качественно и эффективно измерить уровень подготовленности учащихся, контролировать результат усвоения ими в процессе обучения знаний и умений. Педагогические тесты по целям применения делятся на: тесты достижений или профориентированные тесты; критериально - ориентированные тесты; нормативно - ориентированные тесты; аттестационные тесты; тесты прогнозирования результатов обучения.

Разработка заданий в тестовой форме проводится на основе ряда обоснованных требований в рамках единой методики. В рамках методики, принятой в мировой практике, к таким требованиям относят следующие: в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок; основная часть задания формулируется предельно кратко (как правило, не более одного предложения); формулировка задания должна иметь форму истинного или ложного утверждения; все варианты ответа к одному заданию должны быть приблизительно одинаковой длины; из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки и другие.

Содержание заданий и всего теста в целом должно удовлетворять определенным критериям, задающим систему нормативных требований к содержанию теста: критерий полноты отображения материала учебной программы; критерий соответствия содержания теста знаниям и умениям, на проверку которых тест направлен; критерий соответствия теста требованиям Образовательного стандарта по дисциплине; критерий качества содержания тестовых заданий.

Главными критериями, определяющими качество тестов, являются надежность (точность измерений или устойчивость результатов) и валидность (от англ. validity - соответствие - пригодность теста для достижения поставленной цели или качественное измерение того, для чего он предназначен по замыслу авторов);

Определение надежности и валидности тестов проводится путем статистической обработки результатов массового тестирования по группам испытуемых.

1. ТРЕБОВАНИЯ К ТЕСТОВЫМ ЗАДАНИЯМ

Следует отметить, что многие используемые сегодня педагогические тесты не обладают высоким качеством. Основными их недостатками является примитивность, неясные или упрощенные задания, ориентация на механическое запоминание, а не аналитическую деятельность, возможность использования элементов угадывания по формулировкам вопросов или ответов. Поэтому педагогический тест не должен представлять совокупность произвольно объединенных заданий для проверки. Это должна быть система заданий, создаваемая по определенным, установившимся на сегодня правилам, обеспечивающим взаимосвязь заданий и их принадлежность общему измеряемому фактору.

Современные педагогические тесты представляют собой задания, сформулированные с учетом указанных ниже рекомендаций:

- каждое тестовое задание должно иметь отношение только к конкретному факту, принципу, умению, знанию, т. е. обладало достаточной важностью для включения в тест;

- формулировка тестового задания должна учитывать требуемый уровень усвоения;

- формулировка задания должна соответствовать его форме;

- формулирование заданий в форме утверждений, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания;

- исключается вопрос и повелительное наклонение (т. е. выберите, вычислите, укажите и т. д.);

- семантическая осмысленность задания предполагает, что оно не должно формулироваться в отрицательной форме;

- начинайте формулировку задания с определяющего (ключевого) символа, ни в коем случае не с предлога, союза или частицы;

- тестовое задание не должно содержать двусмысленностей (неоднозначностей), тавтологий, противоречивых утверждений, двойных отрицаний, сленга;

- формулировка тестового задания должна быть краткой и четкой (10-15 слов) – задание не должно содержать не только ни одного лишнего слова, но и даже знака;

- в тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора;

- необходимо избегать использования очевидных, тривиальных, малозначащих и амбициозных вопросов и формулировок при составлении тестовых заданий;

- необходимо избегать взаимосвязанных заданий, где содержание одного задания подсказывает ответ на другое задание;

- все варианты правильных ответов должны быть указаны и грамматически согласованы с основной частью задания;

- не должно быть заведомо ложных, а также явно выделяющихся, обособленных ответов; правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов;

- применяйте правдоподобные ошибочные варианты ответов, взятые из опыта и позволяющие выявить неверные шаги при решении задачи;

- дистракторы не должны сильно отличается друг от друга;

- в заданиях закрытого типа дистракторы не должны начинаться или заканчиваться повторяющимися словами или выражениями; количество дистракторов в задании должно находится в пределах от 4 до 6;

- недопустимы ответы типа: все выше перечисленное верно, все указанные ответы неверны, не знаю, другое и т. д.;

- лучше «длинный» вопрос и «короткие» ответы, чем наоборот;

- в ответах на задания открытой формы предусмотреть все возможные образцы ввода ответа (т. е. учесть для этого возможности тестовой оболочки);

- задания на установление соответствия и правильной последовательности должны начинаться со слов: Соответствие … (а не установить соответствие); Последовательность (а не установить последовательность);

- в заданиях на установление последовательности должны присутствовать не менее 3-х и не более 6-ти элементов;

- в тестах на соответствие одно множество должно быть больше другого для уменьшения вероятности догадки;

- избегайте вводных слов (неверно: к понятиям …, верно: понятиями …), обобщений (всегда, никогда, иногда, все и т. д.), неопределенностей (когда-нибудь, или, либо, ли);

- обязательно соблюдайте единый стиль оформления заданий, входящих в один тест.

В приложении 1 приведены примеры тестовых заданий, выполненных в соответствии с требованиями, а также примеры с наиболее часто встречающимися ошибками в построении заданий. Для отработки навыков составления тестовых заданий и редактирования некорректных заданий имеется возможность выяснить причину некорректности, самостоятельно исправить и затем сравнить с правильной постановкой тестового задания. (Электронный вариант заданий приводится на диске).

2. ОСНОВНЫЕ ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ

Для предъявления тестового задания применяются несколько наиболее распространенных видов форм: открытая форма, закрытая форма; форма для заданий на установление правильной последовательности и форма для заданий на установление соответствия. Выбранная форма подачи тестового задания должна оптимально выразить его содержание и привести к лучшему пониманию смысла задания испытуемыми.

Задания закрытой формы.

При использовании закрытой формы тестовых заданий набор ответов принадлежит преподавателю, а это практически освобождает студента от необходимости самостоятельного поиска возможного варианта ответа, т. е. фактически освобождают его от самостоятельной работы мысли, предлагая действия с «подсказкой».

Цель использования закрытой формы - проверить ориентированность испытуемого в данной учебной дисциплине.

Например:

Мудрым можно считать того, кто ...(с точки зрения Сократа)

£ следует традициям

£ умеет управлять ближними

£ свободно следует своим желаниям

R добился самообладания

Иногда закрытую форму применяют для выбора результатов после расчета, тогда в задании формулируется условие задачи и исходные данные, а в ответах представлено несколько вариантов решения. Ответ выбирается после решения.

Например:

Период вертикальных колебаний груза массой m = 1 кг, подвешенного на пружине, равен π /25 с., если жесткость этой пружины равна … Н/м

£ 1500

£ 2000

R 2500

£ 3000

£ 3500

Задания открытой формы

Открытая форма тестовых заданий представляет собой утверждение с неизвестной переменной. Ответ заданной формы тестового задания определяется в виде одного (реже двух) ключевого термина, значение которого является обязательным.

Цель использования открытой формы - проверить основные понятия, законы, факты, при этом испытуемый должен вспомнить необходимые для ответа сведения, воспроизвести информацию.

Например:

Социальная... есть учение о социальном порядке

Правильный вариант ответа: статистика.

Задания на установление правильной последовательности

Задания на восстановление последовательности подходят для любой дисциплины, где присутствует алгоритмическая деятельность или временные события.

Цель использования: для проверки правильного владения последовательностью действий, процессов, операций, суждений, вычислений (это может быть порядок технологических операций, последовательность исторических событий, алгоритм решения задач).

Задания на установление соответствия

В заданиях на соответствие необходимо найти или приравнять части, элементы, понятия – конструкциям, фигурам, утверждениям; восстановить соответствие между элементами двух списков.

Например:

ПРИБОР ИЗМЕРЕНИЯ А) Электрометр Б) Амперметр В) Электроскоп Г) Омметр Д) Анометр Е) Вольтметр Ж) Реостат З) Гальванометр

ВЕЛИЧИНА 1. Электрический ток 2. Сопротивление 3. Напряжение 4. Разность потенциалов

 

3. ОЦЕНКА КАЧЕСТВА ТЕСТОВЫХ ЗАДАНИЙ

Чтобы тестовые задания считались научно - обоснованным тестом, необходимо, чтобы они соответствовали установленным стандартам надежности и валидности.

Первый из них связан с понятием точности измерений и известен в виде понятия надежности теста. Второй связан с его пригодностью для достижения поставленной цели: пригодность теста для достижения поставленной цели; соответствие по форме; пригодность по содержанию; соответствие по уровню трудности.

Определение надежности и валидности тестов проводится путем статистической обработки результатов тестирования, т. е. нужно решить основную задачу математической статистики – при известном составе выборки требуется определить, какой была генеральная совокупность (иначе говоря: известны результаты теста, а какой же был тест?). При этом необходимо опираться на основные положения классической теории тестов:

Первое положение - измеряемое значение (Х) не равно истинному (Т). Следовательно, любой тестовый балл можно представить как сумму истинного и ошибочного (Е) компонентов измерения: Х= Т+ Е

 (Например, источниками погрешностей может служить как выборка испытуемых, так и формулировка и отбор заданий и др.)

Второе положение - истинные компоненты не коррелируют с ошибочными компонентами измерения.

Третье положение - ошибочные компоненты одного параллельного варианта не коррелируют с такими же компонентами другого параллельного варианта теста.

Тестовые результаты в идеальном виде должны подчиняться закону нормального распределения: чем лучше сделан тест и чем больше было испытуемых, тем реальнее распределение баллов начинает приобретать форму нормального (а не случайного) распределения.

3.1 Оценка надежности теста

Надежность тестов достаточно просто оценить в гомогенных тестах. Однако оценка надежности заметно осложняется в гетерогенных тестах. В этом случае гетерогенный тест нужно представить в виде нескольких гомогенных тестов. Только в этом случае ответы студентов на тестовые задания коррелируют между собой. Отсутствие же корреляции мешает всякой надежде на мало - мальски заметную надежность теста в целом.

Все методы оценки надежности теста основаны на разных теоретических положениях, но все они призваны ответить на один и тот же вопрос: насколько надежны проведенные измерения? Значение коэффициента надежности заключено в пределах от нуля до единицы.

Существует несколько методов оценки надежности тестов: коррелирование двух параллельных тестов и вычисление коэффициента надежности теста в соответствии с классической теорией тестирования по формуле Кьюдера Ричардсона и др.

3.1.1 Метод – коррелирование двух параллельных тестов

Интуитивно наиболее понятный и простой способ определения надежности теста - это двукратное, по меньшей мере, использование одного и того же теста в той же самой группе студентов. Результаты обоих опросов анализируются с целью поиска корреляции между ними. Данный метод имеет свои достоинства и недостатки. Достоинства заключаются в сравнительной простоте его использования, ясности основных посылок, лежащих в определении надежности, простоте расчетов. К недостаткам можно отнести неопределенность в выборе временного интервала между первым и вторым опросами. Этот интервал может колебаться от нескольких минут до нескольких дней, месяцев и даже лет.

Надежность теста тем выше, чем более согласованы результаты одного и того же человека при повторной проверке знаний посредством того же теста или эквивалентной его формы (параллельного теста). При этом, чем больше число тестируемых, тем точнее результаты.

Пример:

1	2	3	4	5	6	7	8	9	- испытуемые - 1-е тестирование - 2-е тестирование   10
9	8	7	6	6	5	5	5	5	4
9	8	7	5	6	6	5	5	5	4

Из 10 тестируемых при повторном тестировании устойчивые результаты показали 8, что говорит о хорошей надежности теста.

Коэффициент надежности r = 0,8.

(Для вычисления коэффициента надежности можно применить формулу, которая будет рассмотрена ниже при рассмотрении валидности теста по содержанию.)

3.1.2 Метод – вычисление коэффициента надежности по формуле К-Р

Метод вычисления надежности теста в соответствии с классической теорией тестирования основан на однократном применении одного теста и расчетом коэффициента надежности по формуле Кьюдера Ричардсона (К-Р). При этом определяются индивидуальные баллы и средние результаты испытуемых и средние баллы по заданиям; стандартные отклонения суммарных баллов испытуемых; корреляционные связи между заданиями и суммой баллов по тесту и, наконец, вычисляется коэффициент надежности. Ниже приведены этапы выполнения расчета.

Работа с матрицей результатов.

Результат выполнения каждого задания представляется только двумя возможными способами: нуль баллов, если задание выполнено неверно; один балл, если задание выполнено верно. Результаты выполнения каждым i-м испытуемым каждого j-го задания заносятся в таблицу тестовых результатов и обозначаются xij:

Для проверки тестовых свойств заданий с данными таблицы делается ряд расчетов, результаты которых представлены в таблице.

Таблица тестовых результатов.

№	X1	X2	X3	X4	X5	X6	X7	X8	X9	X10	Yi	pi	qi	pi/qi
1	1	1	1	0	1	1	1	1	1	1	9	.90	.10	9
2	1	1	0	1	1	1	1	1	1	0	8	.80	.20	4
3	1	1	1	1	0	1	1	0	1	0	7	.70	.30	2.33
4	1	1	1	1	0	1	0	1	0	0	6	.60	.40	1.50
5	1	1	1	1	1	1	0	0	0	0	6	.60	.40	1.50
6	1	1	1	1	0	0	1	0	0	0	5	.50	.50	1.00
7	1	1	0	1	1	0	1	0	0	0	5	.50	.50	1.00
8	1	1	1	1	1	0	0	0	0	0	5	.50	.50	1.00
9	1	0	1	0	1	1	0	0	0	0	4	.40	.60	0.66
10	0	1	1	0	0	0	0	1	0	1	4	.40	.60	0.66
11	1	1	1	0	0	0	0	0	0	0	3	.30	.70	0.43
12	1	1	0	0	0	0	0	0	0	0	2	.20	.80	0.25
13	1	0	0	0	0	0	0	0	0	0	1	.10	.90	0.11
Rj	12	11	9	7	6	6	5	4	3	2	65
Wi	1	2	4	6	7	7	8	9	10	11
pj	.923	.846	.692	.538	.462	.462	.385	.308	.231	.154	5
qj	.077	.154	.308	.462	.538	.538	.615	.692	.769	.846
pjqj	.071	.130	.213	.248	.248	.248	.236	.213	.178	.130
qj/pj	.083	.182	.445	.859	1.164	1.164	1.597	2.246	3.329	5.493

До выполнения расчетов из матрицы удаляются все строки и столбцы, состоящие только из нулей или только из единиц, т. к. они не несут информации, которую можно использовать для оценивания уровня подготовленности студентов. Далее в матрице проводится два упорядочения.