Апробационное тестирование

Цель апробационного тестирования – проверка функционирования заданий (анализ тестовых заданий) и всего теста в целом, исследование системообразующих свойств теста, оценивание его надежности и валидности.

Результаты апробации должны подвергнуться специальной статистической обработке, чтобы выявить задания, которые функционируют правильно (как и предполагалось разработчиком), и задания, которые не соответствуют требованиям. Дополнительно исследуется функционирование всего теста в целом как измерительного инструмента, выявляются проблемы и выясняются причины неудовлетворительных показателей.

Этапы проведения апробационного тестирования

1)  Разработка методики апробационного тестирования (выборка, условия проведения и т. д.)

2)  Разработка инструкций для участников и для преподавателей, проводящих апробацию теста

3)  Проведение апробационного тестирования

4)  Сбор эмпирических результатов

5)  Статистическая обработка результатов выполнения теста

6)  Интерпретация результатов обработки, проверка соответствия характеристик теста научно-обоснованным критериям качества

7)  Переработка заданий по результатам апробации; в случае необходимости разработка новых заданий

8)  Оптимизация длины теста и времени его выполнения на основании результатов апробации. Оптимизация расположения заданий в тесте. Оптимизация схемы оценивания заданий

9)  В случае необходимости (значительных изменений в тесте) повторная апробация (кросс-валидизация)

НЕ нашли? Не то? Что вы ищете?

Подготовка и проведение апробации

Как правило, в рамках классической теории тестирования для получения относительно устойчивых характеристик заданий, необходимо иметь минимальную выборку в 200 человек. Другое правило эмпирического определения минимального объема – иметь в 5-10 раз больше испытуемых, чем заданий (Nunnally, 1967).

Второе требование к выборке апробации – ее репрезентативность (представительность). Выборка должна отражать всю генеральную совокупность учащихся, для которых предназначен тест, и при этом в правильных пропорциях.

Большое значение имеет разработка правильных инструкций, которые следует подготовить как для педагога, проводящего апробационное тестирование, так и для испытуемых, выполняющих тест. В инструкции для педагога содержатся рекомендации по подготовке группы учащихся к выполнению теста, примерные обязанности педагога на этапе проведения тестирования, рекомендации по подготовке краткого отчета. В целом, педагогу вовремя проведения апробации необходимо:

- объяснить учащимся, зачем нужен тест, почему они должны приложить максимум усилий для его выполнения;

- медленно, четко прочесть инструкцию;

- дать возможность испытуемым потренироваться, решив самостоятельно задачи-образцы (если такие имеются);

- сообщить о времени выполнения теста, о правилах исправления допущенных ошибок;

- проследить за правильностью заполнения регистрационных бланков;

- следить за порядком и общей обстановкой в аудитории, а также за состоянием испытуемых.

После проведения апробационного тестирования и сбора эмпирических данных начинается этап математико-статистической обработки, которая проводится, как правило, с помощью специального программного обеспечения. Но специалист, проводящий анализ, должен понимать выходные данные программ и уметь интерпретировать результаты.

Процесс научного обоснования качества теста заключается в сборе эмпирических результатов тестирования, их статистической обработке и интерпретации результатов обработки с целью получения параметров качества теста.



Обоснование качества теста в рамках классической теории тестирования

Анализ тестовых заданий

Статистическая обработка результатов тестирования с целью получения характеристик заданий теста в рамках классической теории тестов включает в себя несколько этапов.

1. Формирование матрицы ответов

В результате тестирования мы получаем матрицу индикаторов ответов A=(ani) размерности : n-ая строка этой матрицы (n=1,2,…, N) содержит баллы испытуемого n по всем заданиям теста; i-ый столбец матрицы (i=1,2,…,I) содержит баллы всех испытуемых по i-му заданию теста. Таким образом,

и элемент ani представляет собой балл испытуемого n за выполнение i-го задания теста. Если тест состоит только из дихотомических заданий, то все элементы матрицы A равны 0 или 1. Если в тесте присутствуют политомические задания, то элементы матрицы, соответствующие этим заданиям, имеют значения от 0 до m.

Сумма элементов матрицы A, стоящих в n-ой строке, называется первичным баллом испытуемого n:

, n=1,…,N

Сумма элементов матрицы A, стоящих в i-ом столбце, называется первичным баллом i-го задания:

, i=1,…,I

2. Выбраковка

Перед тем, как перейти к анализу данных по результатам тестирования, проводят выбраковку – удаляют строки и столбцы, состоящие полностью из 0 и 1 , т. е. удаляют задания, которые не смог выполнить никто или, наоборот, выполнили все. Аналогично с испытуемыми – для тех, кто выполнил все задания или не справился ни с одним заданием, истинный балл не может быть определен с помощью данного теста.

3. Упорядочение матрицы ответов

Иногда для улучшения восприятия баллов удобно упорядочить матрицу, т. е. произвести перестановку строк и столбцов, располагая первичные баллы в порядке убывания.

Задание I=10

Испытуемые N=15

1

2

3

4

5

6

7

8

9

10

bn

1

1

1

1

1

1

1

1

0

0

0

7

2

1

1

0

0

0

0

0

0

0

0

2

3

0

0

0

0

0

0

0

1

0

0

1

4

1

1

0

1

1

1

1

1

1

1

9

5

1

0

1

0

1

1

0

0

0

0

4

6

1

1

1

0

0

0

0

0

0

0

3

7

1

1

1

1

0

0

0

0

0

0

4

8

1

1

1

1

0

0

0

0

0

0

4

9

1

1

1

1

1

1

1

1

0

0

8

10

1

1

1

1

1

0

1

0

0

0

6

11

1

0

1

0

0

1

1

0

0

1

5

12

0

0

1

1

1

1

0

0

1

0

5

13

1

0

0

1

1

1

0

0

0

1

5

14

0

0

0

0

1

1

0

0

1

0

3

15

1

1

0

1

1

1

1

0

0

0

6

ci

12

9

9

9

9

9

6

3

3

3

балла

Табл.1

Из за большого объема этот материал размещен на нескольких страницах:
1 2 3