Рецензия на методику ПИТ СПЧ (стр. 4 )

4.2. Выборки и апробации (объем и состав)

При разработке методики в период с 1996 по 2003 год было обследовано более 10000 детей. Около 1200 испытуемых (учеников петербуржских и челябинских школ) участвовали в пилотажных исследованиях. Данные более 4000 детей, проживавших в Челябинской и Курганской областях, были использованы для построения норм (примерно по 1000 человек для каждого возрастного периода). В руководстве также приводятся сведения о выборках, на которых определялась надежность и валидность батареи: 296 учеников 5-го класса (корреляции с успеваемостью и экспертной оценкой учителей), 111 детей (корреляции с показателями WISC), 153 ученика 5-6 классов (определение надежности-эквивалентности при повторном тестировании через 8 месяцев) и т. д.

Помимо возраста и, в некоторых случаях, места проживания, состав выборок по важным социально-демографическим переменным (полу, социальному положению, типу школы и т. п.) в руководстве не уточняется.

4.3. Надежность

Для оценки надежности ПИТ СПЧ использовались три подхода: 1) устанавливались корреляции между половинами теста, состоящими из четных и нечетных заданий (основа для вычисления надежности-согласованности); 2) вычислялись коэффициенты надежности-устойчивости-эквивалентности; 3) определялись коэффициенты дискриминативности.

Надежность-устойчивость-эквивалентность ПИТ СПЧ была проверена в ходе повторного тестирования 153 учащихся пятых и шестых классов через 8 месяцев с использованием параллельных форм теста. Коэффициенты корреляции Пирсона для интегрального показателя IQ составил 0,89, а для отдельных субтестов варьировал от 0,53 до 0,74 (см. Таблицу 3, столбец 1). Следует отметить, что надежность-стабильность WISC-IV при тестировании через месяц составляет 0,97 для интегрального балла IQ и находится в диапазон 0,80-0,89 для субтестов. Не следует, однако, забывать, что WISC-IV содержит больше заданий, чем ПИТ СПЧ. Если объединить две формы теста и использовать формулу Спирмена-Брауна, то оценки надежности ПИТ СПЧ приблизятся к надежности WISC-IV (см. Таблица 3, столбец 2). Если учесть более длительный период времени между тестированиями и использование параллельных форм, то это очень неплохой результат. Дополнительно было бы интересно узнать также и то, насколько увеличиваются баллы по тесту после второго предъявления (так называемые «эффекты практики»), однако длительный период между предъявлениями зашумляет эти эффекты влиянием интеллектуального развития.

Надежность-согласованность теста оценивалась при помощи корреляции баллов, набранных испытуемыми (294 школьника) по нечетным и четным заданиям в каждом субтесте. Коэффициенты корреляции Пирсона между половинными суммарными показателями приведены в Таблице 3 (столбец 3). Если применить к этим коэффициентам формулу Спирмена-Брауна, то оценки надежности для интегрального показателя IQ станут равными 0,91, а для отдельных субтестов будут варьировать в пределах от 0,71 до 0,86. Необходимо заметить, однако, что надежность-согласованность обычно не вычисляется для тестов на скорость, поскольку ограничения по времени искусственно увеличивают корреляции между четными и нечетными половинами теста [2, 4]. Трудно судить, насколько ограничения по времени влияли на результаты по ПИТ СПЧ, так как данные о количестве решенных заданий в руководстве не приводятся.

Показатели надежности теста необходимы не только для общей характеристики его качества, но и несут важную информацию для интерпретации баллов. На основании надежности рассчитываются стандартные ошибки измерения, при помощи которых строят доверительные интервалы для истинного балла испытуемого. В Таблице 3 (столбец 5) приводятся стандартные ошибки измерения, подсчитанные исходя из надежности-устойчивости-эквивалентности. Как видим, даже такая очевидно высокая надежность, как 0,89, дает довольно большую стандартную ошибку в 5 баллов (при стандартном отклонении в 15 баллов)

Наконец, для теста рассчитывался показатель дискриминативности по формуле Фергюсона, (способность дифференцировать обследуемых относительно «максимального» и «минимального» результатов). Коэффициент дискриминативности для теста в целом оказался равен 0,98, а для отдельных субтестов варьировал от 0,96 до 0,99 на выборке в 380 школьников (см. Таблицу 3, столбец 6).

Таблица 3. Различные показатели надежности ПИТ СПЧ

Шкалы	(1)	(2)	(3)	(4)	(5)	(6)
1. Осведомленность	0,70	0,82	0,58	0,73	1,64	0,97
2. Скрытые фигуры	0,64	0,78	0,57	0,73	1,80	0,97
3. Пропущенные слова	0,64	0,78	0,65	0,79	1,80	0,98
4. Арифметические задачи	0,59	0,74	0,57	0,73	1,92	0,97
5. Понятливость	0,68	0,81	0,61	0,76	1,70	0,98
6. Исключение изображений	0,53	0,69	0,55	0,71	2,06	0,96
7. Аналогии	0,57	0,73	0,63	0,77	1,97	0,98
8. Числовые ряды	0,53	0,69	0,68	0,81	2,06	0,99
9. Умозаключения	0,74	0,85	0,76	0,86	1,53	0,99
10. Геометрическое сложение	0,60	0,75	0,66	0,80	1,90	0,96
11. Заучивание слов	0,64	0,78	0,55	0,71	1,80	0,99
Интегральный показатель IQ	0,89	0,94	0,84	0,91	4,97	0,98

Примечание: 1 – надежность-устойчивость-эквивалентность при тестировании паралелльными формами через 8 месяцев; 2 – оценка надежности теста при объединении двух форм; 3 – корреляции между половинами теста; 4 – оценка надежности-согласованности по формуле Спирмена-Брауна; 5 – стандартная ошибка измерения; 6 – дискриминативность по Фергюсону.

Таким образом, можно сделать вывод о том, надежность ПИТ СПЧ в целом находится в среднем диапазоне. При увеличении количества заданий в тесте она приближается к надежности такого авторитетного инструмента в области диагностики интеллекта, как WISC-IV. Вполне возможно, что различия между ними обусловлены более низкой мотивацией отечественных школьников и отсутствием у них опыта работы с тестами.

4.4. Валидность

Для определения критериальной валидности на выборке из 296 учащихся 5-х классов сопоставлялись показатели по ПИТ СПЧ со средним баллом успеваемости по пяти учебным предметам (математика, литература, история, биология, география) и экспертной оценкой способностей к этим предметам. Коэффициент корреляции интегрального показателя IQ со средним баллом успеваемости оказался равным 0,74, а с усредненным рангом учащегося – -0,73. Для отдельных субтестов эти коэффициенты варьируют от 0,34 до 0,58 и от -0,33 до -0,58 соответственно. Такие результаты совпадают с данными о связи между интегральным показателем IQ в тестах WISC-IV и K-ABC с тестами достижений. Следует отметить, однако, что в упомянутых тестах были предприняты целенаправленные попытки устранить из заданий материал, непосредственно связанный с содержанием учебных предметов. Так, например, в WISC-IV субтесты на общую осведомленность и решение арифметических задач перестали входить в базовый набор.

О конструктной валидности теста свидетельствует существенный рост практически всех показателей по субтестам при изменении возраста. Кроме того, интегральный показатель IQ коррелирует с общeй оценкой IQ по тесту Д. Векслера (WISC-R) на уровне 0,73 (данные по 111 учащимся 5 и 6 классов). Это означает, что порядка 53% дисперсии этих переменных является общей. Отмечу, что по данным [2] корреляция интегрального показателя WISC-III и WISC-IV составляет 0,89 (79% общей дисперсии), так что в плане повышения конструктной валидности ПИТ ПЧ есть еще куда стремиться. Данные о связях между различными группами субтестов ПИТ СПЧ и теста интеллекта Д. Векслера приведены в Таблице 4. Обращает на себя внимание тот факт, что наиболее сильные связи графических, числовых и практических субтестов ПИТ СПЧ, а также общего показателя IQ наблюдаются с фактором вербального интеллекта WISC. Отсюда можно сделать вывод о том, что ПИТ СПЧ в гораздо большей мере ориентирован на измерение вербальніх способностей.

Таблица 4. Корреляции между показателями по тестам WISC и ПИТ СПЧ

Уровень интеллекта по WISС	Показатели по группам субтестов ПИТ СПЧ
Вербальные	Графические	Числовые	Теорети- ческие	Практи- ческие	Общий IQ
Вербальный	0,71	0,58	0,65	0,71	0,74	0,76
Действия	0,46	0,55	0,45	0,59	0,61	0,58
Общий	0,65	0,61	0,56	0,66	0,70	0,73

Одним из важных свидетельств конструктной валидности теста являются результаты разведывательного и конфирматорного факторного анализа (см., например, [6]). Руководство ПИТ СПЧ не упоминает о факторизации субтестов, но приведенная в приложении П.17 корреляционная матрица[1] позволяет провести факторный анализ без обращения к исходным данным. Корреляционная матрица и необходимые факторизации команды на языке SPSS приводятся в