Математико-статистическая обработка эмпирических данных (стр. 4 )

2)  95% площади под кривой лежит в пределах двух , откладываемых слева и справа от среднего

.

3) 99,7% площади под кривой лежит в пределах трех влево и вправо от

Что касается нормативно-ориентированного теста, то при его разработке необходимо помнить о том, что кривая распределения индивидуальных баллов, получаемых на репрезентативной выборке, является следствием кривой распределения трудности заданий теста. Этот факт удачно иллюстрируется рис. 5.12.

Для первого распределения слева характерно явное смещение в тесте в сторону легких заданий, что, несомненно, приведет к появлению большого числа завышенных баллов у репрезентативной выборки учеников. Большая часть учеников выполнит почти все задания теста. Второй случай (слева) отражает существенное смещение в сторону трудных заданий при разработке теста, что не может не сказаться на снижении результатов учеников, поэтому распределение индивидуальных баллов имеет явно выраженный всплеск вблизи начала горизонтальной оси. Основная часть учеников выполнит незначительное число наиболее легких заданий теста. В третьем случае задания теста обладают оптимальной трудностью, поскольку распределение имеет вид нормальной кривой. Отсюда автоматически возникает нормальность распределения

индивидуальных баллов репрезентативной выборки учеников, что в свою очередь позволяет считать полученное распределение устойчивым по отношению к генеральной совокупности. Следовательно, именно в третьем случае можно определить репрезентативные нормы выполнения теста.

Таким образом, возникает нетривиальный вывод для тех, кто привык к традиционным контрольным работам, когда результаты по классу считаются вполне достоверными и хорошими, если контрольную работу выполняет основная масса учеников. В тесте все обстоит несколько иначе. Если нормального распределения нет, то

нет никакого основания доверять полученным результатам учеников. Поэтому в профессионально разработанных нормативно-ориентированных тестах типичным является результат, когда приблизительно 70% учеников выполняют правильно от 30 до 70% заданий теста, а наиболее часто встречается результат в 50%.

Восьмой шаг. На следующем шаге оцениваются меры симметрии и островершинности кривых распределений.

Асимметрия. Степень отклонения распределения наблюдаемыхчастот выборки от симметричного распределения, характерного для нормальной кривой, оценивается с помощью асимметрии. Наличие асимметрии легко установить визуально, анализируя полигон частот или гистограмму.

Более тщательный анализ можно провести с помощью обобщенных статистических характеристик, предназначенных для оценки асимметрии в распределении.

На рис. 5.13 представлены кривые распределения с отрицательной, нулевой и положительной асимметрией (слева направо) соответственно

Наиболее удачная формула для подсчета асимметрии имеет вид

Асимметрия = (5.5)

где — индивидуальный балл i-го ученика; — среднее значение баллов по тестируемой группе; — куб стандартного отклонения; N — число учеников. После подстановки данных из рассматриваемого выше примера (табл. 5.3) величина асимметрии будет равна

Интерпретация. При интерпретации полученного значения асимметрии 0,2 необходимо обратить внимание на то, что вклад положительных значений кубов разностей будет больше кубов отрицательных значений, но ненамного, поэтому величина асимметрии получилась положительной и небольшой. Таким образом, асимметрия распределения положительна, если основная часть значений индивидуальных баллов лежит справа от среднего значения, что обычно характерно для излишне легких тестов. Асимметрия распределения баллов отрицательна, если большинство учеников

получили оценки ниже среднего балла. Эффект отрицательной асимметрии встречается в излишне трудных тестах, не сбалансированных правильно по трудности при отборе заданий в тест. В хорошо сбалансированном по трудности тесте, как уже отмечалось ранее, распределение баллов имеет вид нормальной кривой.

Для нормального распределения характерна нулевая асимметрия, что вполне естественно, так как при полной симметрии каждое значение балла, меньшее X уравновешивается другим симметричным, большим, чем X.

Эксцесс. С помощью эксцесса можно получить представление о том, являются ли полигон частот или гистограмма островершинными или плоский. На рис. 5.14 изображены три кривые, отличающиеся по эксцессу.

Первая кривая (А) — островершинная, имеет явно выраженный положительный эксцесс, вторая кривая (В) — средневершинная, имеет нулевой эксцесс, характерный для нормальной кривой, третья кривая (С) — плосковершинная, кривые такого типа имеют эксцесс меньше нуля.

Обычно эксцесс вычисляется по формуле

Эксцесс = (5.6)

где все обозначения остались прежними.

Для рассматриваемого примера (см. табл. 5.6) эксцесс будет

Интерпретация. При интерпретации полученных оценок эксцесса необходимо помнить о том, что понятие «эксцесс» применимо лишь к унимодальным распределениям. Более того, интерпретация результата, указывающего на крутизну кривой распределения,

возможна в сравнительно небольшой окрестности моды и теряет свой смысл по мере удаления вдоль кривой.

В том случае, когда распределение данных бимодально (имеет две моды), необходимо говорить об эксцессе в окрестности каждой моды. Бимодальная конфигурация указывает на то, что по результатам выполнения теста выборка учеников разделилась на две группы. Одна группа справилась с большинством легких, а другая с большинством трудных заданий теста. Один из наиболее важных выводов в случае бимодального распределения нацелен на коррекцию трудности заданий теста. По-видимому, в тесте недостаточно представлены задания средней трудности, позволяющие выровнять распределение баллов, приблизив его к нормальной кривой.

Девятый шаг. Девятый шаг предназначен для вычисления показателей связи между результатами учеников по отдельным заданиям теста. При оценке качества заданий важно понять, существует ли тенденция, когда одни и те же ученики добиваются успеха в

каком-либо задании теста. Либо, наоборот, такой тенденции, указывающей на связь результатов, нет, и состав учеников, добивающихся успеха, полностью меняется при переходе от одного задания к другому в тесте.

Очевидно, для ответа на поставленные вопросы необходимо провести анализ данных, собрав их в таблицу. Однако такой визуальный анализ данных — дело достаточно утомительное, а для больших выборок и просто невозможное. Поэтому обычно ответ на вопрос о существовании связи между двумя наборами данных получают

с помощью корреляции.

Корреляция. Корреляция в широком смысле слова означает связь между явлениями и процессами, Однако для исследования связи установить ее наличие недостаточно, необходимо также правильно выбрать ее вид и форму показателя, предназначенного для оценки меры связи между явлениями. Связь между двумя наборами данных Х и У можно выразить графически с помощью диаграммы рассеяния (рис. 5.15).

Рис. 5.15. Диаграмма рассеяния, показывающая связь результатов тестирования группы школьников по математике (X) с результатами тестирования по физике ( У). Диаграмма указывает на наличие слабой положительной связи, однако не позволяет ввести обобщенную ее меру

Примеры различного вида диаграмм, позволяющих графически интерпретировать характер связи между наборами данных X и У, приведены на рис. 5.16.

Ковариация. Без сомнения, необходимо поставить вопрос о введении определенной меры для выражения степени соответствия между наборами данных Х и У. Точнее сказать, той меры, которая позволит выявить степень соответствия больших значений из множества X большим же значением из множества У (прямая связь) либо, наоборот, больших значений из X малым из У (обратная связь). Подобная мера связи называется ковариацией.

Для выявления смысла понятия «ковариация» удобно рассмотреть результаты выполнения группой испытуемых двух тестов Х и У, образующих два множества.

Пусть результаты по первому тесту X— это множество . (/ = 1, 2,..., N/), а по второму тесту ( =1,2,..., N),. Тогда для установления меры связи между результатами тестирования необходимо сравнить положение каждого тестируемого в выборках относительно данных по тесту Х и по тесту У. Обычно это положение устанавливают по отношению к среднему, тогда степень соответствия результатов /-го испытуемого в первом (X) и во втором (У) тестированиях будет проявляться в величине и знаке произведения отклонений , где и — результаты /-го испытуемого в первом и во втором тестированиях соответственно (= 1, 2,..., N); , — средние значения результатов по тестам; N — число учеников тестируемой группы