Квалиметрия образовательных технологий (стр. 2 )

rxy=(Уxiyi)/√(Уxi2)(Уyi2),

где У – суммирование по номерам вариантов ответа «i»; xi=Xi-<X> – отклонение средневзвешенной вероятности выбора i-го варианта от среднего значения; yi=Yi-<Y> – отклонение вероятности выбора одним из экспертов i-го варианта от среднего значения; √ – обозначение квадратного корня. В качестве примера рассмотрим результаты репрезентативной экспертизы третьего эксперта.

Корреляционная таблица эксперта №3

Вариант ответа	Вероятность выбора, Хi	Среднее значение, <X>	Отклонение от среднего, xi	Вероятность выбора, Yi	Среднее значение, <Y>	Отклонение от среднего, yi
1)	42,42	33,00	+9,42	33	33,30	–0,30
2)	29,72	–3,28	42	+8,70
3)	26,86	–6,14	25	–8,30

Подставляя численные значения из таблицы в формулу коэффициента корреляции, находим конкордацию суждений эксперта №3 равную 0,14. Поскольку имеет смысл принимать во внимание экспертные суждения, конкордация которых не меньше 0,60, суждения третьего эксперта не учитываются.

Уточненный экспертный бланк

№ эксперта	Вероятность выбора варианта ответа (%)	Конкордация экспертных суждений	Нормированная конкордация
1)	2)	3)
1	46	20	34	0,74	0,20
2	45	32	23	0,97	0,27
3	33	42	25	0,14
4	46	34	20	0,92	0,25
5	40	30	30	0,98	0,27
(СВ)i	43,65	29,24	26,11

Уточненная трудность проблемного задания оказалась равной 0,44, что указывает на возможность его использования для стимулирования заинтересованности процессом обучения. Поскольку средняя вероятность выбора одного из трех вариантов ответа 0,33, трудность проблемного задания должна статистически значимо превосходить среднее значение на 5%, но не превышать значение, при котором усредненная вероятность выбора альтернативных вариантов ответа окажется меньше 0,28. Следовательно, трудность проблемного задания должна располагается в диапазоне вероятности от 0,38 до 0,44.

Тест рубежного контроля №1

Тест содержит 6 заданий, на выполнение которых отводится 6 минут. Выберете в каждом задании наиболее правильный, по Вашему мнению, вариант ответа и отметьте его любым значком.

1. На лекции возникает диалог между преподавателем и студентами в процессе анализа
1)	интересного случая	2)	проблемной ситуации
3)	концептуального вопроса	4)	научного парадокса
2. В процессе диалога с преподавателем студент представляет свое суждение в форме
1)	эссе	2)	доклада
3)	реферата	4)	тезисов
3. Весомость суждений эксперта на уровне 0,60 можно рассматривать в качестве
1)	критерия	2)	эталона
3)	норматива	4)	индикатора
4. Точность репрезентативной экспертизы достигается с помощью
1)	стратификации	2)	генеральной совокупности
3)	выборочной совокупности	4)	конкордации
5. В результате нормирования конкордаций четырех экспертов правильным оказался результат эксперта номер
1)	0,65 → 0,18	2)	0,81 → 0,24
3)	0,98 → 0,27	4)	1,00 → 0,31
6. Минимально допустимая вероятность выбора одного из вариантов ответа на проблемное задание
1)	0,28	2)	0,25
3)	0,18	4)	0,13

2. Стандартизация тестового задания

2.1. Результат выполнения теста рубежного контроля является показателем …

рефлексии собственных достижений; закрепления заинтересованности обучением; стимулирования внутренней мотивации.

Успешное тестирование демонстрирует конструктивную рефлексию студента на собственные учебные достижения, к которой следует отнести настойчивость при выполнении тестовых заданий и умение преодолевать затруднения эмоционального порядка. После выполнения студентом теста рубежного контроля становится ясно, заинтересован ли он в получении образования, а поскольку тест включает в себя задания средней трудности, его выполнение позволяет судить об уровне понимания студентом программного материала. Успешное прохождение процедуры тестирования приводит к возникновению желания обдумать усвоенную информацию и применить ее при выполнении проекта.

2.2. Для осуществления стандартизации образовательной системы или ее отдельного элемента необходимо использовать …

нормальное статистическое распределение; метод расхождения медиан; мониторинг.

В качестве эталона вероятностного процесса можно использовать нормальное статистическое распределение ошибок измерений, характерной особенностью которого является совпадение мер центральной тенденции: моды, медианы, среднего арифметического значения. Для сравнения любого реального распределения с эталоном удобнее всего выбрать медиану, которая делит результаты измерений пополам.

Смещение медианы Мi реального распределения относительно эталона М0, в качестве которого рассматривается медиана нормального статистического распределения, характеризует процент результатов измерений, оказавшихся между медианами:

ДМi = (n+ ‒ n‒)/2,

где ДМi – смещение медианы; n+ и n‒ – проценты результатов измерений, расположенных справа и слева от медианы М0.

Нормальное статистическое распределение

Смещение медианы

Представьте себе, что участник игры «Кто хочет стать миллионером?» обратился за помощью к зрителям, каждый из которых проголосовал за один из четырех вариантов ответа на тестовое задание. Количества поданных голосов были преобразованы в проценты: 1) 17%; 2) 32%; 3) 26%; 4) 25%. Если считать, что медиана нормального статистического распределения располагается между вторым и третьим вариантами ответа, то смещение медианы ДМ1=(n4+n3–n2‒n1)/2=+1%. Это значит, что статистическое распределение ответов зрителей смещено в сторону вариантов с бульшими номерами.

Если необходимо определить расхождение медиан двух реальных распределений, то следует воспользоваться соотношением:

Rij = ДМj  ‒ ДМi,

где Rij – процент результатов измерений, расположенных между медианами Мi и Мj; ДМi и ДМj – смещения медиан реальных распределений относительно эталона.

Рассмотрим в качестве примера стандартизации образовательной системы мониторинг учебных достижений студентов, предполагающий сравнение результатов освоения примыкающих друг к другу модулей. Учитывая максимальное количество начисляемых рейтинговых баллов, рассчитываются относительные достижения (ОД) студентов, частота регистрации которых (М1 и М2) выражена в процентах.

Таблица мониторинга

Рейтинг	ОД	М1	ДМ1	М2	ДМ2	R12
0	0,00	0	+29	0	+32	+3
4,5	0.16	0	0
7,5	0,27	2	0
9,0	0,32	5	3
12,0	0,43	8	7
13,5	0,49	6	8
14.2	0,51	10	11
16,5	0,60	12	10
18,7	0,68	11	12
21,0	0,76	23	21
23,2	0,84	18	24
27,7	1,00	5	4

Согласно данным таблицы мониторинга, смещения медиан результатов освоения модулей ДМ1=(79–21)/2=+29% и ДМ2=(82–18)/2=+32%. Расхождение медиан R12=+3%, что указывает на совпадение рассматриваемых распределений на уровне статистической значимости 0,03. При расхождении медиан не более, чем на ±5%, можно констатировать эффективность образовательной системы.