Квалиметрия образовательных технологий (стр. 1 )

МИНИСТЕРСТВО ТРАНСПОРТА РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«ГОСУДАРСТВЕННЫЙ МОРСКОЙ УНИВЕРСИТЕТ

имени адмирала Ф. Ф. УШАКОВА»

С. А. САФОНЦЕВ, Н. Ю. САФОНЦЕВА

КВАЛИМЕТРИЯ

ОБРАЗОВАТЕЛЬНЫХ

ТЕХНОЛОГИЙ

Учебное пособие

Ростов-на-Дону

2014

УДК 378.146

ББК 74.202.4

С 21

Рецензенты:

, доктор педагогических наук, профессор

, доктор педагогических наук, профессор

,

С21        Квалиметрия образовательных технологий: Учебное пособие. – Ростов н/Д: Дониздат, 2014. – 50 с.

ISBN: 978-586216-312-4

Квалиметрия позволяет определить степень соответствия полученного результата целевой функции образовательной технологии, то есть количественно оценить ее эффективность. В качестве конкретных примеров рассматриваются семь учебных модулей, посвященных технологиям компетентностного образования.

Адресовано магистрантам, аспирантам, преподавателям и специалистам в области образовательной квалиметрии.

ISBN 978-586216-312-4

  УДК 378.146

ББК 74.202.4

г , , 2014

  г С  Дониздат 2014

Краткое содержание

В современных условиях противопоставления традиционного образования знаний, умений и навыков компетентностно-ориентированному образованию заинтересованности, реф-лексии и мотивации особую роль играет квалиметрия как средство оценки эффективности образовательных технологий. Данное пособие посвящено технологиям, изучаемым в рамках дисциплин «Измерение латентных переменных в образовательном процессе», «Кластерное моделирование учебного процесса» и «Квалиметрия образовательного процесса». Помимо названия каждой из семи технологий в скобках приводится целевая функция образовательной подсистемы. в качестве которой можно рассматривать учебный модуль.

1. Репрезентативная экспертиза проблемного задания. (Стимулирование заинтересованности процессом обучения.)

2. Стандартизация тестового задания. (Выявление согласованности рефлексии собственных достижений и внутренней мотивации проектной деятельности.)

3. Кредитование компетенций. (Определение количества конкретных действий по овладению необходимыми стандартами поведения.)

4. Модульное структурирование учебной дисциплины. (Отказ от условия предшествования.)

5. Пакетирование рейтинговых баллов. (Способ измерения компетентности.)

6. Эффективность образовательных технологий. (Сравнение полученного результата с целевой функцией.)

7. Квалиметрическое анкетирование. (Определение внутренней согласованности суждений экспертов.)

1. Репрезентативная экспертиза проблемного задания

1.1. Традиционный процесс обучения становится компетентностно-ориентированным, если заменить …

факты – проблемами; преподавателя – тьютором; монолог – диалогом.

Преподаватель, излагающий факты в режиме монолога, не способен осуществить компетентностное образование. Предоставление образовательной услуги предполагает, что консультант-наставник в процессе диалога со студентами анализирует различные варианты разрешения проблемных ситуаций, и в результате возникает заинтересованность процессом обучения.

1.2. Разрабатывая проблемное задание, необходимо контролировать его трудность с помощью …

репрезентативной выборки; экспертной группы; репрезентативной экспертизы.

Трудность проблемного задания – это вероятность выбора приоритетного варианта ответа по результатам апробации на репрезентативной выборке. Рассмотрим процедуру стратификации генеральной совокупности студентов университета, позволяющую сформировать представительную выборку.

Предположим, что в университете обучаются 47% мужчин и 53% женщин; 74% живут в городах, 26% ‒ в сельской местности; доходы семей 8% студентов высокие, 76% – средние, 16% – низкие. Вычислим комбинированные весомости страт, то есть групп объектов, объединяющих в себе свойства нескольких показателей, относящихся к различным признакам. Например, комбинированная весомость страта городских мужчин с высокими доходами равна произведению весомостей перечисленных показателей относительно соответствующих признаков: 0,74·0,47·0,08=0,03.

В стратификационной таблице указаны целочисленные значения результатов умножения комбинированных весомостей на предполагаемый объем выборки в 200 единиц отбора.

Стратификационная таблица

Показатели	Высокие доходы	Средние доходы	Низкие доходы	Всего
М	Ж	М	Ж	М	Ж
Город	0,03 (6)	0,03 (6)	0,27 (54)	0,30 (60)	0,06 (11)	0,06 (13)	150
Село	0,01 (2)	0,01 (2)	0,09 (19)	0,10 (21)	0,02 (4)	0,02 (4)	52
Всего	8	8	73	81	15	17	202

Предложим участникам репрезентативной выборки определить приоритетный вариант ответа на проблемное задание: «Публичное выступление с докладом на конференции или защите диссертации должно представлять собой … 1) оглашение заранее написанного текста; 2) произнесение заученной речи; 3) свободное изложение собственного мнения». Подсчитав количество голосов, поданных за каждый из вариантов ответа (87; 61; 54), выразим соответствующие вероятности выбора в процентах: 1) 43%; 2) 30%; 3) 27%. Следовательно, трудность проблемного задания равна 0,43.

Возможен другой способ определения трудности проблемного задания с помощью группы экспертов, весомость суждений каждого из которых определяется с помощью квалификационной таблицы.

Квалификационная таблица

№	Признак или его показатель	Важность признака	Выраженность показателя	Баллы
1	Высшее образование	25
1.1	Бакалавр	0,4	10
1.2	Специалист	0,8	20
1.3	Магистр	1,0	25
2	Ученая степень	30
2.1	Кандидат наук	0,5	15
2.2	Доктор наук	1,0	30
3	Индекс цитирования	30
3.1	1÷2	0,3	9
3.2	3÷4	0,6	18
3.3	Свыше 4	1,0	30
4	Стаж работы	15
4.1	1÷5 лет	0,4	6
4.2	6÷10 лет	0,8	12
4.3	Свыше 10 лет	1,0	15

Например, кандидат наук с высшим образованием на уровне специалитета, проработав в университете семь лет, обладает индексом цитирования Хирша равным четырем, то есть четыре его публикации цитировались в информационно-аналитической системе Российского индекса научного цитирования (РИНЦ) четыре и более раз. Суммируя выделенные жирным шрифтом баллы в квалификационной таблице, находим весомость суждений эксперта равную 0,65. Квалифицированный профессионал приобретает экспертный статус при условии, что весомость его суждений превышает 0,60.

Чтобы обеспечить объективность оценки трудности проблемного задания, эксперты должны действовать от имени генеральной совокупности студентов университета, осуществляя, таким образом, репрезентативную экспертизу. Вклад каждого из экспертов в совокупные суждения экспертной группы определяется с помощью процедуры нормирования. Например, если весомости суждений экспертов 0,83; 0,68; 0,61; 0,64; 0,74, то необходимо каждую из них разделить на сумму равную 3,50. Затем рассчитывается средневзвешенная (СВ) вероятность выбора каждого из вариантов ответа. Например: (СВ)1=0,24·46+0,19·45+0,17·33+0,18·49+0,21·40=42,42%.

Экспертный бланк

№ эксперта	Вероятность выбора варианта ответа (%)	Весомость экспертных суждений	Нормированная весомость
1)	2)	3)
1	46	20	34	0,83	0,24
2	45	32	23	0,68	0,19
3	33	42	25	0,61	0,17
4	49	30	21	0,64	0,18
5	40	30	30	0,74	0,21
(СВ)i	42,42	29,72	26,86

1.3. Использование процедуры конкордации в процессе репрезентативной экспертизы проблемного задания обеспечивает необходимую …

согласованность экспертных суждений; точность репрезентативной экспертизы; трудность проблемного задания.

Процедура конкордации позволяет определить степень согласованности суждений эксперта с совокупными суждениями экспертной группы. Количественно оценить конкордацию можно с помощью коэффициента линейной корреляции: