Согласование содержания и формирование двух множеств критериев различной направленности дает возможность воспользоваться корреляционным анализом и рассчитать внутреннюю конкордацию суждений отдельно взятого респондента. При условии, конечно, что участник анкетирования не оценит все критерии пятью баллами в стремлении подтвердить свой экспертный статус. В этом случае конкордация автоматически окажется равной единице, что не соответствует реальной ситуации.
Возникшая проблема легко разрешается с помощью включения в анкету пары ошибочных критериев, которые любой адекватно мыслящий респондент оценит низкими баллами. Например, «Тьютор разрабатывает индивидуальный учебный план студента» и «Функции преподавателя при управляемом самостоятельном обучении выполняет тьютор». Ясно, что индивидуальный план может быть разработан только совместно студентом и тьютором, а функции преподавателя тьютору не свойственны, скорее функции консультанта. В результате адекватное суждение респондента должно быть выражено низкой оценкой.
7.3. При проведении квалиметрического анкетирования особую роль играет …
формулировка корреляционных пар критериев; внутренняя согласованность суждений респондентов; использование обратной оценочной шкалы.Для выявления корреляционных пар критериев необходимо проанализировать содержание каждого из них. Представьте себе открытое занятие, на котором опытный преподаватель предложил студентам проблемное задание. После обсуждения возникшей проблемы преподаватель осуществил рубежный тестовый контроль, а при проверке выполнения проекта оказалось, что с ним самостоятельно справились около трех четвертей студентов. По окончании занятия проверяющие познакомились с рабочей программой дисциплины, однако конспекта именно этого занятия не обнаружили. Каждый из проверяющих заполнил следующую анкету.
АНКЕТА
Уважаемый коллега! Просим Вас оценить справедливость предложенных критериев с помощью пятибалльной шкалы: 1 – ошибочно; 2 – скорее ошибочно, чем верно; 3 – затрудняюсь ответить; 4 – скорее верно, чем ошибочно; 5 – верно.
№ | Критерий | Балл |
1 | Использование тестов достижений в процессе обучения | 5 |
2 | Наличие рабочей программы учебной дисциплины | 4 |
3 | Самостоятельное выполнение студентами проектов | 4 |
4 | Владение преподавателем проектировочными умениями | 4 |
5 | Использование проблемно-проектного метода обучения | 5 |
6 | Наличие сертифицированных диагностических материалов | 2 |
7 | Объективная оценка понятийного усвоения информации | 5 |
8 | Внутренняя мотивация проектной деятельности студентов | 5 |
9 | Практическое применение изученного материала | 5 |
10 | Возможность измерения компетентности студентов | 2 |
В квалиметрическую анкету внесены пять корреляционных пар критериев. Проведение преподавателем на занятии рубежного тестового контроля указывает на использование им тестов достижений, а значит и на возможность объективно оценить понятийное усвоение программного материала (№7 и №1). Владение преподавателем проектировочными умениями подтверждается наличием рабочей программы (№4 и №2). Внутренняя мотивация студентов проявляется в самостоятельном выполнении проектов (№8 и №3). Использование в процессе обучения проблемного метода в сочетании с методом проектов гарантирует возможность практического применения изученного материала (№5 и №9). Пятая корреляционная пара ошибочных критериев предполагает их негативную оценку. В практике высшего образования отсутствуют сертифицированные диагностические материалы, как и измерители компетентности студентов (№6 и №10).
Поскольку стоящие на первом месте в корреляционных парах номера критериев обладают большей степенью обобщенности, сгруппируем оценки эксперта с учетом концептуальной и прикладной направленности.
Корреляционная таблица результатов анкетирования
Корреляционная пара | Балл, Хi | Средний балл, <X> | Отклонение от сред-него, xi | Балл, Yi | Средний балл, <Y> | Отклонение от сред-него, yi |
7-1 | 5 | 4,2 | +0,8 | 5 | 4,0 | +1,0 |
4-2 | 4 | ‒0,2 | 4 | 0 | ||
8-3 | 5 | +0,8 | 4 | 0 | ||
5-9 | 5 | +0,8 | 5 | +1,0 | ||
6-10 | 2 | ‒2,2 | 2 | ‒2,0 |
По данным корреляционной таблицы явно завышена оценка внутренней мотивации (№8), не согласующаяся с 75-типроцентным самостоятельным выполнением студентами проектного задания (№3). Согласно формуле коэффициента корреляции внутренняя согласованность суждений респондента превосходит нормативный экспертный уровень (0,60): rxy=(Уxiyi)/√(Уxi2)(Уyi2)=0,94.
На основе результатов заполнения квалиметрической анкеты можно оценить эффективность процесса обучения. Но для этого необходимо баллы, выставленные за ошибочные утверждения, преобразовать с помощью обратной шкалы, в которой 1 балл превращается в 5, а 2 балла – в 4. Низкие оценки справедливости ошибочных утверждений эквивалентны высоким оценкам соответствующих правильных формулировок. В результате суммирования баллов (41) и деления их на максимально возможную сумму (50) получаем показатель степени соответствия результатов квалиметрического анкетирования внутренне согласованным суждениям эксперта 0,82.
Тест рубежного контроля №7
Тест содержит 6 заданий, на выполнение которых отводится 6 минут. Выберете в каждом задании наиболее правильный, по Вашему мнению, вариант ответа и отметьте его любым значком.
1. Весомость экспертных суждений не зависит | |||
1) | от стажа работы | 2) | от возраста |
3) | от образования | 4) | от цитируемости |
2. Наиболее уязвимым свойством тестирования является | |||
1) | секретность ключей | 2) | соблюдение процедуры |
3) | формализация содержания | 4) | неискушенность испытуемых |
3. Корреляционные пары критериев не должны | |||
1) | согласовываться по содержанию | 2) | различаться направленностью |
3) | формулироваться в виде вопросов | 4) | допускать ошибочные толкования |
При выполнении следующих заданий необходимо использовать содержание квалиметрической анкеты.
№ | Критерий | Балл | |
1 | Образовательный процесс должен формировать компетентность обучающихся | 4 | |
2 | Рейтинг определяется в соответствии с нормальным статистическим распределением | 2 | |
3 | Устойчивость образовательной системы достигается за счет конструктного свойства | 5 | |
4 | Ситуации неопределенности обеспечивают достижение целевой функции системы образования | 5 | |
5 | Для начисления пакетов рейтинговых баллов используются ситуации неопределенности | 4 | |
6 | Сумма тестовых и проблемных пакетов рейтинговых баллов равна суммарному объему проектных пакетов | 2 | |
4. Корреляционные пары образуют следующие утверждения: | |||
1) | 1-5; 6-2; 3-4 | 2) | 1-3; 4-5; 6-2 |
3) | 1-4; 5-3; 2-6 | 4) | 1-5; 2-6; 3-4 |
5. Внутренняя согласованность суждений респондента | |||
1) | 1,10 | 2) | 1,00 |
3) | 0,97 | 4) | 0,60 |
6. Данный респондент обладает | |||
1) | весомостью суждений | 2) | конкордацией |
3) | эталонным уровнем | 4) | экспертным статусом |
Учебное издание
КВАЛИМЕТРИЯ ОБРАЗОВАТЕЛЬНЫХ
ТЕХНОЛОГИЙ
Учебное пособие
________________________________________
Печать цифровая. Бумага офсетная. Гарнитура «Arial».
Формат 60Ч84/16. Объем 3,1 уч.-изд.-л.
Заказ № 000. Тираж 500 экз.
Отпечатано в КМЦ «КОПИЦЕНТР»
344006, г. Ростов-на-Дону,
__________________________________________________
1 Whiddett S., Holliford S. The Competencies Handbook. CIPD, 1999.
2 Spencer L. M., Spencer S. petence at work: Models for Superior Performance. John Wiley & Sons, Ins., 1993.
3 Bertalanffy L. V. General System Theory. N. Y., 1962.
4 Ashby W. R. An introduction to cybernetics. ENG, 1957.
5 Saaty T. L. The Hierarch on: A Dictionary of Hierarchies. Pittsburgh, Pennsylvania, 1992.
6 Tryon R. C. Cluster analysis. London: Ann Arbor Edwards Bros, 1939.
7 Russell J. D. Modular Instruction. Minneapolis, 1974.
8 Glaser R. Instructional technology and the measurement of learning outcomes: Some questions. American Psychologist. 1963. № 18.
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 6 7 8 9 10 |
