Квалиметрия образовательных технологий (стр. 3 )

2.3. Характерной особенностью стандартизации отдельно взятого тестового задания является …

нормализация распределений; определение валидности; расчет надежности.

Рассмотрим проблемную ситуацию: «В процессе собеседования с претендентом на вакантную должность работодатель интересуется … 1) профессиональной квалификацией; 2) владением компетенциями; 3) компетентностью».

Диплом позволяет формально установить наличие профессиональной квалификации. С помощью приложения к диплому можно узнать о результатах освоения различных видов учебной нагрузки. Но лучше предложить выпускнику университета рассказать о конкретных действиях, освоенных в процессе изучения какой-либо дисциплины, так как каждое из них способствует овладению определенной компетенцией как необходимым стандартом поведения. Убедиться в компетентности претендента на вакантную должность, то есть его способности получать необходимые результаты работы1, можно только в течение испытательного срока.

Содержание разрабатываемого на основе проблемной ситуации тестового задания должно представлять собой конкретный пример ее реализации: «Эффективность деятельности заместителя директора предприятия проявляется в его … 1) знаниях и навыках; 2) ценностных установках; 3) психо-физиологии; 4) мотивах». В предложенных вариантах ответа перечислены базовые качества компетентности2, из которых в данном случае необходимо выбрать ценностные установки.

Чтобы определить расхождение медиан статистических распределений результатов репрезентации проблемного и тестового заданий, необходимо осуществить нормализацию, то есть упорядочение вариантов ответов в соответствии с нормальным статистическим распределением. Несмотря на кажущуюся искусственность данной процедуры, она основывается на теории измерения латентных переменных.

Номинальная шкала, которая в нашем случае соответствует совокупности вариантов разрешения ситуации неопределенности, обычно преобразуется в ранговую шкалу, представляющую собой нарастающую последовательность порядковых номеров, которая не зависит от вероятности их выбора. Однако вполне возможно упорядочить варианты ответа таким образом, чтобы с уменьшением вероятности выбора они располагались с обеих сторон от наиболее приоритетного варианта.

Нормализация результатов репрезентации

проблемного задания

Нормализация расположения возможных вариантов ответа на проблемное задание сводится к перемещению на центральное место наиболее вероятного варианта n3. При этом второй по значимости вариант ответа n2 помещается справа от центра распределения, а третий по значимости n1 слева. Если установить место положения эталонной медианы М0 точно посередине второй градации, то справа и слева от нее расположатся равные половины вероятности выбора приоритетного варианта ответа n3. В этом случае смещение медианы статистического распределения результатов репрезентативной экспертизы ДМ1=(n2‒n1)/2=(30‒23)/2=+3,5%.

В процессе нормализации данных апробации тестового задания на репрезентативной выборке студентов на втором месте расположен правильный вариант ответа n2, наиболее популярный дистрактор n4 переместился на третье место, а n3 и n1 – соответственно на первое и четвертое места. Учитывая, что медиана эталонного распределения делит n2 пополам, записываем соотношение для смещения медианы распределения результатов апробации ДМ2=(n4+n1‒n3)/2=+14,0%.

Нормализация результатов репрезентации

тестового задания

Сравнивая статистические распределения результатов репрезентации проблемного задания и составленного на его основе тестового задания, можно определить величину валидности последнего. Валидность тестового задания показывает, в какой степени его выполнение способствует закреплению заинтересованности студента процессом обучения. Валидность рассчитывается, как доверительная вероятность б связанная со статистической значимостью полученного результата р соотношением:

б = 1–р = 1‒|R12|/100

Подставляя в формулу абсолютную величину расхождения медиан R12=ДМ2‒ДМ1=10,5%, получаем 0,90. Это значит, что выполнение тестового задания способствует закреплению заинтересованности студента изучаемой дисциплиной с вероятностью 90%.

Степень стимулирования внутренней мотивации проектной деятельности характеризуется надежностью, то есть возможностью воспроизведения результатов тестирования с помощью репрезентативных выборок, составленных на основе единой процедуры стратификации. В этом случае достаточно установить положение эталонной медианы между второй и третьей градациями ранговой шкалы.

Расчет надежности

Смещения медиан результатов первичной и повторной репрезентации ДМ1=‒6% и ДМ2=‒11%. Расхождение медиан R12=‒5%. Надежность тестового задания, рассчитанная, как и валидность, с помощью соотношения для доверительной вероятности, равна 0,95. Это значит, что стимулирование внутренней мотивации проектной деятельности осуществляется с вероятностью 95%.

Каждое задание теста рубежного контроля должно пройти процедуру стандартизации с целью выявления согласованности рефлексии собственных достижений студента с внутренней мотивацией его проектной деятельности. В результате трудность тестовых заданий попадает в диапазон 0,40÷0,60. Если при этом их валидность превышает 0,90, а надежность 0,95, то выполнение студентом более половины заданий теста рубежного контроля свидетельствует о конструктивной рефлексии, результаты которой должны привести к возникновению внутренней мотивации проектной деятельности.

Тест рубежного контроля №2

Тест содержит 6 заданий, на выполнение которых отводится 3 минуты. Выберете в каждом задании наиболее правильный, по Вашему мнению, вариант ответа и отметьте его любым значком.

1. К конструктивной рефлексии в процессе выполнения теста рубежного контроля не относится
1)	сосредоточенность	2)	пассивность
3)	настойчивость	4)	управление эмоциями
2. Следствием внутренней мотивации является
1)	самостоятельное выполнение проекта	2)	понимание программного материала
3)	успешное выполнение теста	4)	заинтересованность процессом обучения
3. Если последовательность расположения вариантов ответа на проблемное задание 2)→3)→1), то формула смещения медианы
1)	ДM1=(n1+n3/2‒n3/2‒n2)/2	2)	ДM1=(n1+n3‒n2)/2
3)	ДM1=(n1‒n2)/2	4)	ДM1=(n2‒n1)/2
4. В основу нормализации распределения вероятности выбора вариантов ответа положена
1)	математическая статистика	2)	искусственная методика
3)	образовательная квалиметрия	4)	теория измерения латентных переменных
5. Валидность тестового задания характеризует
1)	его согласованность с проблемным заданием	2)	закрепление заинтересованности обучением
3)	конструктивную рефлексию	4)	среднюю трудность
6. Надежность тестового задания при условии его высокой валидности характеризует возможность
1)	повторного тестирования	2)	повышения достоверности
3)	воспроизведения результатов	4)	стимулирования внутренней мотивации

3. Кредитование компетенций

3.1. Система компетентностного образования предполагает …

формулировку целевой функции; определение конструкта; применение закона необходимого разнообразия.

Любая система взаимосвязанных элементов помимо целостности и иерархичности структуры обладает свойствами, не присущими ее отдельным составляющим3. Целевая функция системы отражает характер взаимосвязей между ее элементами. Система компетентностного образования обладает целевой функцией понятийного усвоения информации.

Специфическое свойство, позволяющее реализовывать целевую функцию средствами самой системы, называют конструктом. Для понятийного усвоения информации необходима заинтересованность процессом обучения, рефлексия на собственные достижения и мотивированная проектная деятельность.

Конструктное свойство любой системы подчиняется закону необходимого разнообразия4, который можно сформулировать так: «Система должна обладать разнообразием средств достижения результата превышающим разнообразие возникающих проблем». К примеру, нежелание учиться создает серьезную проблему, разрешению которой способствуют учебные модули, оснащенные проблемными, тестовыми и проектными заданиями.

3.2. Социологическое исследование суждений работодателей о компетенциях проводится на основе …

шкалы предпочтений; кластера предпочтений; диаграммы предпочтений.

Разработка образовательной программы начинается с социологического исследования суждений работодателей о необходимых стандартах поведения, которыми должен овладеть студент. Согласно методу анализа иерархий5, в процессе определения весомости компетенций, используется девятибалльная шкала предпочтений. Если предпочтение нельзя отдать ни одному из двух сравниваемых стандартов поведения, то каждому из них начисляется «1» балл. Следующие две градации шкалы «2» и «3» соответствуют незначительному предпочтению одной компетенции над другой. Значительное предпочтение предполагает возможность использования трех градаций «4», «5» и «6». Явное предпочтение оценивается градациями «7» и «8», а «9» – это абсолютное предпочтение.