МЕТОДИКИ ОЦЕНИВАНИЯ КОМПЕТЕНЦИЙ ПО РЕЗУЛЬТАТАМ ТЕСТИРОВАНИЯ
, ,
Саратовский социально-экономический институт ФГБОУ ВПО «Российский экономический университет имени »
*****@***ru
Повышение качества высшего образования является одной из ключевых проблем российской высшей школы. Переход на новые федеральные государственные образовательные стандарты (ФГОС), основанные на компетентностном подходе к оценке качества обучения, требует применения количественных методик оценки уровня формируемых компетенций [6, 114] [7, 26]. К сожалению ни новые ФГОС, ни имеющиеся профессиональные стандарты не содержат измеряемых критериев и объективных методик оценки качества подготовки специалистов на основе компетентностного подхода [2, 45]. В стандартах предлагается вузам ориентироваться на профессиональные стандарты качества подготовки специалистов, разработанные работодателями. Однако нынешняя ситуация с профессиональными стандартами говорит о том, что вузам необходимо самостоятельно разрабатывать оценочные средства для контроля качества освоения основных образовательных программ как в процессе обучения, так и по его окончании [1, 81].
В педагогической науке предложено множество содержательных идей, касающихся самого понятия компетенции и объективных методов оценки компетентности [4, 148][10, 80][12, 148]. Однако проблема измерения уровня компетенций, формируемых в процессе обучения, до сих пор не имеет общепризнанного решения ни в нашей стране, ни за рубежом. Одной из причин этого является отсутствие математических моделей для описания сложного и многогранного понятия компетенции, а также методологии измерения уровня компетенции студентов. Это приводит к разрозненности предлагаемых методик и невозможности их системного применения.
Целью работы является рассмотрение и анализ подходов, позволяющих количественно оценить уровень формируемых компетенций с использованием тестирования и методов теории педагогических измерений.
В работах целого ряда авторов [3, 34][5, 40][8, 197][9, 35][11, 14][13, 31], а также в международных исследованиях PISA, TIMSS и др. развивается подход, позволяющий измерять компетенции в широком диапазоне с помощью многоуровневых тестовых заданий. Первый уровень заданий предназначен для проверки знания студента. Для решения задач следующих уровней студенту требуются не только знания, но и умения их использовать. Задания последних уровней представляются кейсами и ситуационными заданиями, выполнение которых предполагает применение системных знаний и комплексных умений, а также самостоятельное конструирование способа решения. Однако реализация этого подхода требует разработки совершенно нового поколения тестовых материалов, что является сложной задачей, требующей значительных усилий для своего решения.
Компетенция это способность применять полученные знания, умения и практический опыт для успешной трудовой деятельности». Опыт применения тестов показывает, что оценка уровня компетенции студента только по сложности решенных им заданий не отражает всего разнообразия ситуаций. Например, талантливому студенту, прибывшему из глубинки, не хватает знаний для решения сложных заданий, но получив их, он займет достойное место. Студент, «натасканный» репетитором, неплохо справляется с заданиями средней сложности, но это его потолок.
Для адекватной оценки уровня компетенции мы предлагаем использовать существующие тестовые измерительные материалы, но учитывать не только уровень сложности выполненных заданий, но и степень их нестандартности. Для оценки готовности студента решать практические задачи предлагается классифицировать задания по их практической полезности. При решении различных заданий студенту приходится использовать знания различных разделов дисциплины, следовательно, по совокупности решенных заданий можно судить о целостности системы знаний студента.
Таким образом, компетенция рассматривается как многомерный объект, характеристики которого доступны для объективной оценки средствами педагогических измерений. Для количественной оценки отдельных характеристик и обеспечения их согласованности предлагается модифицировать модель Раша, добавив в нее характеристики нестандартности и практической значимости тестовых заданий, а также целостности профиля знаний. Для каждой такой характеристики строится своя модель Раша, с помощью которой будет отдельно оцениваться умение выполнять задания: трудные, нестандартные и необходимые в профессиональной деятельности. Т. е. по результатам одного теста испытуемый будет получать три оценки. В качестве примера применения предлагаемого подхода приведем результаты оценки по трем характеристикам и варианты интерпретации результатов тестирования по дисциплине «Информатика».
Тесты для этой дисциплины были сформированы в соответствии с требованиями модели Раша. Каждое задание в тесте получило оценку по трем аспектам. Трудность задания определена из статистики решаемости данного задания. Нестандартность и практическая значимость каждого задания оценивалась экспертно. В выборку студентов включены результаты тестирования более 200 студентов.
На рисунке показаны усредненные по данной выборке зависимости трудности, нестандартности и практической значимости решаемых заданий от уровня подготовленности студентов, вычисленной с помощью классической однопараметрической модели Раша.
Характеристики решенных заданий в зависимости от уровня подготовленности студентов
Из рисунка видно, что измеренные характеристики отражают разные аспекты компетенции студентов. На графиках можно условно выделить три области. В диапазоне уровней подготовленности от -2.5 до -0.5 логита можно отметить, что уровень знаний студентов достаточно низкий, однако умение решать практически значимые и нестандартные задачи у этих студентов практически такое же, как у студентов со средним уровнем подготовки (от -0.5 до + 1.0 логита). В области высоких уровней подготовки (выше 1.5 логита) наблюдается корреляция между умением решать трудные, нестандартные и практически значимые задачи.
Итоговая оценка, характеризующая уровень прогнозируемой компетенции испытуемого, должна выводиться на основе анализа математической модели, описывающей взаимосвязь результатов выполнения тестовых заданий и реальной компетентности студента, проявленной им в последующем обучении, или в своей профессиональной деятельности.
Нестандартность и практическая значимость каждого задания в тесте, в отличие от уровня его трудности, может оцениваться экспертно. Если при этом экспертами выступают потенциальные работодатели, предлагаемый подход может стать одним из дополнительных механизмов взаимодействия вузов с работодателями.
Еще один подход к оценке уровня формируемой компетенции, представляюшийся перспективным, заключается в анализе траектории получения испытуемым конечного результата при выполнении задания и сравнении этой траектории с эталонными, которые демонстрируют при выполнении данного задания люди с известным уровнем компетентности. Наиболее подходят для этой цели тестовые задания с выбором нескольких правильных ответов, а также задания на соответствия и на упорядочивание [14, 49].
Проведенный анализ показывает, что использование методов тестирования и статистических и математических методов обработки с использованием предлагаемых подходов позволит решить проблему объективной оценки компетентности обучающихся и выпускников с требуемой точностью и достоверностью.
Работа поддержана грантом РФФИ 14-06-00339.
СПИСОК ЛИТЕРАТУРЫ
1. , Перова системы комбинированного управления формированием компетенций студентов технического вуза // Системы управления и информационные технологии. 2012. №3. С. 81-86.
2. , Безруков образовательные стандарты и Федеральный закон «О техническом регулировании» // Стандарты и качество. 2009. № 9. С. 44-45.
3. , , Каюкова модель тестирования для измерения уровня формируемых компетенций // Междисциплинарные исследования в области математического моделирования и информатики: Материалы 2-й научно-практической internet-конференции. отв. ред. Ю. C. Нагорнов. Ульяновск: SIMJET, 2013. С. 34-40.
4. , , Носова для анализа качества образовательного процесса по результатам тестирования // Вестник Саратовского государственного социально-экономического университета. 2010. №5. С. 148-151.
5. , , Носова результатов ЕГЭ и уровня освоения математики в высшем учебном заведении // Стандарты и мониторинг в образовании. 2010. № 6. С. 40-43.
6. , Соколова компьютерного тестирования как элемент системы поддержки принятия решений в образовательной деятельности // Интеграция образования. 2008. № 4. С. 114‑117.
7. , , Каюкова использования результатов компьютерного тестирования в системах поддержки принятия решений // Интеграция образования. 2009. № 3. С. 26‑29.
8. , , Каюкова моделей для анализа качества образовательного процесса на основе технологий компьютерного тестирования // Вестник Саратовского государственного социально-экономического университета. 2009. № 04. С. 197‑200.
9. Елисеев индивидуальных свойств личности в студенческой среде на основе модели Раша // Стандарты и мониторинг в образовании. 2009. № 3. С. 35-38.
10. Елисеев оценки уровня компетенций студента // Информатика и образование. 2012. № 4. С. 80-85.
11. , Челышкова компетентности менеджеров // Высшее образование сегодня. 2013. № 4. С. 14-19.
12. Каюкова оценки и прогнозирования уровня формируемых компетенций // Вестник Саратовского государственного социально-экономического университета. 2012. №4. С. 148-151.
13. Киселева результатов обучения студентов по итогам ФЭПО: компетентностный подход // Оценка компетенций и результатов обучения студентов в соответствии с требованиями ФГОС: материалы III Всероссийской науч.-практ. конференции. М. 2012. С. 31-35.
14. Рыбанов процесса формирования ответов на задания с выбором нескольких правильных ответов // Педагогические измерения. 2012. № 3. С. 49-59.
