Методические рекомендации по разработке оценочных средств в соответствии с требованиями ФГОС ВО (стр. 3 )

Считается, что разработчики ОП свободны в выборе конкретной структуры паспорта, но, в целом, важно, чтобы в нём содержалась необходимая информация для ответов на следующие вопросы:

-  Каково содержание и сущ­ностные характеристики проявления каждой компетенции выпускника?

-  Как (с помощью какого содержа­ния, образовательных технологий и т. п.) можно её формировать в услови­ях обучения?

-  На каких уровнях должен продемонстрировать обучающийся владение компетенцией и в рамках промежуточных аттестаций и итоговой государственной аттестации?

-  С помощью каких оценочных средств и шкал можно оценивать уровень сформированности компетенции у обучающихся?

При разработке паспортов компетенций необходимо четко помнить, что главной особенностью таких описаний является выражение их на языке профессиональных действий, а не сведение к классической триаде: знать, уметь, владеть. Можно разрабатывать паспорта для кластеров компетенций, но все же лучше детализировать уровневые признаки проявления каждой компетенции. В Методических рекомендациях по разработке рабочих программ учебных дисциплин в соответствии с требованиями ФГОС ВО состав паспорта минимизирован, однако, его можно расширить. Пример возможной расширенной структуры паспорта компетенции приведен ниже.

Структура паспорта компетенции:

1.  Сущностные признаки проявления компетенции.

2.  Место и значимость данной компетенции в совокупном ожидаемом результате образования выпускника вуза по завершении освоения ОП

3.  Кластерная принадлежность компетенции и ее место в случае существования иерархии в кластере.

4.  Дисциплины, модули или междисциплинарные курсы, задействованные для формирования компетенции (с указанием временных периодов).

5.  Методы обучения, необходимые для формирования компетенции.

6.  Измерители, необходимые для оценивания компетенции (кластера компетенций, в который она входит).

7.  Планируемые уровни сформированности компетенции у обучающихся (выпускников) образовательного учреждения ВО.

8.  Общая трудоемкость формирования компетенции у «среднего» обучающихся образовательного учреждения ВО (в часах) на базовом уровне.

9.  Дополнительные трудности в процесс создания таких паспортов вносит необходимость участия многих кафедр, поскольку за формирование компетенций в силу их полидисциплинарного характера отвечает совокупность дисциплин. Поэтому часть информации в паспортах можно предназначить для кластеров компетенций, детализируя по отдельным компетенциям лишь признаки их проявления. Но в этой работе не следует забывать о том, что оценка качества ОП будет важным аспектом комплексной проверки деятельности образовательного учреждения в процессе аккредитации образовательной деятельности, поэтому, возможно, что значительные усилия по паспортизации компетенций вполне оправданы.

1.4. Оценивание в рамках компетентностного подхода

Для реализации компетентностного подхода в обучении необходимо изменить методы и средства оценивания при аттестации обучающихся. Разработка надежных и валидных измерителей для оценивания компетенций требует выполнения ряда шагов:

-  определение профессионально-специализированных компетенций вузовской части ОП с учетом ее профильной направленности;

-  экспертная кластеризация компетенций;

-  построение компетентностной модели подготовки бакалавра или магистра;

-  планирование содержания измерителей;

-  разработка заданий для компетентностных тестов либо других инновационных измерительных средств и их экспертиза;

-  проведение оценочных процедур, сбор эмпирических данных на репрезентативной выборке обучающихся, первичная коррекция содержания и структуры измерителя;

-  проведение факторного анализа эмпирических данных, их статистическая обработка, коррекция состава кластеров по данным факторного анализа;

-  проведение анкетирования работодателей по результатам прохождения практик обучающимися или работы выпускников;

-  оценка прогностической валидности измерителей, их надежности и конструктной валидности с помощью результатов анкетирования, рассматриваемых как внешний критерий для оценки прогностической валидности измерителей;

-  повторная коррекция оценочных средств, их содержания, формы, числа заданий и оценочных рубрик для использования измерителей при аттестации.

Оценочные средства для компетентностного подхода разрабатываются на основе теории педагогических измерений, к ведущим принципам применения которой следует отнести:

-  сочетание количественных и качественных уровней измерения;

-  привлечение психодиагностических методик и специальной теории для оценивания изменений уровня сформированности компетенций;

-  учет совокупности факторов, оказывающих влияние на формирование компетенций, анализ их методами линейного иерархического моделирования;

-  обеспечение высокой надежности (объективности) результатов измерений (максимизация дисперсии наблюдаемых результатов измерения, минимизация дисперсии ошибочных компонентов, систематический контроль внешней дисперсии, привнесенной контекстными факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое влияние);

-  обеспечение высокой конструктной, содержательной и прогностической валидности (обоснованности) результатов измерений;

-  применение методов анализа размерности пространства измерений и использование методов многомерного шкалирования;

-  применение лонгитюдных измерений в аттестационных процессах, переход к режиму мониторинга процесса формирования компетенций;

-  применение различных измерителей (тесты учебных достижений, тесты практических умений, кейсы, портфолио, психологические тесты);

-  использование мета-анализа, факторного анализа и дисперсионного анализа для обработки и интерпретации данных о качестве подготовки обучающихся;

-  сочетание внешних и внутренних экспертиз при аттестации.

2. ОСНОВНЫЕ ПОЛОЖЕНИЯ ТЕОРИИ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ

2.1. Понятийный аппарат теории педагогических измерений

Измерение - это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правилами, по результатам которой могут получаться как количественные, так и качественные оценки. Связь между количественными и качественными оценками устанавливается на основе традиционно сложившегося разделения их на две группы: классифицирующие или сравнительные оценки относят к категории качественных, метрические оценки считаются количественными. Качественные оценки всегда бывают менее точными по сравнению с количественными в силу способов и инструментов, применяемых для их получения.

В эмпирических науках все оцениваемые характеристики носят, в основном, латентный (скрытый) характер, препятствующий непосредственному измерению, в отличие от физических измерений, где присутствуют в большинстве своем вполне реальные объекты. В силу латентности оцениванию подвергаются не сами характеристики, а их эмпирические референты – наблюдаемые признаки характеристик. Выбор таких референтов в социальных науках происходит интуитивно, поэтому их соответствие латентным характеристикам нуждается в тщательном доказательстве, осуществляемом на основе экспертного и статистического анализа эмпирических результатов измерения.

Неизбежная латентность переменных измерения, в роли которых в образовании раньше выступали уровни освоения знаний, умений, навыков, а сейчас – уровни освоения компетенций, приводит к необходимости проверки адекватности полученных оценок концептуальной переменной (переменным) измерения (валидности) и точности (надежности) оценок.

Процесс педагогических измерений состоит из совокупности операций, позволяющих получить количественные или качественные оценки измеряемых характеристик. Правильная организация процесса педагогического измерения достаточно важна, поскольку любые нарушения стандартизированных условий проведения, обработки, анализа и интерпретации результатов измерения снижают обоснованность и точность получаемых оценок. Особенно важно качество получаемых результатов измерений в тех случаях, если речь идет об итоговом контроле, результаты которого связаны с принятием важных административных решений, например, при аттестации выпускников или оценке эффективности деятельности учебных заведений. Тогда объектом измерения становятся знания, умения навыки и компетенции, которые называют обобщающим термином – учебные достижения - и сравнивают с требованиями ФГОС при принятии аттестационных решений.

В рамках компетентностного подхода важнейшее место занимает оценка конструктной валидности, строящаяся на доказательстве адекватности эмпирических референтов концептуально выделенной переменной (переменным) измерения. Таким образом, в практической работе по созданию фондов компетентностных оценочных средств анализ конструктной валидности находит свое отражение в работе по проведению доказательства того, что выбранные тестовые задания позволяют измерить именно те компетенции, которые создатель теста намеревался оценить. Никто не будет сомневаться в том, что набор заданий, в которых требуется перемножить числа, действительно проверяет навыки умножения. Значительно труднее разобраться в том, какую переменную оценивают полидисциплинарные задания, характерные для компетентностных тестов. В последнем случае для выявления конструктной валидности приходится привлекать факторный и корреляционный анализ, оценивать число измеряемых переменных, сопоставлять содержательную трактовку результатов измерения с результатами, полученными по давно существующим и зарекомендовавшим себя оценочным средствам.

Измерительный инструментарий включает два компонента. Один из них - само измеряющее устройство, роль которого при измерениях в большинстве случаев отводится тесту, а второй – шкала для интерпретации результатов измерения. В самом обобщенном виде под тестом можно понимать совокупность контрольных заданий в стандартизированной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих надежные и валидные оценки концептуально выделенной переменной (переменных) измерения. Таким образом, в самом определении теста заложены требования к его качеству, отсутствующие в традиционных оценочных средствах.