Оценка профессиональной компетенции (стр. 4 )

Что касается более прямых измерений для уровня «делает», таких как портфолио, известно, что эксперты стремятся последовательно интерпретировать материалы из разных источников.(Moss 1994 ),хотя показано, что относительно хорошая надежность вполне достижима (Driessen et al.  2007 ). Bakker et al. ( 2011 ) показали, что четкая и простая процедура проставления баллов, с глобальными критериями и обсуждениями оценщиков  является эффективной при условии, что последние хорошо подготовлены. Оцениваемая компетенция была стимулирующей и способствующей самостоятельному обучению студентов, работающих совместно над сложными заданиями. Процедура оценивания основывалась на концептуальной рамке (системе понятий, концептуальной основе) и в критерии оценки были включены вопросы понимания ситуации, которые определяли учителей как компетентных, когда они обеспечивали учащимся ровно столько поддержки, сколько тем было необходимо, чтобы перейти к следующему уровню обучения, то есть дать возможность учащимся сделать шаг, который  они не смогли бы  успешно сделать без поддержки учителя. (cf.  Vygotsky  1978 ).

Экспертов обучали интерпретировать видео фрагменты работы учителя в аутентичной среде и предоставлять подтверждение и аргументы для своих оценок в соответствии с концептуальной рамкой. Было достигнуто приемлемое для высокого уровня эксперта согласие и эксперты были вполне компетентны в использовании процедуры оценивания. Однако, прежде чем эксперты научились находить в видео фрагментах подтверждение уровня компетенции и привыкли ко всем шагам оценочной процедуры потребовалось значительное количество времени. В современных концепциях надежности, чтобы придать точность оценке портфолио используются элементы количественного исследования.(Driessen et al.2005) Процессуальные меры обеспечивают подтверждение правильности решений. Это определенное количество циклов обратной связи до принятия решения, участие независимого комитета, количество экспертов, участвующих в оценке портфолио, объем подтверждающих аргументов для принятия решения и т. д. Чем больше таких мер вовлечено, тем надежнее  принятые решения. (Van der Vleuten et al.2010)

45.3.2.3. Результаты относительно образовательных последствий.

Широко распространенное представление о том, что важно учитывать образовательные последствия оценивания, вероятно, можно приписать понятию валидности по Meссику (1989), где  валидность считается не только свойством теста, но где значение интерпретации баллов также должно быть валидным. Включая учет последствий в свое определение валидности, Мессик предложил интегрированную рамку валидности, в которой присутствуют вопросы содержания, валидность критерия и валидность концепции c учетом значения ценности и социальных последствий для определения влияния оценки на преподавание и обучение. Это влияние часто называется «консеквициальная валидность»(валидность последствий), которая также охватывает неблагоприятные стороны оценки, такие как использование учащимися нежелательных стратегий обучения. Негативные стороны часто приписывались тестам знаний, нацеленным на уровень «знает» по Миллеру, потому что, как полагали, они способствуют обучению с заучиванием наизусть и нацелены на воспроизведение знаний без понимания, отдавая предпочтение поверхностному, а не глубокому подходу к обучению (Biggs  1970 ,  1976 ; Entwistle and Entwistle 1970 )  или  стилю обучения, ориентированному на воспроизведение  (Vermunt  1996 )  вместо стиля обучения, ориентированного на смысл. Известно, что отрицательные эффекты усиливаются, когда тесты  неразумно распределяются по учебному плану или пересекаются.

Студенты могут очень напряженно  заниматься непосредственно перед тестом и успешно воспроизвести приобретенные знания во время теста, чтобы забыть их также быстро, как они были приобретены. Моделирование ситуаций может дать смысловую информацию а также повысить качество обучения кандидатов (Van der Vleuten and Swanson  1990 ), но внимание к формату ответов (the attending response formats) может оказать отрицательное воздействие как было показано в исследовании (Van Luijk et al. 1990 ), где студенты запоминали ответы и в своем желании продемонстрировать свои знания выдавали ответы по списку, даже когда это было неприемлемо для данной ситуации. Разработчики оценки сразу это поняли и переключились на глобальную оценочную шкалу, добавив в нее критерии учета понимания ситуации.

Для уровня «делает» подтверждение этого влияния на обучение ограничено. Оценивание на рабочем месте используется для оценки, а также для ее формативного потенциала. (Van der Vleuten  et  al. 2010).  Обеспечение обратной связи от студентов, в частности, придает формативную ценность оцениванию на рабочем месте, так как это помогает учащимся направить обучение на получение желаемых результатов. Миллер и Арчер ( 2010 ) пришли к выводу, что всесторонняя обратная связь могла бы улучшить  качество выполнения (performance), хотя личностные факторы, контекст обратной связи и ее облегчение имели значительное влияние на реакцию обучаемых на эту обратную связь. Обратная связь вероятнее всего привнесет изменения в качество работы в том случае, если она точна и заслуживает доверия или когда предоставляется подготовка, чтобы помочь кандидатам определить свои сильные и слабые стороны. Однако, что касается непосредственного наблюдения за процессуальными навыками  и обсуждением, основанным на ситуациях, Миллер и Арчер не нашли подтверждения улучшения качества выполнения, сделав вывод, что необходимо проводить дальнейшие исследования влияния  оценивания на рабочем месте на профессиональную подготовку и работу.

В исследовании было изучено влияние косвенных методов оценивания на уровне «делает» (Driessen et al. 2007), показавшее, что для того, чтобы портфолио успешно поддерживало процесс обучения и оценивания, важно, чтобы были четко сформулированы цели и процедуры и чтобы портфолио вписывались в учебные планы. Предпосылкой эффективной поддержки и обучения является поддержка со стороны наставников. Однако, МакКолгананд и Блэквуд (2009), обнаружили значительные различия в видах портфолио для продолжения профессионального развития педагогов и огромные различия в терминологии, встречающейся в исследованиях портфолио. Очевидно, что относительно учительских портфолио и их применении мнения отличаются, что усложняет сравнение различных исследований по этому вопросу. Сравнение портфолио также сложно, потому что многие исследования сообщают о мнениях участников, не говоря при этом об измеряемых факторах, влияющих на профессиональное обучение.

В последние годы, проводилось много исследований по методам оценивания и процессам, способствующим самоуправляемому, ориентированному на смысл обучению. Предполагается, что формативное (образующее) оценивание оказывает особенно положительное влияние на обучение студентов. Блэк и Вильям (1998)проанализировали результаты более 250 исследований по формативной оценке и пришли к выводу, что использование результатов оценивания для определения целей обучения являлось главной характеристикой (Black and Wiliam 1998 p.140), то есть данные формативной оценки используется, чтобы дать обучаемым понимание того, на каком уровне обучения они находятся, куда им нужно двигаться и что они должны сделать, чтобы придти к этой цели. (Black and Wiliam  2009). Вильям и Томпсон (2007) предложили пять основных стратегий для формативной оценки в аудиторных условиях: (a) выяснение намерений в обучении и выяснение критериев успешности, (b) создание эффективных  аудиторных дискуссий, вопросов и обучающих заданий, которые выявляют  наличие знаний, (c) обеспечение обратной связи, которая движет обучаемых вперед, (d) активизация студентов в качестве хозяев своего обучения и (e) активизация обучаемых как источников инструкций для остальных студентов. Однако, реализация новых методов оценивания не приносит автоматически  желаемых результатов в обучении студентов, и различные факторы являются посредниками в воздействии новой обучающей среды на обучение студентов (e. g. Struyven et al. 2006 ). Также, значительную трудность вызывает изменение подхода студентов к процессу обучения в желаемом направлении на непрерывной, постоянной основе(e. g., Gijbels et al. 2008). Броккэмп и Ван Хут-Волтерс  (2007) разработали теоретическую модель факторов, которые кажутся уместными для адаптации стратегий обучения, которые используются студентами при подготовке к тестам. Эта модель может расширить наше понимание различных условий и их взаимовлияния в этом процессе. Основанная на идеях адаптации стратегии (Schunn and Reder  1998 ;  Luwel  et  al.  2005 )  данная модель  полагается на анализ преподавательских требований к тесту, восприятие студентами этих требований, персональных целей обучения студентов  и способностей студентов адаптироваться и реализовать стратегии. Рамка признает, что адаптация стратегии включает в себя  адаптацию внешних характеристик задания, таких как среда в которой выполняется задание и внутренние процессы выполнения задания, такие как  способность студентов адаптировать обучающие стратегии, свое восприятие требований к заданию и планирование выполнения задания. В обзоре исследований по адаптации стратегий подготовки к тесту были обнаружены разные результаты, которые отличались в разных дисциплинах,  в экспериментальной и аутентичной структуре исследования.  (Broekkamp  and  Van  Hout-Wolters 2007). Это подчеркивает уместность этой модели и необходимость систематически исследовать факторы, которые влияют на адаптацию стратегии при подготовке к тесту как в экспериментальных, так и в аутентичных условиях.

45.3.3. Выводы

Как мы показали, исследование качества методов для оценки профессиональной компетенции дало исследователям и разработчикам оценки новое понимание природы профессиональной компетенции и ее оценивания. Мы делаем обобщения по ряду измерений, предложенных Сегерсом (2004) (табл.45.1)

Первое измерение относится к переходу от  тестов вне контекста, единичных тестов к аутентичным, данным в контексте, основанным на понимании того, что компетенция не определяется общими, стабильными и независимыми характеристиками, но зависит от специфического контекста, что означает необходимость учитывать этот контекст при оценивании (Birenbaum 2003). Чтобы получить богатую и многогранную картину компетентности кандидата для надежных и универсальных выводов  понадобились большая выборка и  информация из различных источников. Второе измерение описывает методы обучения и профессиональное совершенствование относящееся к процессу обучения в течение длительного времени.(Аткинс1995; Эраут1994) Оно включает в себя обсуждение профилей компетентности, которые выявляют общие закономерности при создании обучающих программ на основе использования большого количества методов, исследуемых в течение длительного времени. Существует предположение о том, что при оценивании обучающихся с различными уровнями знаний использование моделирования может не дать достоверные результаты и при этом затрудняется получение полной контекстной информации. Проверочные тесты должны соответствовать уровню когнитивных функций, которые представляют конкретный порог профессиональной компетентности, (Ван Дер Влютен и др. , 2010), в то время как система баллов поможет выявить уровень от новичка до продвинутого уровня. Оценочные задания и разделения обучаемых на различные категории исходя из их профессионального status quo должны обеспечить создание полноценной программы, делая упор на индивидуальный и продуманный метод.
Третье направление фокусирует внимание на разносторонний уровень компетенции, включая проверку знаний в конкретных ситуациях в отличие от общих знаний и когнитивных способностей.
Поскольку система оценивания эволюционирует в процесс, при котором кандидаты демонстрируют свои знания в моделируемых или реальных ситуациях, то оценивание основывается на том, что испытуемые выявляют свой потенциал и конкретные результаты в своей профессиональной деятельности. Это означает, что эксперты оценивания должны быть нацелены на определенные степени ожидаемой реакции испытуемых в определенных ситуациях. Это делает обязательным включение реальных ситуаций в процесс оценивания при разработке критериев и подготовки к работе с этими критериями. С другой стороны это приводит к признанию того факта, что профессиональные эксперты способны оценить такие знания и в стандартных ситуациях.