Оценка профессиональной компетенции (стр. 8 )

Дилемма также может быть разрешена путем ограниченного привлечения консультантов для оценивания собственных «учеников». В порядке предупреждения опасности необъективной оценки из-за личностных отношений между оценщиком и кандидатом, обсуждается вопрос освобождения оценщиков от потенциально рискованных, множественных ролей (Van der Vleuten et al. 2010). В принятии решений высокой важности, основанных на совокупности данных, необходимы процедуры для предупреждения уклона в оценочном процессе, вызванного множественными ролями оценивающих. Пример подобной процедуры описан Дриссеном (Driessen et al. 2005), который настаивает, что кураторам не следует быть формальными оценщиками кандидатов, которых они должны поддерживать и направлять, поскольку они слишком тесно связаны друг с другом. В рамках данного подхода кураторы пишут отзывы подопечным кандидатам перед тем, как кандидаты представляют свое портфолио оценочной комиссии, но кандидаты полностью ответственны за это представление. Это является частью конструктивистских взглядов на учебу и оценку, где акцент делается на активном участии и контроле обучающегося (Birenbaum 2003; Segers 2004). Консультанты оцениваемых преподавателей могут предоставить дополнительную тематическую информацию как члены комиссии оценщиков, которые являются компетентными в различных аспектах вопросов обучения.

45.5.3 Качество в оценке профессиональной компетенции

В данном разделе мы выработаем методики мониторинга и поддержки качества оценки, а также дилемм, свойственных этому предприятию.

Ранее мы обсудили различные психометрические критерии и пришли к заключению, что суждения оценивающих более достоверны, когда оценивающие согласованно используют тщательно установленные критерии,  показатели качества и правила подсчета (Moss 1994). Это объясняет, почему подготовка оценивающих может иметь положительное влияние на согласованное применение критериев, стандартов и правил подсчета (Day and Sulsky 1995 ; Stamoulis and Hauenstein 1993). Необходимость четко определенной структуры оценивания возникает из вопроса, какие могут быть выведены критерии, стандарты и системы подсчета. Структура включает в себя описание компонентов подлежащей оценке профессиональной компетенции, таких, как хирургические/процедурные навыки и уважительное отношение к пациентам и иные аспекты профессиональной компетенции врачей (Messick 1989). Если попросить оценщиков обосновать их суждения (Baume et al. 2004), это может помочь доработать описание компонентов, критериев, стандартов и правил подсчета. Это согласуется с нашими прежними аргументами, что некоторые оценщики могут привнести свои дополнительные представления в процесс оценивания, которые едва ли согласуются с правилами подсчета и могут привнести дополнительную обоснованность в оценку. Как следствие, может быть принят более действенный подход к определению и использованию компонентов оценки, предоставляя тем самым больше перспектив того, что является более существенным в некоторых сферах профессиональной компетенции и придает больше веса суждениям экспертов (Moss 1994). При таком подходе результаты оценивания по-прежнему могут быть использованы для объяснения концепций профессиональной компетенции и наоборот. Помимо различных аспектов конструктивной валидности, иные аспекты качества оценки могут быть рассмотрены через призму психометрических подходов к определению качества оценки – например, подходы, основанные на методологиях укрепления доверия в определении качества (Tigelaar et al. 2005 ; Driessen et al. 2005). Вместо того, чтобы сосредоточиться на стандартизации процедур подсчета и запрете влияния специфических систем координат оценщиков, данные методологии могут поддержать уровень качества подсчета оценки путем стимулирования оценщиков объяснять свои суждения, а также документирования процесса оценивания, чтобы они могли быть доступны кандидатам, делая, таким образом, процесс оценивания более значимым для поддержки обучения и давая возможность другим проверить результаты оценивания.

45.6 Перспективы на будущее

Глава заканчивается некоторым количеством перспектив на будущее, объединенных под следующими заголовками: поддержка оценочного суждения, разработка плана развития оценочных программ и получение четкой картины лежащих в основе механизмов, которые могут объяснить влияние оценки на учебный процесс.

45.6.1 Поддержка экспертного суждения

Как было сказано ранее, профессиональное экспертное суждение является настоятельной необходимостью, особенно в вопросах достоверной оценки в оценочной программе. Также мы обсудили, что психометрические подходы к качеству оценки должны быть дополнены другими подходами, такими, как интеграция оценки в педагогическом проектировании и оценочные методологии, основанные на данных, полученных из авторитетных исследований. Нам необходимо больше знать о ходе мысли оценщиков, чтобы оградить данные методики от упрощения. Хотя недавние исследования, касающиеся логики процесса оценивания, дали нам некоторое понимание характеристик данных процессов и практического применения для поддержания процесса подсчета оценки (Schutz and Moss 2004 ; Govaerts et al. 2007 , 2011 ; Bakker et al. 2011), существует необходимость дальнейших исследований того, как экспертное суждение может быть поддержано продуктивным способом. Баланс может быть найден между несколькими подходами, сосредоточенными на стандартизации процедур оценивания и подходов, из чего последует более открытая процедура с расширенной документацией процесса оценочного суждения. Это подходит не только для одиночных оценочных решений, но даже скорее для решений особой важности касательно отбора и сертификации кандидатов в оценочных программах. Поскольку решениям особой важности необходимо быть достоверными и аргументированными, нужно проводить больше исследований по апробации релевантных доказательств, собранных в оценочной программе в открытой, ясной и показательной форме. Поскольку психометрическая объективация и стандартизация ведут к упрощению оценочного процесса (Van der Vleuten et al. 1991), мы можем обратиться к авторитетным методологиям исследования, а также и к исследованиям, основанным на естествознании (Klein 2008) и юриспруденции (Simon 2004) при принятии решений. Исследования, основанные на естествознании, показали, что люди редко используют систематические или алгоритмические стратегии (Kahneman et al. 1982), но прибегают к прошлому опыту и интуиции (Dijksterhuis et al. 2006). Юридические исследования обратились к способу принятия решений, основанному на «балансе возможностей» или  «вне справедливых сомнений» (Simon 2004), демонстрируя, что логические построения оценивающих меняются по мере взвешивания очевидного до тех пор, пока их рассуждения не приводят, убедительно и связно, к конкретному направлению действия. Данные теории могут доказать свою значимость для оценочных программ без взваливания тяжкого бремени на оценивающих. 

45.6.2 Развитие принципов оценочных программ

В качестве иллюстрации мы привели оценочную программу выпускного курса педагогического вуза. Иные оценочные программы были описаны в литературе (например, Dannefer et al. 2007 ; Driessen et al. 2012). Различия между программами частично связаны с тем, что известно о профессиональной компетенции в специфической сфере в терминах структурных определений и методов, которые, при обдуманном применении, могут быть полезными при включении в оценочную программу с целью получения достоверной картины компетенции кандидата и управления его учебным процессом. Нам гораздо больше известно о профессиональной компетенции в области медицинского образования и о развитии экспертизы в отдельных сферах медицинской экспертизы, чем во многих других областях. Другая причина, по которой оценочные программы могут принимать различные формы, определяются профессиональной средой. Поскольку фактические потребности для профессиональной практики широко варьируются в зависимости от обстоятельств, согласимся с Кейном (Kane 1992), что потребность в реальной практике, с которой придется столкнуться будущим профессионалам, должна всегда учитываться при разработке оценочной программы. Оценочная программа, рассчитанная на один год, может включать в себя меньшее количество решений высокой важности. Как следствие, способы вычисления уровня качества оценивания могут быть проще. Существуют также иные аспекты, способные объяснить разницу между оценочными программами и тем, как они устроены, но ключевым моментом должно быть предназначение программы.  Мы уже упоминали, что, хотя многие цели часто бывают связаны с отбором, диагнозом и сертификацией, обычно существует одна цель, на которой делается акцент (Hickey et al. 2006). Мы также утверждаем, что пригодность оценочной программы для определенной цели должна быть точкой отсчета при определении качества (Dijkstra et al. 2010). Предполагается, что принципы построения оценочных программ лучше всего сформулированы в общих чертах в порядке обеспечения пригодности в различных сферах.  Своих недавних исследованиях Дейкстра и пр. (Dijkstra et al. 2012) провели совместную работу с некоторым числом экспертов по оцениванию для проверки соответствия цели принципов для создания оценочных программ. Итогом их исследования явился ряд всесторонних принципов, которые не привязаны к специальной сфере или подходам в образовании. Среди данных принципов выделяются обобщенные руководящие принципы, сосредоточенные на важности фундаментальных решений в оценочных программах путем  сбора, объединения и оценивания информации и совершение конкретных действий. Другие принципы указывают пути поддержки оценочной программы и продуктивного использования документов для корректирования программы. Принципы сформулированы эклектично, что означает их опору на профессиональное суждение для надлежащего применения в особой сфере. Хотя дальнейший анализ оценочных программ в различных сферах необходим для подтверждения данных принципов, соответствующие принципы в сочетании тем, что уже известно об оценочных программах, могут помочь разработчикам оценочных программ в различных сферах профессионального образования и профессиональной подготовки проследить сложную динамику программных оценок в их собственной сфере деятельности.

45.6.3 Механизмы, положенные в основу воздействия оценки на обучение

Вдохновленные тем, как оценка влияет на учебу, мы утверждали, что оценка должна использоваться в целях инспектирования и поддержки процесса обучения. Тем не менее, мы также упомянули необходимость расширения знаний о механизмах, лежащих в основе воздействия оценки на обучение. Ранее в этой главе мы упомянули некоторые работы, в которых приводятся значимые опорные точки для дальнейших исследований с учетом данного воздействия. Сильерс и пр. (Cilliers et al. 2010 , 2012) недавно включились в данную область исследований с изучением данных механизмов в сфере итоговой оценки. Они исследовали механизмы, положенные в основу воздействия оценки на учебу, путем тщательного изучения опросов. Выявленные при анализе результатов механизмы являются способами, которыми студенты определяют воздействие различных методов оценивания в учебной программе, их собственной реакцией в ходе учебы, их восприятием действенных и контекстуальных факторов. Задача требует, при приближении процедуры оценивания, выработки системы оценки и сигналов, ожидаемых от оценивающих или от оценочных задач, которые являются определяющими воздействие факторами, и которые информировали бы студентов, по каким материалам следует заниматься. Когнитивная и мета-когнитивная регулирующая деятельность появились как следствие оценки обучения (Cilliers et al. 2012). Полученные данные могут помочь в расширении нашего понимания механизмов оценки, которые стимулируют учебную деятельность. Исследования, проведенные, например, Сильерсом (Cilliers et al. 2010 , 2012) и Беннеттом (Bennett 2011), дали импульс к дальнейшему развитию теоретических моделей, которые объясняют это воздействие. Данный тип исследований должен быть продолжен для понимания механизмов оценивания профессиональной компетенции и их воздействия на то, как будущие профессионалы будут учиться и повышать свою профессиональную компетенцию.