Высшее образование в Европе Том XXVII, №4, 2002

Высшее образование в Европе Том XXVII, №4, 2002

НЕКОТОРЫЕ ВОПРОСЫ МЕТОДИКИ ПОДГОТОВКИ РЕЙТИНГОВ – РЕЙТИНГИ НЕМЕЦКИХ УНИВЕРСИТЕТОВ, ПОДГОТОВЛЕННЫЕ СНЕ

ГЕРО ФЕДЕРКАЙЛЬ

Рейтинг является в первую очередь средством обеспечения информационной прозрачности высшего образования. Для этого необходимо при подготовке рейтингов следовать определенным методологическим стандартам. В статье содержится описание подхода, применяемого СНЕ к рейтингам немецких университетов.

ВВЕДЕНИЕ

Оценка качества – один из важнейших вопросов высшего образования, как с точки зрения науки, так и с точки зрения политики в этой области. Необходимость оценки качества станет особенно очевидной, если вспомнить, что

-  -  значительно ужесточилась конкуренция среди университетов как на внутригосударственном, так и на международном уровне, а также

-  -  тенденция к диверсификации привела к возникновению исключительно широкого и разнообразного спектра предлагаемых курсов, программ и дипломов опять-таки как внутри каждой страны, так и на международном уровне. В Германии, например, существует около 9000 программ высшего образования.

Рейтинги и табели о рангах помогут неподготовленному обывателю продраться через эти «образовательные джунгли». Рейтинги – инструмент накопления информации и оценки качества университетов, отдельных программ, преподавательской и исследовательской деятельности. Они ориентированы на различные группы потребителей: на выпускников средних школ, желающих продолжить образование; на студентов, решивших поменять специальность или вуз; на преподавателей и администраторов, стремящихся яснее осознать свои сильные и слабые стороны. В настоящее время в Европе публикуются многочисленные университетские рейтинги, подготовленные по различной методике и предназначенные разным группам потребителей. Качество этих рейтингов, тоже, увы, колеблется в широких пределах.

Для того чтобы как можно более полно удовлетворять потребности и ожидания потребителей, необходима научно обоснованная методика подготовки рейтингов, а также абсолютная надежность и достоверность данных, на основе которых готовится рейтинг.

РЕЙТИНГИ НЕМЕЦКИХ УНИВЕРСИТЕТОВ, ПОДГОТОВЛЕННЫЕ СНЕ

В Германии идея рейтингов и других методов и процедур оценки качества возникла довольно поздно по сравнению с другими странами. В течение многих десятилетий в немецкой системе высшего образования культивировался и насаждался миф о равном качестве всех университетов Германии. Именно этим, а также выраженным стремлением к университетской автономии можно объяснить отставание Германии в вопросах оценки качества. В то время как другие страны уже давно превратились в «оценивающие» (Neave, 1988), Германия все еще оставалась в этом плане белым пятном (Cave et al., 1997). До начала 80-х годов большинство лидеров в области высшего образования активно сопротивлялись идеям конкуренции и оценки качества. Однако в период нехватки ресурсов вопросы надежности, конкуренции и управления качеством привлекли внимание общественности. Примерно тогда же общество пришло к осознанию неравного качества немецких университетов, которое изначально обсуждалось с точки зрения «профилей». Только в 1989 г. еженедельный журнал «Шпигель» поставил прямой вопрос: «Какой университет самый лучший?» В 90-х годах были опубликованы первые рейтинги вузов, но только по отдельным предметам.

В 1998 г. после двухлетнего подготовительного периода Центр по развитию высшего образования (СНЕ) совместно с национальным фондом оценки товаров и услуг «Shiftung Watest» провел первые рейтинги вузов. С 1999 г. рейтинги публикуются совместно с еженедельным журналом «Штерн». Оба партнера четко разделили между собой сферы влияния: СНЕ отвечает за концепцию и данные, а «Штерн» занимается маркетингом и распространением.

Центр по развитию высшего образования был создан в мае 1994 г. по решению Конференции немецких ректоров совместно с фондом Бертельсманна. В задачи Центра входит начать и способствовать реформам немецких вузов. СНЕ определяет себя как «мозговой ресурс» и консультативную группу по вопросам высшего образования. Как некоммерческая организация, СНЕ формулирует внепартийные политические цели, разрабатывает интегрированные концепции и в тесном сотрудничестве с академическими и правительственными органами исследует, инициируя ряд экспериментальных проектов, возможные пути будущего развития. Одной из основополагающих целей СНЕ является обеспечение прозрачности и открытости образовательного пространства Германии.

В связи с ограниченностью ресурсов рейтинги СНЕ не покрывают все предметы. В них входит около тридцати наук, объединенных в группы. Сведения обновляются каждые три года. В 1998 г. освещалась экономика и химия, в 2003 г. прибавится биология и медицина. Таким образом планируется охватить рейтингом предметы, изучаемые примерно 75% всех студентов, поступающих в немецкие университеты. Публикации носят тройной характер (см. рис. 1): вначале развернутая статья в «Штерн», в которой содержится выжимка результатов. Эта статья сопровождается специальной рубрикой «Кампус и карьера», посвященной рейтингу, в которой выборочно приводятся результаты (описание предметов, выборка из пяти показателей). И, наконец, все результаты и все показатели размещаются в Интернете. Бесплатно получить результаты рейтинга можно по адресу www. dashochschulranking. de (В настоящее время готовится к публикации англоязычная версия рейтинга.). Интерактивные возможности Интернета позволяют пользователю создать свой индивидуальный рейтинг, выбрав и взвесив показатели сообразно собственным приоритетам и предпочтениям. Версия рейтинга 2002 г. впервые позволяет отследить ход развития в области экономики и права – предметов, рейтинг которых проводился соответственно в 1998 и 1999 гг.

Рис. 1. Стратегия публикации

МЕТОДИЧЕСКИЕ ПРИНЦИПЫ РЕЙТИНГОВ

Группы потребителей

При составлении рейтинга необходимо четко представлять себе, для кого он предназначен. Это решение в конечном счете определяет вид рейтинга и способ представления результатов. Как правило, основными потребителями рейтингов являются поступающие в университеты, в основном выпускники школ, желающие выбрать для себя университет и программу. В подобной же ситуации находятся те, кому необходимо перевестись в другой университет (в Германии такая необходимость зачастую возникает после так называемого преддиплома (Vordiplom), т. е. где-то после пяти семестров). И, разумеется, сами университеты являются потребителями рейтингов. При этом университеты нуждаются в подробной и достаточно сложно организованной информации, в то время как абитуриенты, поставленные перед выбором из более чем 300 университетов и 9000 курсов (в Германии), конечно, должны получить абсолютно доступные сведения. Очевидно, необходимо найти оптимальное соотношение, чтобы удовлетворить эти зачастую противоречивые ожидания. Ориентация на поступающих в университеты определяет концепцию рейтинга, показатели и способ представления результатов.

Общий подход

Для методических принципов рейтингов СНЕ характерны три особенности:

1.  1.  рейтинг ориентирован в первую очередь на выпускников школ, в частности на абитуриентов университетов, которые выбирают для себя определенный предмет или программу университета не ради университета как такового. Поэтому рейтингу подвергаются не университеты в целом, а преподавание отдельных предметов. В основе такого подхода лежит предположение, что поскольку в университете преподаются многочисленные и разнообразные дисциплины и программы, достаточно сложно ранжировать университет как единое целое. К тому же, имеющиеся данные свидетельствуют о значительных колебаниях уровня качества преподавания различных предметов внутри одного университета. Университет может иметь высокий рейтинг по физике и низкий - по литературе. В таком случае, если оценивать университет в целом, то рейтинг будет иметь среднее значение. Эта информация совершенно бесполезна для желающих изучать физику.

2.  2.  Более того, даже по предметам рейтинги СНЕ не предполагают вычисления единого общего балла по всем показателям с применением весовых коэффициентов. По данным американского государственного Центра изучения общественного мнения, не существует ни теоретической, ни эмпирической методики вычисления подобных значений. При том, что рейтинг в первую очередь ориентирован на учащихся, необходимо учитывать индивидуальные пожелания и предпочтения внутри группы потребителей. Некоторые студенты хотели бы учиться в университете, где ведется активная исследовательская работа (показателями которой могут служить количество публикаций, объем грантов, выделенных на исследование, и пр.), другие предпочли бы университет, в котором упор делается на тесные контакты студентов с преподавателями, качество обучения и сокращение срока учебы. Единая оценка не позволит учесть все эти специфические особенности (Продолжительность обучение очень существенна в Германии. Теоретически для получения дипломной степени необходимо проучиться пять лет. На практике во многих случаях приходится учиться шесть или даже семь лет – в этом вопросе между университетами существует значительная разница). Благодаря интерактивным возможностям Интернета пользователи могут составить для себя индивидуальный рейтинг, выбрав и взвесив нужные им показатели.

Более того, при вычислении общего балла неминуемо остается за скобками тот факт, что разные университеты преподают один и тот же предмет по-разному. Например, университет А может особое внимание уделять преподаванию и наставничеству, взаимодействию студентов и преподавателей. При этом сильной стороной университета В в преподавании той же науки может быть исследовательская активность на раннем этапе изучения курса. В случае вычисления и использования единой оценки составителям рейтинга придется либо решать, какой профиль важнее, либо присвоить обоим показателям равный вес, что приведет к выравниванию профилей до среднего значения. Соответственно, рейтинг СНЕ носит многомерный характер, каждый показатель ранжируется отдельно, а пользователь должен сам выбрать наиболее важные для себя показатели.

1.  1.  Большинство рейтингов помещают университеты в табели о рангах согласно положению каждого в рейтинге. Такой подход предполагает, что различие численных значений показателей означает, что и ранжируемые предприятия различны. Подобное распределение чревато тем, что незначительные колебания численных значений могут быть истолкованы неверно с точки зрения разницы в уровне качества. Например, в рейтинге американских университетов 2001 г., подготовленном журналом «U. S.News and World Report», разница между 13 и 22 позициями составляла всего 6 баллов по 100-балльной шкале. Во многих случаях данные недостаточно точны для того, чтобы уверенно определить однозначное положение в табели о рангах. Или, если объяснять это в терминах статистики, подобная процедура игнорирует существование стандартных ошибок. Поэтому рейтинги СНЕ делят университеты на три группы: самые лучшие попадают в первую группу, самые плохие – в последнюю. Остальные занимают промежуточное положение.

Процедура группировки зависит от типа показателей: фактические (например, соотношение числа студентов и численности преподавательского состава, число публикаций) группируются в колонках по четыре. Верхняя и нижняя позиция считаются соответственно первой и последней; две средние позиции соответствуют среднему положению в рейтинге. В случае субъективных показателей, основанных на данных опроса, т. е. мнениях студентов и профессоров, принимается во внимание расхождение во мнениях внутри отдельного университета по сравнению с общей оценкой. Университет попадает в первую группу, если средний балл (используется 6-балльная шкала оценки от 1 – «очень хорошо» до 6 – «очень плохо», соответствующая системе оценок, принятой в немецких школах) этого университета значительно ниже общего среднего балла по всем университетам. И напротив, университет попадает в последнюю группу, если его средняя оценка значительно выше общей средней оценки. Соответственно университет занимает промежуточное положение, если средняя оценка имеет промежуточное значение или мнения противоречивы, т. е. разброс столь значителен, что среднее значение имеет очень большие допуски и соответственно не может быть ни намного ниже, ни намного выше общей средней оценки.

Показатели

Выбор показателей имеет решающее значение при подготовке рейтинга. Рейтинги различаются по источникам данных и по качеству (важности, весомости) показателей.

Показатели выбираются исходя из потребностей потенциальных потребителей рейтинга. В течение почти двухлетнего подготовительного периода СНЕ подбирает нужные показатели при поддержке консультативного совета, в который входят эксперты по оценке и члены профессиональных и университетских ассоциаций. Для того чтобы учесть мнение и потребности потенциальных потребителей, в ходе деятельности по выбору показателей проводились регулярные встречи с выпускниками школ и студентами.

По результатам процесса была подготовлена «модель решения», состоящая из девяти компонентов процесса принятия решения. Каждый компонент включает в себя несколько показателей – всего около тридцати пяти (в зависимости от предмета).

Среди компонентов – общие сведения о городах (например, средняя стоимость найма жилья) и университетах (размер, тип, дата основания), характеристика контингента студентов, основные сведения о курсах и преподавании, некоторые аспекты трудоустройства, исследовательский и трудовой рынки, а также общее мнение профессоров и студентов.

Рис. 2. Модель решения

Рейтинги СНЕ применяют многосторонний подход. Во-первых, каждый компоненты включает в себя показатели, данные по которым получены из разных источников. Например, по компоненту «исследования» введены показатели, основанные на данных, предоставляемых факультетами (например, исследовательские гранты, число докторских степеней); по различным базам данных (Указатель научных ссылок, Указатель социальных ссылок, а также некоторые другие чисто немецкие базы данных по отдельным предметам) проведен библиометрический анализ. По этому же компоненту используются показатели, основанные на результатах опроса профессуры (например, репутация в исследовательской области).

Во-вторых, набор показателей сочетает объективные факты с субъективными суждениями. Например, по компоненту «преподавание» используются такие фактические показатели, как соотношение числа студентов и численности персонала или средняя продолжительность обучения (которая в немецких университетах колеблется весьма значительно – в некоторых дипломных курсах разница составляет до 3 лет), наряду с суждениями профессоров и студентов об организации курса, контактах между профессорами и студентами, библиотеках, компьютерной оснащенности и т. д.

Что касается международного сравнения рейтингов и их показателей, то очень важно понимать, что пригодность показателей в значительной степени зависит от государственной системы высшего образования. В таком случае, в одной стране показатель может иметь исключительную важность, и быть практически бессмысленным в другой. Примером может послужить показатель продолжительности обучения. В немецкой системе высшего образования продолжительность дипломного курса теоретически равна пяти годам, а практически колеблется в значительных пределах, а соответственно является достаточно весомым фактором при выборе университета. В области социологии, например, обучение продолжается от 9 до 16 семестров, т. е. студенты одного университета затратят на получение степени по социологии на три с половиной года больше, чем в другом. В системе высшего образования со структурированными курсами, где продолжительность обучения нормирована, этим показателем можно пренебречь.

Другой пример – селективность университета, которая обычно измеряется процентом поступивших абитуриентов. Эта информация важна, поскольку позволяет получить представление об уровне элитарности программы и/или университета и позиции абитуриента оценить вероятность поступления.

В Германии университеты не имеют права самостоятельно отбирать студентов. Количество мест в каждой программе определяется правительством земли (Land) в соответствии с законодательством, которое практически не оставляет университетам никакой самостоятельности: либо мест достаточно для всех и все абитуриенты поступят, либо их не хватает (как в медицине и психологии). В таких случаях центральный орган – Центральное бюро распределения студенческих мест (ZVS) распределяет абитуриентов по университетам. При этом решающую роль, помимо оценок в аттестате абитуриента, играет удаленность места жительства абитуриента от университета. Не так давно университеты получили право набирать самостоятельно небольшую часть студентов, но только после того, как 80% студентов будет распределено ZVS. Соответственно лишь немногие университеты смогли на практике воспользоваться этой возможностью – наглядный пример непродуктивной реформы.

Источники данных

Поскольку СНЕ использует многосторонний подход, данные поступают из разных источников. СНЕ по возможности стремится уравновесить все данные из одного источника соответствующими сведениями, полученными иным образом, особенно в случае учета субъективных мнений. Рейтинг основан на нескольких источниках данных и опросах:

-  -  университеты предоставляют информацию об оплате, размещении, студентах, центральных услугах (на сегодняшний момент участвует более 300 университетов);

-  -  кафедры снабжают рейтинг информацией о программах, персонале, исследовательской деятельности (участвуют более 2000 кафедр);

-  -  опрос профессуры: ежегодно всем преподавателям, работающим в области, охваченной рейтингом, рассылаются опросники (в 2002 г. в опросе участвовало около 14000 профессоров). Профессорам предлагалось высказать мнение о своем университете (программы, ресурсы, исследовательская деятельность), а также назвать университеты, имеющие наилучшую репутацию в этой области;

-  -  опрос студентов: случайным образом выбирается 300 студентов по каждой программе. Анализируется более студенческих анкет. Многие вопросы анкет совпадают с вопросами, предложенными профессорам. Это позволяет сравнивать мнение о программе. Кроме того, студентов опрашивают об условиях проживания;

-  -  библиометрический анализ проводится только для тех предметов, для которых имеются достоверные данные;

-  -  анализ патентов: в области технических наук рейтинг СНЕ приводит первый всеобъемлющий сравнительный анализ патентов, полученных немецкими университетами;

-  -  опрос выпускников: в настоящее время СНЕ планирует провести сравнительные опросы выпускников. В немецких университетах не существует традиции поддержания контактов с выпускниками. Большинство университетов не располагает систематической информацией о своих выпускниках и не делает попыток проследить их судьбу по окончании курса.

Обеспечение качества

Рейтинги являются эффективным инструментом контроля качества; однако в первую очередь сами университеты должны внедрять у себя механизмы обеспечения качества. В первую очередь возникают вопросы методической прозрачности, открытости источников данных и процедур рейтингов. Подробные сведения о рейтингах СНЕ приводятся в методическом отчете (Berghoff et al., 2002). В виде файла этот отчет можно скачать по адресу: http://www. che. de/assets/images/AP36.pdf

Перед тем, как перейти к расчету показателей, СНЕ посылает всю информацию, предоставленную университетами и кафедрами, обратно для проверки. Таким образом, университеты имеют возможность дополнить недостающие данные и исправить ошибки.

Ежегодно СНЕ формирует консультативный совет по соответствующему предмету, в который входят представители ассоциаций факультетов и/или научных ассоциаций по данному предмету. С учетом особенностей каждого предмета совет дает рекомендации по подбору показателей, подготовке анкет и других методических вопросов. И наконец, данные подвергаются последней проверке – на достоверность. Помимо профессионального опыта членов консультативного совета, СНЕ использует статистические процедуры, в частности, для определения экстремальных значений и нестыковок в собранных данных. Значительная часть данных, собранных СНЕ, не публикуется, поскольку организация предпочитает обнародовать только достоверные и надежные сведения.

ЗНАЧЕНИЕ РЕЙТИНГОВ

Рейтинги имеют значение как для студентов, так и для университетов. Для оценки значения рейтингов для студентов было проведено специальное исследование, которое позволило выяснить, что около одной трети студентов пользуются рейтингами для ориентации. В Германии, где до сих пор сохранился миф о равном уровне качества во всех университетах, и где научная общественность в течение многих лет отрицала саму идею рейтингов, это довольно значительная величина. Рейтинги СНЕ позволили обывателям осознать разницу в качестве преподавания и исследований в отдельных университетах. Доля студентов, изучающих рейтинги, колеблется в зависимости от предмета: от 50% студентов технических специальностей до всего 19% изучающих литературу. В целом можно утверждать, что рейтингами пользуются наиболее мотивированные студенты.

Наглядным примером значения рейтингов может послужить психология, впервые включенная в рейтинг СНЕ в 2001 г. На следующий год число абитуриентов в рекомендованных университетах значительно выросло, а общее количество абитуриентов осталось практически неизменным. Прирост составил около 19% в университетах, рекомендованных студентам, стремящимся к исследовательской деятельности, и около 13% в университетах, отличающихся быстрым и эффективным обучением со строгим контролем. Удалось также отследить, что высокий рейтинг влияет на уровень поступления скорее положительно, чем отрицательно.

На уровне университетов рейтинг может послужить отправной точкой для самооценки университета или отдельной кафедры. Для этих целей СНЕ предлагает подробный анализ результатов опросов студентов по отдельным кафедрам, выходящих за рамки опубликованных показателей рейтинга. На первом этапе работы СНЕ кафедры, получившие низкий рейтинг, зачастую весьма критически отзывались о рейтинге. Теперь СНЕ получает положительные отзывы даже от тех кафедр, которые получили неудовлетворительную оценку. Они стремятся проанализировать результаты рейтинга и провести соответствующие реформы своей деятельности.

ПЕРСПЕКТИВЫ РАЗВИТИЯ

В настоящее время разработчики рейтинга работают над тем, чтобы включить в него информацию по занятости, сравнительные данные по трудоустройству и карьерам выпускников. Однако в самом высшем образовании произошли некоторые перемены, которые необходимо отразить в рейтингах. Рейтинг охватывает наиболее популярные у студентов программы, которые распределены по традиционным научным дисциплинам – физике, социологии и т. д. Однако возникают новые программы, находящиеся на стыке различных наук, например курсы в области средств массовой информации. Их очень трудно распределить по областям. Некоторые имеют более или менее технический фокус, другие носят, скорее, творческий или дизайнерский характер. В такой ситуации достаточно трудно выделить группы программ, которые можно сравнить друг с другом и выстроить рейтинг. Число таких программ и обучающихся по ним студентов пока еще сравнительно невелико, однако необходимо учесть их в рейтинге, чтобы не пропустить одну из новейших областей высшего образования. Сюда же можно отнести и новые междисциплинарные программы, находящиеся, например, на стыке биологии и медицины. И снова разработчики рейтинга поставлены перед необходимостью найти достаточное число сравнимых случаев.

Более того, немецкие рейтинги столкнулись с учреждением магистерских программ и бакалавриата в 1998 г. К 2002 г. в немецких университетах насчитывалось уже около 1400 программ получения степени магистра и бакалавра. На большинстве из них до сих пор обучается первый набор студентов. Поэтому в настоящее время по большинству наук существует два вида программ: программа получения диплома и программа получения степени бакалавра. Как будут развиваться отношения между этими двумя секторами – до сих пор неясно, однако это обстоятельство придется как-то учитывать при подготовке рейтингов. Во многих случаях программы получения диплома прерываются, несмотря на то что программы получения степени бакалавра еще не выпустили ни одного выпуска. Можно ожидать, что в связи с диверсификацией программ бакалавриата возникнут сложности с определением случаев, подлежащих сравнению.

И последнее по порядку, но не по значимости обстоятельство – возникновение в контексте болонского протеста европейского пространства высшего образования. Это обстоятельство еще больше осложнит задачи рейтингов в связи с интернационализацией системы высшего образования. В качестве первого шага СНЕ готовится включить в свои рейтинги австрийские университеты.

БИБЛИОГРАФИЯ

Berghoff, Sonja, et al. (2002), “Das Hochschulranking. Vorgehensweise und Indikatoren”, CHE-Arbeitspapier<http://www. che. de/assets/images/AP36.pdf>.

Cave, Martin, et al. The Use of Performance Indicators in Higher Education: The Challenge of the Quality Movement. London: Jessica Kingsley Publishers, 1997.

Federkeil, Gero. “Hochschulranking. Elemente eines methodischen Standards”, Wissenschaftsmanagement : 7-11.

Neave, Guy. “On the Cultivation of Quality, Efficiency, and Enterprise: An Overview of Recent Trends in Higher Education in Western Europe: 1986–1988”, European Journal of Education: 7-23.