Бенчмаркинг рейтинговых систем: поиск индикаторов превосходства (стр. 1 )

 

Бенчмаркинг рейтинговых систем: поиск индикаторов превосходства

Benchmarking of ranking systems: a way to find indicators of excellence

 

, к.э.н., PhD in Economics

 

Abstract

Every ranking process identifies best practices. So the practices of ranking should be up amongst the best to assess the items in view of their functionality. Therefore the benchmarking procedure should be revisited by cross-factor and cluster analyses to develop the most effective system.

The report highlights statistical aspects of the ranking construction based on HEIs data. The core characteristics of HEIs represent extremely complex structures, and therefore may serve as a good example. The main idea is the evaluation of ranking system approaches to improve counting, simplify data collection and identify different ways of output optimization. The author argues in favor of developing a new principle for ranking tools based on multidisciplinary approach.

This research presents the data array analysis of the multidimensional ranking system elaborated within the project «Developing and Approbating a Template Methodology for National Ranking of Higher Education Institutions» implemented by the National Training Foundation for Russian Ministry of Education and Science.

Аннотация

Процесс рейтингования предполагает выявление лучших практик, но в силу большого разнообразия подходов возникает необходимость оценки эффективного функционирования системы. Из-за различных подходов для выявления возможных способов совершенствования, в отличие от стандартной процедуры бенчмаркинга, за образец невозможно принять используемый в других методиках процесс. Наиболее сложным представляется построение рейтинга организаций высшего образования, поскольку качественные инвариантные характеристики учитываются в количественных вариантных данных (сравнение проходит по признакам «tacit knowledge»). Соответственно определение процедуры бенчмаркинга на примере ранжирования вузов позволит сформировать наиболее оптимальную модель для других типов рейтингов. Целью проведения процедуры совершенствования непосредственно ранжирования вузов является сокращение количества индикаторов для упрощения сбора данных и их подсчета, выявление различных методов оптимизации вывода результатов и уменьшения времени для поиска результатов. Также рассматривается возможность непосредственного прогнозирования рейтингования с использованием вероятных изменений после проведения основного этапа.

Новизна исследования заключается в разработке собственной модели, наиболее полно объясняющей наблюдаемые связи между индикаторами. Поскольку для ранжирования важны качественные характеристики было проведено сравнение факторов по нормализованным и абсолютным значениям. Исходным элементом для расчётов служила корреляционная матрица, для ее построения были выбраны собственные значения и соответствующие им векторы, для определения которых использовались оценочные значения диагональных элементов матрицы. Индикаторы без фактора также имеют в основном обратную корреляцию с группами факторов, что может рассматриваться в отдельных случаях анализа для катализатора зависимостей вуза от этих мероприятий.

База данных

Для исследования были использованы данные базы проекта «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» (Министерство образования и науки РФ), что позволяет улучшить статистические характеристики полученных оценок и выявить ошибки предыдущих этапов. Анализ данных не предполагает раскрытия названия вузов и их мест в ранжировании.

Выводы

В ходе работы был выявлен дисбаланс использования потенциала, демонстрирующий большой риск занижения показателей. Была рассмотрена оптимальная модель сбалансированного перераспределения активности по траекториям развития всех направлений, что выделяет основные значимые конкурентные преимущества ранжируемых феноменов и производит качественные изменения основных сторон деятельности. В том числе объединение индикаторов по направлениям позволяет формировать экспресс-анализ, дополнять и перераспределять места, демонстрировать репутационную составляющую. Поэтому применение метода позволит унифицировать оценки разных типов рейтингов, увеличить точность рейтингования, моделировать различные прогнозных сценарии.

Процедура факторного анализа

Проведение факторного анализа необходимо для того, чтобы большое число индикаторов свести к меньшему количеству за счет независимых влияющих величин - факторов. В один фактор объединяются индикаторы, демонстрирующие высокую корреляцию между собой и слабую с индикаторами других факторов. Найденные комплексные факторы как можно более полно объясняют наблюдаемые связи между индикаторами.

На первом шаге процедуры факторного анализа проведено преобразование путем стандартизации значений индикаторов, затем при помощи уже стандартизированных значений рассчитаны корреляционные коэффициенты между рассматриваемыми индикаторами. На этом этапе выделены дескриптивные статистики - первичные результаты, включающие первичные относительные дисперсии простых факторов, собственные значения и процентные доли объяснённой дисперсии.

Поскольку для ранжирования важно получить качественные характеристики ранжируемых вузов, то необходимо использовать сравнение факторов по нормализованным и абсолютным значениям, исходным элементом для дальнейших расчётов будут являться корреляционные матрицы (Приложения 1 и 2).

Для каждой построенной корреляционной матрицы определены собственные значения и соответствующие векторы, которые определяются оценочными значениями диагональных элементов матрицы. Для анализа отобраны главные компоненты, количество отобранных факторов приравнивается к числу собственных значений, отсортированных в порядке убывания и превосходящих единицу.

Чтобы выявить закономерность зависимости за основу фильтра был принято уменьшение 20% выборки. Все значения до 0,2 были отфильтрованы, поэтому некоторые индикаторы не вошли ни в одну из групп факторов, при этом в большинстве случаев эти результаты схожи по абсолютным и нормированным значениям (Таблица 1 и 2). Некоторые индикаторы без фактора имеют обратную корреляцию с группами факторов и могут рассматриваться в отдельных случаях анализа как катализаторы зависимостей вуза от этих мероприятий.

Для решения задачи определения факторов был использован метод определения главных факторов - ортогональное вращение по методу варимакса и вывод повёрнутой матрицы факторов. На основании значений нагрузок повёрнутой матрицы необходимо дать толкование отдельным факторам.

Анализ индикаторов

В корреляционных матрицах и по абсолютным значениям и по нормированным значениям почти все индикаторы распределяются одинаково по группам факторов, например набор индикаторов в группе факторов 1.1 почти совпадает по группе факторов 2.1 (Приложения 1 и 2). Разделение анализа индикаторов в корреляционных матрицах по абсолютным и нормированным значениям дает представление о том, как может меняться влияние индикаторов в процессе ранжирования. Например, индикаторы, которые входят в группу фактора 1.1, в группе 2.1 не значительно меняют свои корреляционные признаки относительно влияния нормирования, это дает возможность сделать вывод о том, что абсолютные значения этих индикаторов прямо характеризуют сочетание лидерских и конкурентных качественных признаков по науке и образованию. Вследствие того, что индикаторы, составляющие группу фактора 7.1, в группе 7.2 не представлены полностью показывает, что «Доля доходов из внебюджетных источников», «Количество поставленных на бухгалтерский учет объектов интеллектуальной собственности» и «Затраты на оборудование и инфраструктуру» характеризуют сочетание лидерских и конкурентных качественных характеристик в направлении «Трансфер знаний» с образованием.

По каждой конкретной задаче необходимо проводить интерпретацию отдельных индикаторов или их совокупностей, поскольку объединения в группу факторов могут интерпретироваться с количественной или качественной позиции для участия в сравнении по ранжированию или анализа деятельности вуза по отдельному направлению.

В таблице 1 представлены индикаторы, не попадающие в группы факторов в связи с низкими присвоенными значениями, но продемонстрировавшие совпадения по абсолютным и нормированным значениям, в таблице 2 присутствующие только в одной категории - это объясняется различной факторной нагрузкой, поскольку в разных анализах будут различаться собственные векторы. На практике можно сделать вывод, как значения индикаторов приспособлены к ранжированию и к деятельности вуза.

Таблица 1. Индикаторы без фактора и по абсолютным значениям и по нормированным значениям.

E2	Доход от продажи объектов интеллектуальной собственности
С1	Доля образовательных программ, прошедших международную аккредитацию
С2	Доля программ, на которые были приняты студенты с высоким баллом ЕГЭ
С5	Доля выпускников, трудоустроившихся в течение 1 года по специальности/ направлению обучения после окончания вуза
F4	Процент выпускников, работающих в регионе
C15b	Доля защитившихся аспирантов
B2	Доля ППС с ученой степенью кандидата и доктора наук
C15a	Доля защитившихся аспирантов
F3	Доля студентов, прошедших практику в региональных организациях и предприятиях

Таблица 2. Индикаторы без фактора либо по абсолютным значениям либо по нормированным значениям.

D4	Доля доходов из иностранных источников
С9	Доля молодых штатных ППС, получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС
B1	Доля расходов на научные исследования
C17	Соотношение численности студентов и ППС
D5	Доля учебной нагрузки иностранных ППС в учебной нагрузке штатных ППС
B15	Доля студентов очной формы обучения, участвовавших в НИР

Индикатор «Доля доходов из иностранных источников», несмотря на отсутствие достаточной корреляции с индикаторами группы фактора 4.1 принимает сторону этих же индикаторов в группе факторов 5.2, но с низкой степенью корреляции, поскольку направление «Международная деятельность» сильнее проявляется в сравнении с другими вузами. «Доля расходов на научные исследования» тоже важен в сравнении с другими вузами, в данном случае фактор 3.2 демонстрирует его зависимость с индикатором «Соотношение численности студентов и ППС», что объясняет лидерские качества вузов в ранжировании по направлениям «Наука» и «Образование».