к. э.н., доцент, в. н.с. ЦЭМИ РАН
О НОВОЙ МЕТОДИКЕ ОЦЕНКИ ВЕБ-САЙТОВ НАУЧНО-ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ
К настоящему времени подавляющее большинство российских научно-образовательных учреждений имеет веб-сайты. Сайт университета или научного учреждения ‑ это его имидж в мировом Интернет-пространстве, доступ к которому имеет большинство населения. Веб-технология дает значительные новые возможности для представления результатов образовательной и научной деятельности по сравнению с традиционными бумажными носителями, например, позволяет организовать неформальные научные коммуникации ученых, работающих в одной области. Кроме того, размещение информации на веб-сайте значительно дешевле издания книг и журналов. Еще один веский аргумент в пользу публикации на веб-сайтах результатов научных и научно-методических исследований, проводимых в вузах, – это значительное увеличение численности потенциальных читателей.
В то же время качество многих сайтов пока далеко не идеально. Мы здесь намеренно не касаемся вопросов дизайна и пользовательского удобства (юзабилити); для научных и образовательных организаций гораздо важнее количество и качество размещенной информации. Естественно возникает задача оценивания и ранжирования веб-представительств вузов и НИИ с помощью формальных критериев. Такие рейтинги могут стимулировать коллективы научно-образовательных учреждений размещать информацию об исследованиях и передовых образовательных технологиях для свободного доступа в Интернет-пространстве. Их можно рассматривать как механизм, помогающий выявить слабые стороны и указать пути совершенствования информационной политики вуза или научного института.
С 2004 г. испанская исследовательская группа Cybermetrics Lab разрабатывает и публикует вебометрический рейтинг университетов мира (Webometrics Ranking of World Universities) [8]. Деятельность Cybermetrics Lab направлена на количественный анализ Интернет-контента, особенно того, который связан с процессами генерации научного знания и научных связей. Это сравнительно новая дисциплина, которая называется Cybermetrics или Вебометрика (в России более распространен последний термин). С помощью этого рейтинга разработчики намерены дополнительно мотивировать исследователей во всем мире больше публиковать результаты научной деятельности в Интернете, делая их доступными для коллег. Вебометрический рейтинг обновляется каждые 6 месяцев (материалы собираются в январе и июле). Используемые в нем данные основаны на традиционных наукометрических и библиометрических показателях.
В России вебометрические исследования проводятся с 2008 г. Петрозаводские ученые ведут вебометрические исследования университетов Северо-Запада России, а также классических университетов России [3]. В Институте вычислительной техники СО РАН (Новосибирск) составлен вебометрический рейтинг научных учреждений Сибирского отделения РАН [4]. Коллеги из Белоруссии подготовили первый национальный индекс университетов республики [5]. В Карельском научном центре издается электронный журнал, посвященный проблемам вебометрики1.
В 2012 г. по инициативе руководства Института научной и педагогической информации РАО группа специалистов начала формирование российского индекса веб-сайтов научно-образовательных учреждений (РИВНОУ). В обязанности автора настоящей статьи входило участие в подготовке методики исследования и непосредственная организация расчетов. В ходе работы учитывался российский и международный опыт, в частности, Берлинские принципы ранжирования высших учебных заведений [1]. Результаты этой работы представлены на сайте «Вебометрический индекс российских вузов и НИИ» [2]. Разработчики уверены, что вебометрический индекс является важным показателем деятельности организаций, и он дополнит данные аудита учреждений российской науки и образования, который в последнее время ведется силами Минобрнауки и ряда других ведомств.
Первые попытки объективного оценивания веб-сайтов начались почти 20 лет назад. В числе пионеров были компании-разработчики поисковых машин, стремящиеся поставить лучшие ссылки на первые места в списке выдачи результатов. В этой высококонкурентной среде алгоритмы ранжирования сайтов представляют тщательно охраняемую тайну, однако в их основе всегда в той или иной форме присутствуют информационное наполнение и ссылочная популярность. Как указывает технический директор компании Яndex, «именно ссылочная популярность и производные от нее оказались решающим фактором, поменявшим в 1999–2000 годах мир поисковых систем… Это примерно то, что в традиционном библиотековедении называют индексом цитирования» [6].
Испанские разработчики используют в расчетах следующие параметры:
- размер сайта (S-size) ‑ общее количество страниц, обнаруживаемых поисковыми машинами; видимость сайта (V-visibility) – количество уникальных гипертекстовых ссылок с других веб-ресурсов; количество полнотекстовых файлов (R-rich files) с расширениями PDF, DOC, PS и PPT (в отечественной литературе они также называются мощными, специальными, богатыми); индекс цитирования или «научность» сайта (Sc-scholar) – это количество ссылок на сайт, обнаруживаемых Google Scholar и Scimago.
Информационному наполнению здесь соответствуют первые два параметра, а ссылочной популярности – два последних.
Поскольку речь идет о веб-информации, понятно, что ключевыми инструментами для измерения видимости и влияния веб-сайтов университетов являются поисковые системы. Однако российские и зарубежные поисковые машины индексируют различное количество страниц на одном и том же сайте. Естественно, западные исследователи используют Google, Yahoo и т. д.; для отечественной практики, как правило, лучше подходит Яndex. При составлении РИВНОУ использовались инструменты, предлагаемые компаниями Яndex и Google, что объясняется наибольшей распространенностью этих поисковых машин в России. В основу методики был положен вебометрический рейтинг университетов мира, однако алгоритм расчета серьезно скорректирован с целью учета отечественных реалий. Предварительные исследования показали значительный разброс результатов, получаемых с использованием поисковых машин Яndex и Google. Поэтому было принято решение для измерения основных показателей РИВНОУ (V, S, R) использовать обе поисковые системы и брать среднее значение полученных результатов. Значения показателя Sc получены из Российского индекса научного цитирования (РИНЦ)2.
Разработчики использовали подход, когда для каждой организации по каждому критерию определяются ранги (порядковые номера). Рейтинги сайтов при этом вычисляются простым суммированием этих рангов, и более высокие места в глобальном рейтинге занимают организации с минимальным значением суммы рангов. В отличие от Вебометрического индекса университетов мира все показатели являются равноправными. Детали методики описаны в [2].
Исходная информация для составления списка анализируемых веб-сайтов взята из перечня аккредитованных образовательных учреждений с портала «Российское образование»3 и с официальных сайтов государственных академий. Таких организаций оказалось 1843, в том числе 635 государственных вузов и 445 негосударственных. При этом у 146 организаций не обнаружено собственных действующих сайтов.
Измерение вебометрических показателей РИВНОУ производилось в апреле 2012 г. В дальнейшем предполагается измерять эти показатели раз в год в апреле-мае. Данный срок выбран в связи с тем, что к апрелю как научные организации, так и вузы завершают размещение на сайтах результатов работ истекшего года, и в то же время еще не началась весенняя сессия, существенно отвлекающая от этой деятельности сотрудников вузов.
По результатам измерений верхние 14 строк в Индексе заняли ведущие государственные вузы, причем в первой десятке ‑ университеты Москвы, Казани, Новосибирска, С.-Петербурга, Саратова, Н. Новгорода, а также широко известные МФТИ, ВШЭ, МЭИ и МИФИ (табл.1). Лучшее из учреждений РАН (им оказался Институт математики им. Соболева СО РАН) оказалось в сводном рейтинге на 15 месте (табл.2). Список негосударственных вузов возглавляет Московский гуманитарный университет (109 место общего рейтинга). Полный список публикуется в [2].
Таблица 1. Лидеры рейтинга государственных вузов
№ в рейтинге | Организация | URL | Ранги по критериям | Сумма рангов | |||
V | S | R | Sc | ||||
1 | Московский государственный университет имени | www. msu. ru | 1 | 3 | 1 | 1 | 6 |
2-3 | Казанский (Приволжский) федеральный университет | www. ksu. ru | 2 | 1 | 1 | 4 | 8 |
2-3 | Новосибирский национальный исследовательский государственный университет | www. nsu. ru | 1 | 1 | 2 | 4 | 8 |
4 | Санкт-Петербургский государственный университет | www. spbu. ru | 1 | 6 | 1 | 1 | 9 |
5 | Саратовский государственный университет имени | www. sgu. ru | 5 | 1 | 1 | 4 | 11 |
6 | Московский физико-технический институт (государственный университет) | www. mipt. ru | 2 | 1 | 2 | 10 | 15 |
7 | Нижегородский государственный университет им. | www. unn. ru | 2 | 6 | 3 | 5 | 16 |
8 | Национальный исследовательский университет «Высшая школа экономики» | www. hse. ru | 1 | 1 | 1 | 16 | 19 |
9-10 | Национальный исследовательский университет «МЭИ» | www. mpei. ru | 5 | 1 | 10 | 5 | 21 |
9-10 | Национальный исследовательский ядерный университет «МИФИ» | www. mephi. ru | 1 | 17 | 1 | 2 | 21 |
Таблица 2. Лидеры рейтинга учреждений РАН
№ в категории | Место в сводном рейтинге | Организация | URL | ранги по критериям | Сумма рангов | |||
V | S | R | Sc | |||||
1 | 15 | Институт математики им. | www. math. nsc. ru | 7 | 10 | 7 | 7 | 31 |
2 | 18 | Институт космических исследований | www. iki. rssi. ru | 3 | 17 | 12 | 2 | 34 |
3 | 20 | Специальная астрофизическая обсерватория | www. sao. ru | 6 | 5 | 20 | 5 | 36 |
4 | 21 | Институт цитологии и генетики | www. bionet. nsc. ru | 5 | 18 | 13 | 3 | 39 |
5-6 | 25-27 | Зоологический институт | www. zin. ru | 23 | 2 | 10 | 6 | 41 |
5-6 | 25-27 | Физико-технический институт им. | www. ioffe. ru | 3 | 29 | 8 | 1 | 41 |
7 | 33 | Институт прикладной математики им. | www. keldysh. ru | 4 | 22 | 13 | 8 | 47 |
8 | 36 | Институт социологии | www. isras. ru | 10 | 4 | 3 | 31 | 48 |
9 | 41 | Институт вычислительных технологий | www. ict. nsc. ru | 10 | 1 | 18 | 21 | 50 |
10 | 50 | Институт проблем управления им. | www. ipu. ru | 16 | 4 | 25 | 13 | 58 |
Заключение
Предложенная методика измерения и ранжирования показателей требует обсуждения и совершенствования. Однако уже сейчас можно указать некоторые факторы, которые необходимо иметь в виду при анализе результатов.
Как отмечалось выше, около 8% научно-образовательных учреждений не имеют собственных веб-сайтов (как правило, это учреждения РАСХН или негосударственные вузы). Некоторые учреждения (среди них почти все вузы Минобороны) ограничиваются страницами на общих сайтах. Для таких случаев корректный подсчет вебометрических показателей невозможен. Значительная доля сайтов научно-образовательных учреждений неинформативна. Это приводит к низким значениям всех вебометрических показателей. В поисковой системе Google невозможен поиск показателей для организаций, имеющих кириллические домены. рф. Система рассматривает имя домена как обычное ключевое слово, и результаты поиска некорректны. Наблюдается значительный разброс результатов поисковых систем, использованных для составления РИВНОУ. Так, для показателя «Видимость», значения, получаемые в системах Яндекс и Google, порой различаются на порядок.Список литературы
Berlin Principles on Ranking of Higher Education Institutions. - http://www. che. de/downloads/Berlin_Principles_IREG_534.pdf Вебометрический индекс российских вузов и НИИ. - http://ru-webometrics. info. , Печников официальных web-сайтов университетов России и Финляндии: сравнительный анализ // Информационные ресурсы России. – М., 2008. - № 3. , О рейтинге сайтов научных организаций СО РАН // Наука в Сибири. 2008. № 44 (2679). , , Минюкович рейтинг университетов. - http://www. informetrics. ru/articles/sn. php? id=62. Сегалович работают поисковые системы // Мир Internet. 2002. - №10 (73). Сказов вузы в международном рейтинге Cybermetrics Lab CSIC // Совет ректоров. – М., 2010. - № 8 Ranking Web of World Universities. - http://www. webometrics. info. , , О российском индексе веб-сайтов научно-образовательных учреждений // Информационные ресурсы России. – М., 2012. - № 4.1 http://www. informetrics. ru.
2 http://elibrary. ru/orgs. asp.
3 http:///files/materials/4328/vpo-uchrezhd. pdf.
