Рейтинг. Вчера, сегодня, завтра
Цели данной заметки:
· анализ результатов расчёта Рейтинга планеристов России на 2006г [1] по новому ПОЛОЖЕНИЮ о РЕЙТИНГЕ от 2005г [2],
· поиск путей дальнейшего совершенствования методики расчёта рейтинга.
Как это работает
Для общего понимания методики расчёта рейтинга не требуется специальная математическая подготовка, выходящая за пределы программы средней школы, поэтому предлагаю всем заинтересованным слегка напрячься и вникнуть в суть (тем, кто этого ещё не сделал). Это необходимо для осмысленной оценки дальнейших рассуждений.
Метод расчета рейтинга, принятый Бюро ФПлС в девяностых годах прошлого века с непринципиальными изменениями используется и сейчас. Он основан на статистических зависимостях. И необходимо осознавать, что в результатах показываемых планеристами, велико влияние случайных факторов (см. [4]). Отсюда два важных следствия:
1) любые расчёты и выводы, сделанные на их основании, имеют вероятностный характер
2) точность (и справедливость) расчётов тем выше, чем больше статистических данных используется.
К сожалению, квалифицированного исследования вероятностных показателей рейтинга до сих пор не проводилось. Придётся оставить эту тему потомкам.
Итак, прежде всего, сформулируем задачу.
Есть множество российских спортсменов-планеристов, выступающих на соревнованиях. Для целей формирования сборной команды (и других схожих) требуется построить (ранжировать) планеристов в порядке их спортивного мастерства исходя из показанных ими на соревнованиях результатов (понятие спортивное мастерство подробно разобрано в работе [4] Ю. Кузнецова).
Если бы все спортсмены выступали на всех соревнованиях, то задача была бы не сложной. Достаточно было суммировать набранные ими очки по всем упражнениям за некоторый период времени.
Но в наших реалиях рейтинговая система должна ответить на следующий принципиальный вопрос: можно ли для двух спортсменов А и Б, которые могли и не встречаться на одних соревнованиях, определить: мастерство какого из них выше? Ответ положительный: можно, при условии что есть спортсмены В, которые на соревнованиях встречались и с А и с Б.
Заостряю Ваше внимание на этом важном условии: все должны «вариться в одном котле». А если в сообществе планеристов возникнут отдельные группы, не пересекающиеся между собой на соревнованиях, то обсуждаемая методика бесполезна. Зато, если «котёл» один, то цепочка «посредников» между А и Б может быть и длиннее одного звена В. Главное – было бы побольше статистики.
Далее с небольшими упрощениями излагается принятый сейчас метод расчёта рейтинга. Строгие определения понятий следует искать в официальном ПОЛОЖЕНИИ о РЕЙТИНГЕ от 2005г. [2]. Номера формул, проставленные в данной работе, также соответствуют упомянутому ПОЛОЖЕНИЮ.
По ПОЛОЖЕНИЮ мастерство каждого i-го спортсмена оценивается его т. н. рейтинговой оценкой - Ro(i), которая получается как среднее количество т. н. зачетных очков - P(i), полученных спортсменом за ряд зачетных упражнений, количество которых - S(i):
(7)
Зачетные упражнения это те упражнения, результаты которых берутся при вычислении рейтинга. Обычно, в зачёт идут упражнения, отлётанные на соревнованиях за определённый предыдущий период времени – по последнему ПОЛОЖЕНИЮ – 4 года. Но доля более старых полётов уменьшается, для чего как в формулу для подсчёта S(i), так и в формуле для P(i) введены годовые коэффициенты: 1.0, 1.0, 0.6 и 0.4, соответственно: для последнего учитываемого года, 1 год назад, 2 года назад и 3 года назад. Также уменьшается доля упражнений с фактор соревновательного дня - F(j)< 1. Таким образом, приведённая сумма зачетных упражнений для каждого i-го спортсмена определяется по формуле:
(4)
где:
- общее число зачетных полетов i-го спортсмена, отлётанных им, соответственно, в последнем году, 1 год назад, 2 года назад и 3 года назад.
Кроме того, согласно нынешнему ПОЛОЖЕНИЮ, эта сумма ограничивалась величиной 12 путём отбрасывания более ранних полётов. О чём сейчас стоит пожалеть (см. ниже).
Сумма зачетных очков P(i) для каждого i-го спортсмена вычисляется по похожей на (4) формуле:
(6)
где:
- те же, что в формуле (4).
А зачётные очки по упражнениям - Pz(i,j) перед суммированием получаются из соревновательных очков, полученных спортсменом в j-том зачётном полёте (по протоколу соревнований) по формуле:
(5)
где:
Pc(i,j) - соревновательные очки, полученных спортсменом в j-том зачётном полёте;
Pср(j)- средний результат дня по 5-и сильнейшим по рейтингу (прошлогоднему) участникам полёта;
F(j) - фактор соревновательного дня, уменьшающий в результате долю упражнений с F(j)< 1,как и для S(i) в формуле (4);
a( j ) - квалификационный коэффициент упражнения, который показывает мастерство участников упражнения; a( j ) меньше или равен 1 и получается по формуле:
a ( j ) = 
(2)
M = 5 - число участников соревновательного дня, имеющих наивысший рейтинг, но не менее 300;
Ry(m) - величина действующего рейтинга m-го спортсмена, из состава M вышеуказанных;
N = 5 - число спортсменов, возглавляющих список рейтинга предыдущего спортивного сезона.
Ry (n) - величины действующего рейтинга n-го спортсмена из состава N вышеуказанных.
Таким образом, зачётные очки по сравнению с соревновательными уменьшаются пропорционально уровню мастерства участников упражнения. А для того, что бы в упражнениях со слабым составом участников не происходило падение рейтинговой оценки даже сильных спортсменов, зачётные очки соотносятся не с результатом победителя, а со средним результатом 5-и сильнейших участников упражнения. Такой подход предложен В. Зайцевым в [5].
На этом теория заканчивается, начинается практика. Добивайтесь на соревнованиях больше соревновательных очков - получите больше зачётных очков, Ваш рейтинг увеличится.
История заблуждений
Здесь хочу остановиться подробней на 2-х ранее обсуждавшихся проблемах расчёта рейтинга.
Первая – недочёт в формулах в ранее действовавшем ПОЛОЖЕНИИ о РЕЙТИНГЕ, утверждённом в 1997г.
В развёрнутом виде формула вычисления рейтинга в том ПОЛОЖЕНИИ выглядела следующим образом:
Формула очень похожа на ныне используемую (если её развернуть аналогично) за исключением одного существенного момента: квалификационный коэффициент a( j ) присутствует в ней как в числителе (в вычислении приведённых очков), так и в знаменателе (в вычислении суммы приведённых упражнений). А это значит, что величина полученного по этой формуле рейтинга почти не зависит от a( j ), т. е. от мастерства участников. Другими словами, для увеличения рейтинга было выгодно показывать высокие результаты, выступая в соревнованиях со слабым составом участников.
В ныне действующем ПОЛОЖЕНИИ этот недочёт устранён, правда, ценой внесения другого, противоположного. Об этом написано в следующем разделе.
Вторая проблема – учитывать или не учитывать в расчёте рейтинга участие в зарубежных соревнованиях.
Здесь могу только повторить ранее приводившиеся доводы.
Используемый сейчас метод позволяет сравнить мастерство 2-х спортсменов – А и В, даже если они непосредственно не пересекаются на соревнованиях. Но это возможно только при условии, что есть спортсмены С, которые встречались на соревнованиях и с А и с В. Применяя квалификационный коэффициент упражнения а, объективно отражающий уровень соревнований, мы приводим все результаты к одной шкале.
Уровень отечественных соревнований определяется через прошлогодний рейтинг участников. Но для зарубежных соревнований нет возможности объективно оценить их уровень относительно наших соревнований. Это соревнования спортсменов из другого «котла».
Предлагались т. н. «экспертные» значения квалификационных коэффициентов, например: 1.0, 1.5, 2.0 соответственно для Чемпионатов - национальных, континентальных, мировых. Но чем они справедливее любых других значений, например, - 1.3, 1.9, 2.5? И что, Чемпионат Украины, или, допустим, Монголии приравнивается к Чемпионату Германии?
С другой стороны, вспомним, что цель рейтинга – оценить мастерство Российских спортсменов относительно друг друга. Поэтому результаты зарубежных соревнований, т. е. состязание с соперниками совершенно из другого круга, принципиально не могут помочь достижению этой цели.
Работа над ошибками
Да, первый блин получился комом (Рейтинг на 2006г., полученный по ПОЛОЖЕНИЮ о рейтинге 2005г.). Попробуем разобраться в причинах и предложить изменения в ПОЛОЖЕНИЕ, которые позволят в следующем году получить приемлемые результаты. (Кстати, в прилагаемых Экспериментальных расчётах приведён расчёт рейтинга 2006г по старой (1997г.) методике. О его адекватности можете судить сами)
Первый недочёт виден сразу. Самый яркий пример по нему – рейтинги Сильвановича и Тимошенко. В таблице Excel, в которой выполнен расчёт и которую все желающие могут посмотреть на сайте ФПлС [], зачётные упражнения для каждого планериста выделены серым фоном. Как предписано ПОЛОЖЕНИЕМ, 12 приведённых упражнений для обоих названных спортсменов набрались из 2-х неполных последних Чемпионатов в Новосибирске. Неполных – т. к. в соответствии с ПОЛОЖЕНИЕМ в расчёт берётся только 12 приведённых упражнений, и в них не попали по 3 первых упражнения Чемпионата 2004г. И тут повезло Диме и не повезло Саше: эти неучтённые упражнения у Тимошенко были неудачны, а у Сильвановича – наоборот. Таким образом, рейтинг Тимошенко подскочил, а Сильвановича упал.
Решение проблемы очевидно - увеличить количество идущих в зачёт упражнений. Предлагаю включить в зачётные все упражнения за 4 года (с принятыми годовыми коэффициентами). При этом сохранить прежний порог вхождения в официальный рейтинг – 12 приведённых упражнений. Результаты, полученные с этой поправкой, показаны в табл.3 прилагаемых Экспериментальных расчётов. Полагаю, в верхушке рейтинга все встали на свои места.
Вторая проблема сложнее. Речь идёт об учёте уровня участников соревнования при вычислении рейтинговой оценки. Напомню: эта проблема стала основной причиной пересмотра старого ПОЛОЖЕНИЯ от 1997г, т. к. по нему можно было улучшать рейтинг, побеждая в соревнованиях со слабым составом участников (см. предыдущий раздел).
Рабочая группа, готовя ПОЛОЖЕНИЕ 2005г., решила исправить ситуацию убрав квалификационный коэффициент упражнения a( j ) из знаменателя формулы (из определения количества приведённых упражнений). Однако, в таком случае участие сильных спортсменов в соревнованиях со слабым составом приводило бы к снижению их рейтинга, даже в случае победы. Для компенсации этого явления в новой формуле при вычислении рейтинга результаты участников стали соотносить не с результатом победителя, а со средним результатом 5 лучших участников (такой способ предложен В. Зайцевым в своей заметке []). Но компенсация оказалась слабой. Это показывает низкий рейтинг, начисленный Марине Калаевой и другим участникам Чемпионата в стандартном классе.
Предлагаю исправить ситуацию следующим образом. Для снижения зависимости начисляемых спортсмену зачётных очков от a(j) следует в формуле (5) указанный коэффициент возводить в степень k. Значение k должно быть меньше 1. Тогда эта формула будет выглядеть следующим образом:
(5-1)
В Экспериментальных расчётах приведены расчёты рейтинга 2006г. с разными значениями k от 0.9 до 0.5. (таблицы 4 – 7). Из них видно, что по мере уменьшения k поднимается рейтинг Калаевой, Шальневой и др.
Возникает вопрос: какое же значение k выбрать? Есть некоторые соображения по объективному способу определения значения k путём анализа данных по результатам выступлений планеристов на разных соревнованиях. Но на этом пути нет гарантии на удачу. Да и статистики маловато.
Возможен и другой путь решения проблемы - субъективный. Тренерский совет, рассмотрев предложенные варианты расчёта при различных значениях k, может выбрать наиболее верный с их точки зрения и назначить соответствующее значение коэффициента k.
Предложения об изменении ПОЛОЖЕНИЯ о РЕЙТИНГЕ
Подводя итоги разбору полетов, предлагаю перечень изменений, которые, с моей точки зрения, следует ввести в действующее ПОЛОЖЕНИЕ о РЕЙТИНГЕ.
ИЗМЕНЕНИЕ 1:
Было:
2.1. Величина рейтинга для спортсмена на текущий год определяется результатами базовой последовательности зачётных полётов, включающей в себя последний, выполненный спортсменом зачётный полёт и столько ранее выполненных в обратном хронологическом порядке зачётных полётов, сколько требуется, чтобы приведённая сумма их - S(i), полученная по формуле (4), равнялась или минимально превышала значение 12. Если спортсмен не набирает за последние 4 года базовую совокупность полётов, то официальный рейтинг ему не назначается.
Предлагается:
2.1. Величина рейтинга для спортсмена на текущий год определяется результатами базовой последовательности зачётных полётов, включающей все зачётные полёты, выполненных им за последние 4 года. Если приведённая сумма зачётных полётов для спортсмена - S(i), полученная по формуле(4), составляет менее 12, то официальный рейтинг ему не назначается.
ИЗМЕНЕНИЕ 2:
Было:
3.6. Соревновательные очки Pc(i, j), полученные i-м спортсменом в j-ом зачетном полете (по протоколу соревнований) преобразуются в зачетные очки Pz(i, j):
(5)
Предлагается:
3.6. Соревновательные очки Pc(i, j), полученные i-м спортсменом в j-ом зачетном полете (по протоколу соревнований) преобразуются в зачетные очки Pz(i, j):
(5)
где: k= … <значение k назначается тренерским советом>
Ссылки
1. Рейтинг на 2006 г.
< http://www. *****/RUS/Rating/Rus_Rating_3.php >
2. Положение о рейтинге спортсменов-планеристов. ФПлС 2005г.
Утверждено на Бюро ФПлС РФ в качестве действующего.
< http://www. *****/RUS/DOC/RatRules05.doc >
3. Положение о рейтинге спортсменов-планеристов. ФПлС 16.07.97г.
(действие отменено на Бюро ФПлС РФ )
< http://www. *****/RUS/DOC/pol_rank. zip >
4. Ю. Кузнецов. ”О РЕЙТИНГЕ”. Обоснование предложения об изменении действующего положения о рейтинге спортсменов-планеристов.
< http://aeroclub.msk.ru/club/articles/doc/raiting.zip >
5. В. Зайцев. “И опять о РЕЙТИНГЕ... Обстоятельный анализ ситуации вокруг рейтинга спортсменов-планеристов” < http://aeroclub.msk.ru/club/articles/doc/rait_zaj.zip >
Приложение:
Файл “Рейтинг - эксперименты. xls” находится в архиве:
< http://www. *****/RUS/DOC/Articles/Reiting-to-exlore. rar >
