Парадигма развития науки. Методологическое обеспечение (стр. 75 )

Отметим характер использования алгоритма в последнем слу­чае: упорядочения, составившие ядро, представляют собой, по су­ществу, новый фактор, агрегирующий осредненные экспертные предпочтения по трем «чистым» признакам. При этом упорядоче­ния, соответствующие частным признакам, являются «вариация­ми» упорядочения, составленного по агрегированным пока­зателям.

Вторая экспертиза НИР. По результатам проведенного ана­лиза в методику экспертного оценивания был внесен ряд измене­ний. Одно из них было связано со способом назначения балльных оценок и имело целью создать предпосылки для одинаковой «настройки» экспертов, т. е. для приведения их систем субъек­тивных ценностей к некоторой, по возможности одинаково пони­маемой системе. С этой целью во второй экспертизе на шкалах задавались оценки «эталонных» объектов, одним из которых, на­пример, служило представление экспертов о типичной работе в определенной научной школе.

Оценивание НИР на этот раз производилось по четырем част­ным признакам и одному обобщенному признаку, т. е. по сово­купному представлению о достоинствах НИР. Оценки по послед­нему признаку эксперты выражали сразу в виде ранжировки ра­бот. Это позволило подвергнуть проверке гипотезу о том, что у эксперта в процессе работы складывается некоторое общее пред­ставление о совокупных достоинствах оцениваемых работ, кото­рое находит отражение в ранжировке по обобщенному признаку и составляет ядро упорядочений по «чистым» признакам.

Для иллюстрации того, как проявляется этот феномен, приве­дем один пример. В верхней части таблицы 10.2 выписаны упорядочения по четырем частным признакам, а в нижней, отделенной чертой части,— соответствующее им ядро.

Таблица 10.2

Восьмой объект в этой комиссии был третьим эталонным объектом («типичная работа»). Как видно из самой таблицы, упорядочения объектов по част­ным признакам у этого эксперта варьируются вокруг упорядоче­ния, представляющего собой разбиение оцениваемого набора объ­ектов на три упорядоченных класса эквивалентных друг другу объектов.

Теперь обратимся к таблице 10.3.

Таблица 10.3

В ней по сравнению с данны­ми таблицы 10.2 добавлено еще одно упорядочение оцениваемых работ по совокупному представлению об их достоинствах, полу­ченное от того же эксперта. Ранги эталонного объекта (8) отсут­ствуют, поскольку он не принимался во внимание при оценива­нии по обобщенному признаку. Ядро теперь состоит из двух упо­рядочений. Первое совпадает с упорядочением, составляющим яд­ро при четырех признаках (табл. 10.2). Второе упорядочение как бы «уточняет» первое и представляет собой разбиение, уже до­вольно тонко «различающее» оцениваемые НИР: 7 работ разби­ваются на 4 упорядоченных класса. Из непосредственного оцени­вания видно, что это упорядочение очень «близко» к упорядоче­нию по обобщенному признаку.

Обратимся теперь к таблице 10.4.

Таблица 10.4

В этой таблице приведены невырожденные ядра по результатам обработки экспертных оце­нок в комиссии № 3. В ней выписаны четыре упорядочения, каж­дое из которых составило ядро соответствующей совокупности упорядочений. Первые три упорядочения получены по оценкам, которые три эксперта проставили НИР по четырем частным при­знакам. Четвертое упорядочение составляет ядро по оценкам НИР всеми экспертами комиссии по одному частному признаку.

Как видно из этой таблицы, в «середине» исследованных со­вокупностей экспертных суждений лежит довольно «грубое» разбиение оцениваемого набора объектов на два упорядоченных класса эквивалентных друг другу объектов. Аналогичные резуль­таты получены по данным комиссии № 2.

Проведенный анализ экспертных оценок экспертизы НИР показал общее повышение примеров согласия в смысле принципа Парето, и, хотя не все исследованные совокупности упорядочений дали интересные, невырожденные решения, однако даже в экспер­тизе, по своей методике не ориентированной на получение груп­повых решений, удовлетворяющих принципу Парето, мы наблю­даем интересные примеры согласованности в исследуемом здесь смысле.

Третья экспертиза НИР. Если на данных второй экспертизы геометрический подход применялся для проверки гипотезы о ме­ханизме многопараметрического индивидуального оценивания, то данные последней экспертизы были использованы для дальней­шего исследования механизма «группового» оценивания.

На основе агрегированных показателей научно-исследователь­ских работ, подсчитанных для восьми комиссий, было составле­но 16 групп (по 8 для каждого из двух аспектов) — в среднем из семи упорядочений каждая. Только одна группа упорядочений дала искомое решение. Таким образом, совокупности агрегиро­ванных показателей, как и в предыдущих экспертизах, оказались непригодными для построений коллегиальных решений, удовлет­воряющих принципу единогласия Парето.

Другая картина наблюдается при анализе упорядочений, соот­ветствующих средним оценкам признаков для каждого аспекта в отдельности. Как видно из таблицы 10.5, в большинстве случаев были получены коллективные решения.

Таблица 10.5

Близкие к приведенным в таблице 10.5 результаты были по­лучены (табл. 10.6) при анализе пар упорядочений, полученных по агрегированным показателям с учетом стандартных отклоне­ний для каждой работы, рассчитанных по формуле

где— согласованная по эталону оценка п-й работы по

j-му признаку у т-го эксперта, — коллективная оценка

по признаку, т0 — число экспертов в данной комиссии.

Таблица 10.6

Эти дан­ные свидетельствуют о том, что учет стандартных отклонений дает возможность получать искомые групповые решения, хорошо согласующиеся с упорядочениями, соответствующими агрегиро­ванным (по аспектам) показателям.

10.2. Процедура выработки группового решения

Выбор конкретного метода экспертных оценок зависит от ха­рактера решаемой практической задачи и ряда условий, которые при этом нужно соблюдать. Здесь мы кратко остановимся на одном аспекте, связанном с методикой организации экспертного оценивания.

Методики проведения экспертиз, как правило, не содержат в себе операций (тестов, процедур и т. п.), выполнение которых гарантировало бы (хотя бы с достаточной степенью уверенности), что групповое решение будет удовлетворять тем или иным, зара­нее оговоренным требованиям, обладать заранее обусловленными свойствами. Обстоятельство это, как представляется, вырастает в большую и самостоятельную проблему. В практике экспертного метода нередко встречаются ситуации, когда практически ни один из имеющихся в распоряжении исследователя методов обра­ботки не дает удовлетворительных результатов. Например, резуль­таты применения методов факторного анализа или многомерного шкалирования не поддаются разумной интерпретации; ма­жоритарные правила не дают транзитивных отношений; распре­деление частот рангов близко к равномерному; селекция экспер­тов с целью формирования «согласованной» группы не позволяет отобрать нужного минимального количества экспертов; ядра со­стоят только из пустых отношений и т. д. Только «механическое» правило нахождения группового решения в метрическом подходе всегда работает безотказно: любая из просмотренных тем или иным способом точек, дающая минимум суммы расстояний или квадратов расстояний до исходных точек, может быть принята в качестве группового решения.

По своему существу рассматриваемая ниже идея использова­ния эталонных объектов очень близка к механизму, обусловли­вающему существование невырожденных решений. Последнее означает, что во множестве рассматриваемых объектов существу­ет такое его подмножество, которое мы будем называть эталон­ным, что предпочтения экспертов на нем полностью совпадают. При этом все эксперты согласны так же и с тем, что остальные, не входящие в это множество элементы, одинаковым образом группируются в классы эквивалентности, а последние одинако­вым образом располагаются (упорядочиваются) между элемента­ми эталонного множества.

В плане дальнейшего развития геометрического подхода эти соображения были использованы для построения процедуры экспертного оценивания, которая способствовала бы выработке группового решения, удовлетворяющего принципу Парето.

Процедурой выработки решений будем называть конечную последовательность операций (операций в широком смысле этого слова), ориентированных на получение решений, обладающих на­перед заданными свойствами. В терминах геометрического подхо­да процедура выработки решения должна быть ориентирована на получение в общем случае невырожденных групповых отношений, удовлетворяющих принципу Парето на согласование ин­дивидуальных предпочтений.

Рассмотрим одну из возможных процедур. Мы будем разли­чать в этой процедуре итерации и шаги. Каждая итерация состо­ит из двух шагов. Номер итерации будет обозначаться индексом s над символами отношений и множеств.

s-я итерация. На первом шаге экспертам предъявляется все множество объектов для выработки индивидуальных предпочтений, и в результате этого предъявления в пространстве получается некоторое множество точек Xs — множество отношений индивидуального предпочтения. Ядро этого множества Xs обозначим через а через — максимальное отношение из Отношение представляет собой упорядоченное разбиение оцениваемой совокупности объектов на несколько классов эквивалентности, в том числе может быть вырожденным отношением, т. е. полной эквивалентностью. Пусть теперь мы имеем произвольное невырожденное отно­шение линейного квазипорядка Отношение будем называть опорным отношением. Рассмотрим отношение безразличия для которое будем обозначать через Этому отношению соответствует разбиение множества объектов А на классы: где I — число классов.