Лекция 5. Экспертные методы оценивания

Лекция 5. Экспертные методы оценивания

Экспертные методы оценивания применяются в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов.

Организация экспертных работ

Сущность экспертных методов как при решении задач исследования систем, так и при использовании их в практике принятия решений заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Наиболее распространенными экспертными методами в принятии решений по управлению являются:

метод рангов (ранжирования); метод непосредственного оценивания (балльный); метод взвешивания экспертных оценок; метод сопоставлений (в частности, метод парных сравнений) метод анализа иерархий (МАИ).

Каждый из названных методов имеет много общего с другими. Различие состоит в том, что оценивание (измерение) изучаемых объектов (или целей) осуществляется по-разному. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общие достоинства экспертных методов:

быстрота получения результатов; возможность оценивания того или иного объекта при невозможности измерить его характеристики количественными объективными методами.

К недостаткам экспертных методов можно отнести:

субъективность и соответствующие этому возможные погрешности результатов экспертизы; существенные затраты на привлечение опытных экспертов для участия в экспертных работах; влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Все методы экспертного оценивания предполагают последовательность следующих этапов:

организация экспертного оценивания; проведение сбора мнений экспертов; обработка результатов мнений экспертов.

Экспертную группу составляют специалисты по решаемым проблемам, а формирует ее руководитель (организатор) рабочей группы. Руководитель осуществляет:

постановку проблемы и определяет область деятельности группы; составляет предварительный список экспертов – специалистов в рассматриваемой области деятельности; анализирует качественный состав предварительного списка экспертов и уточняет список; получает согласие экспертов для участия в работе; составляет окончательный список экспертной группы.

Число экспертов в экспертной группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, наличия возможностей и т. п. Подбор конкретных экспертов проводится на основе анализа качества работы каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов; коллективная оценка кандидата в эксперты как специалиста в данной области; самооценка кандидата в эксперты.

Однако всем этим методам присущи определенные недостатки, в том числе: отсутствие единой общепризнанной методики оценки; высокая трудоемкость оценки; возникновение проблем этического характера при использовании субъективных методов оценки. В ходе указанной работы зачастую применяют одновременно несколько способов: самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные. Таким образом, указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное) и каждая из них имеет ряд разновидностей:

анкетирование; интервьюирование; дискуссия; мозговой штурм; совещание; деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях каждая из этих разновидностей используется совместно с другими, что зачастую обеспечивает больший эффект и объективность.

Наиболее часто в практике исследования и проектирования социально-экономических систем используется анкетирование. Обычно процесс разработки анкеты включает:

определение формы и содержания обращения к эксперту; выбор типа вопросов; формулировку вопросов; изложение необходимой для эксперта информации; разработку формы анкеты.

Представляют интерес типы вопросов, среди которых наиболее употребительными в последние годы стали: веерный (предполагает один ответ из представленного заранее в анкете ряда ответов), закрытый (предполагает ответы типа «да», «нет», «не знаю») и открытый (вопрос, ответ на который может быть дан в произвольной форме).

Для ответов на вопросы, т. е. для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее методов (рангов, непосредственного оценивания, сопоставлений, МАИ). Используются следующие типы экспертных шкал.

Количественные шкалы

Абсолютная шкала. Если требуется определить количество мест в аудитории или количество работников, необходимых для выполнения определенной операции, то число, являющееся результатом подобных измерений, определяется однозначно и является единственным. В этом и заключается особенность абсолютной шкалы. Шкала отношений предполагает возможность производить измерения в различных системах единиц, но использовать не абсолютные значения оценок, а брать их отношения. Так, например, если оценивать массу предмета в килограммах, получим одно числовое значение, в фунтах – другое. Однако какой бы системой измерений ни пользоваться, отношение масс любых двух предметов будет одинаково и при переходе от одной системы к другой не меняется. То же самое наблюдается и при измерении длины предметов. Шкала интервалов (шкала разностей), в которой числа шкалы упорядочены по рангам и разделены интервалами, нулевая точка выбирается произвольно. В шкале интервалов при переходе от одной системы измерений к другой отношения числовых значений оцениваемых альтернатив не сохраняются, однако сохраняется отношение разностей числовых оценок. Примером измерений в шкале интервалов является определение температуры, которую, как известно, можно измерять по разным шкалам: Цельсия, Фаренгейта и т. д. Каждый раз мы будем получать разные числа, т. к. в различных шкалах используются различные точки начала отсчета и различные единицы масштаба измерений. Но эти разные числовые оценки соответствуют одной и той же температуре объекта.

Качественные шкалы

Шкала наименований (номинальная шкала) простейшая из всех шкал. Суть измерений оцениваемых альтернатив в этой шкале – разбиение их на классы по определенному признаку. Всем альтернативам, попавшим в один класс, должно соответствовать одно и то же число. Примерами измерений в номинальных шкалах может служить разбиение студентов одного курса на группы, разделение изделий по уровням качества (сортам) и т. д.; Порядковая шкала. Места, занимаемые в шкале, называются рангами, а сама шкала  ранговой или неметрической. Интервалы между рангами точно измерить нельзя. Шкала позволяет не только установить факт равенства или неравенства измеряемых объектов, но и определить характер неравенства в виде суждений «больше  меньше», «лучше  хуже» и т. п. Допускает измерение качественных, не имеющие строгой количественной меры, показателей (примеры: мотивация к работе, коммуникабельность и т. п.);

Метод рангов

Метод предполагает ранжирование (упорядочение) исследуемых объектов (целей) системы в зависимости от их относительной значимости (предпочтительности), когда наиболее предпочтительному объекту присваивается первый ранг, а наименее предпочтительному – последний ранг, равный по абсолютной величине числу упорядочиваемых объектов.

При расстановке объектов по рангам одним экспертом сумма рангов должна равняться сумме чисел натурального ряда от 1 до N

S = 1 + 2 + ...+ N = N × (1+N ) /2 ,

где N – число объектов оценивания.

Результирующие ранги объектов ранжирования по данным опросов определяются как сумма рангов для каждого объекта, полученная от всех экспертов. При этом в итоге результирующий первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний – тому, у которого оказалась наибольшая сумма рангов.

Для каждого объекта может быть вычислен коэффициент весомости Wi по формуле:

Wi = (N + 1 - Ri ) /S,

где Ri – результирующий ранг объекта, i – номер объекта, N – число объектов оценивания.

Пример определения результирующего ранга трех объектов семью экспертами приведен в таблице 2.

Таблица 2. Результаты оценивания объектов методом ранжирования

Объект	Эксперты	Сумма рангов объекта	Результирующий ранг объекта Ri	Весомость объекта Wi
1	2	3	4	5	6	7
1	1	2	2	1	2	1	2	11	2	0,33
2	2	1	1	2	1	2	1	10	1	0,50
3	3	3	3	3	3	3	3	21	3	0,17

S = N × (1+N ) /2 = 3 × 4/2 = 6

W1 = (3+1-2)/6 = 1/3=0,33

W 2 = (3+1-1)/6 = 1/2=0,5

W 3 = (3+1-3)/6 = 1/6=0,17

Наивысший ранг получает объект 2, весомость этого объекта также наивысшая.

Этот метод позволяет определить место исследуемого объекта среди других объектов.

Его достоинство состоит в простоте, а к недостаткам относятся:

невозможность с достаточной точностью ранжировать объекты, число которых больше 15–20; определение значимости исследуемых объектов.

Данный метод сравнительно редко применяется в практике исследования, несмотря на свою простоту и малую трудоемкость. Это объясняется, чаще всего, большим числом подлежащих ранжированию объектов исследования.

Метод непосредственного оценивания

Метод предполагает упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наибольшее количество баллов по принятой шкале. Наиболее распространен диапазон шкалы оценок: от 0 до 1; от 0 до 5; от 0 до 10; от 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный» и т. п., что также иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Непосредственное оценивание следует применять при полной уверенности в профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и весомость (значимость) каждого исследуемого объекта (пример оценивания трех объектов по десятибалльной шкале приведен в таблице 4).

Таблица 4. Результаты непосредственного оценивания объектов

Объект	Эксперты	Сумма баллов объектов	Результирующий ранг объекта Ri	Весомость объекта Вi
1	2	3	4	5	6	7
1	7	6	5	6	4	7	8	43	2	0,36
2	9	10	8	7	5	8	10	57	1	0,47
3	4	1	2	4	3	5	2	21	3	0,17

По результатам оценок экспертов весомость любого объекта можно определить по формуле:

,

где Bi  весомость i-го объекта ( i = 1,2,...,n ), рассчитанная на основании оценок экспертов ( j = 1,2,...,k ); Aij  оценка (в баллах), данная i-му объекту j-м экспертом.

Для объекта 1: В1 = 43/(43+57+21)=43/121=0,36 В2 = 57/121=0,47 В1 = 21/121=0,17 Наибольшей весомостью обладает объект 2. На основе анализа оценок экспертов предпочтение следует отдать объекту (цели) с номером 2. Метод взвешивания экспертных оценок

Пусть имеется m экспертов: Э1, Э2, Э, Эm, которые характеризуются оценками компетентности: R1, R2, ..., Rm. Каждый эксперт независимо от других экспертов проводит оценку  n объектов (или целей): Z1, Z2, ..., Zn. В результате m независимых экспертиз получена матрица весомости объектов (целей)  {Аij}(i=1,…,n; j=1,…,m):

Эi/Zi	Z1	Z2	...	Zn
Э1	А11	А 12	...	А 1n
Э2	А 21	А 22	...	А 2n
...	...	...	...	...
Эm	А m1	А m2	...	А mn

Рассмотрим применение метода на примере. Два эксперта Э1 и Э2 проводят оценку 4-х объектов (целей): Z1, Z2, Z3, Z4. В результате получена матрица весомости объектов:

Эj/Zi	Z1	Z2	Z3	Z4
Э1(R1)	0,5	0	0,33	0,17
Э2(R2)	0,5	0,13	0,2	0,17

Известны оценки компетентности экспертов:

Э1 → R1 = 4,5

Э2 → R2 = 8

Вычислим относительные оценки компетентности экспертов:

Z1 = 4,5/12,5 = 0,36

Z2 = 8/12,5 = 0,64

Найдем искомые веса объектов с учетом компетентности экспертов:

W1 = 0,5⋅0,36 + 0,5⋅0,64 = 0,5

W 2 = 0⋅0,36 + 0,13⋅0,64 = 0,08

W 3 = 0,33⋅0,36 + 0,2⋅0,64 = 0,25

W 4 = 0,17⋅0,36 + 0,17⋅0,64 = 0,17

Проверка: сумма Wi должна быть равна 1.

Получаем предпочтения целей: Z1, Z3, Z4, Z2

Метод парных сравнений

При парном сравнении один эксперт последовательно сравнивает пары исследуемых объектов, устанавливая предпочтение в каждой паре: лидеру пары ставит 1, другому объекту пары – 0. Иногда эксперт не может определить лидера, тогда каждому объекту он ставит по 0,5. Пример оценивания одним экспертом семи объектов приведен в таблице 3.

Таблица 3.  Результаты оценивания объектов методом парного сравнения

Объект	1	2	3	4	5	6	7	Количество предпочтений объекта	Ранг объекта	Весомость объекта
1	Ч	1	0	0	1	0	0	2	6,5	0,054
2	0	Ч	1	1	1	1	0	4	1,5	0,232
3	1	0	Ч	0	1	0	1	3	4	0,143
4	1	0	1	Ч	0	0	1	3	4	0,143
5	0	0	0	1	Ч	1	0	2	6,5	0,054
6	1	0	1	1	0	Ч	1	4	1,5	0,232
7	1	1	0	0	1	0	Ч	3	4	0,142

Чем больше количество предпочтений, тем выше ранг объекта (ранги располагаются по возрастанию). Объект с наибольшим количеством предпочтений получает первый ранг. Затем номер ранга возрастает с убыванием количества предпочтений. В случае совпадения количества предпочтений (например, объекты 2 и 6 имеют одинаковое количество предпочтений 4) сумма рангов делится пополам. В данном случае одному объекту соответствовал бы ранг 1, а другому – ранг 2. В результате каждый объект получает ранг 1,5.

Для объектов 3, 4, 7 с равным количеством предпочтений 3 сумма рангов 3+4+5=12 делится на 3. Каждый объект получает ранг 4.

Объекты 1 и 5 имеют равное количество предпочтений 2. Сумма их рангов 6+7=13 делится на 2. Каждый объект получает ранг 6,5.

Таким образом, наиболее предпочтительными являются объекты 2 и 6. Определим весомость объектов:

S = N × (1+N ) /2 = 7 × 8/2 = 28

W5=W1=(N + 1 - Ri ) /S = (7+1-6,5)/28=0,054

W2=W6=(N + 1 - Ri ) /S = (7+1-1,5)/28=0,232

W3=W4= W7=(N + 1 - Ri ) /S = (7+1-4)/28=0.142.