Оценка эффективности (совершенства) (стр. 2 )

1)  если некоторое значение zi является наименьшим из всех осталь­ных:

z1, … , zi-1, zi+1, … , zn

то ему назначается предварительный ранг ri = 1 и заносят в графу bх таб­лицы 6.2.

2)  выбирается следующий наименьший по величине ранг zk (k≠i) , ему назначается предварительный ранг 2 и заносят в ту же графу той же таблицы;

3) если некоторое подмножество средних значений показателей места zu и zv (u ≠ v) отличаются не более чем на ∆z ,

то всем им назначаются одинаковые предварительные ранги, как среднее по числу их возможных порядковых мест ( см. пример 6.1); правильность назначения рангов проверяется экспертом по их общей сумме, которая должна быть равна

Расчет этой оценки в отчетах по лабораторным работам приводить не следует; формула (6.3) исходит из статистических оценок характеристик четвертого момента нормального распределения и заданный точности результатов до второго знака после запятой (см [2] и [1д, с.311]

4) следующей важной характеристикой является-среднеквадратичное отклонение, позволяющее сформировать доверительный интервал

7 Определение компетентности экспертов может быть выполнена рядом способов, в частности :

а) по взаимному оцениванию (см. дополнительно [2]):

а1. Составляются списки экспертов в количестве экземпляров по числу m экспертов;

а2. Каждый эксперт индивидуально проставляет ранги своим коллегам и дает также ранговую самооценку;

а3. Проектант ( заказчик, организатор и пр.) получает m оценок и рассчитывает коэффициент компетентности по формуле

где rj‑значение ранга j эксперта по оценкам мест bj экспертов:

здесь bj место, назначенное h-ым экспертом j-му эксперту, включая и самого себя, то есть при h=j

в) по коэффициентам ранговой корреляции

в1.Выстраивается ряд рангов:

в2. Под значениями рангов ряда β (см. таб.6.2) записывается ряд βj ‑ назначения рангов j экспертом.

в3.Коэффициент ранговой корреляции расчитывается по формуле Спирмена:

где и

4. Коэффициент компетентности

(6.7)

8.Повторное ранжирование показателей с учетом компетентности экспертов осуществляется на основе таб. 6.2 , приведенной в п.6, а соответствующие оценки определяются по формулам:

	(6.8)

Далее формируется графа β*- окончательных рангов. Для экспертов вновь проверкой служит сумма рангов в графе β* и, если она равна 0,5n(n+1),то окончательные ранги определены правильно и можно переходить к определению показателя согласия экспертов, что и позволит заключить состоялась или нет экспертиза. При этом используются доверительные интервалы, которые дают представление о степени точности и надежности оценки установленных рангов рассматриваемых величин.

Схема формирования окончательных рангов включает:

1.Определение коэффициента Стьюдента (см., в частности, [2], таб 5 , с.76), где выбираемый уровень доверия по вероятности., а аналог числа опытных оценок ( в нашем случае число экспертов за вычетом 1)

2. Определение доверительного интервала Δ по соотношению

,

(6.9)

откуда средняя длина интервала

(6.10)

где =min {,}, определяемых соответственно по формулам (6.3) и (6.8). При ‑ выбор безразличен и в качестве может быть принята любая из этих величин.

3.Определение окончательных рангов путем последовательного покрытия множества или ( в зависимости от значения ) интервалом длинной . Обычно удобно начинать с

Є

Для всех покрытых интервалом длиной , устанавливаются одинаковые ранги. При этом, если начиная с некоторого при последующим покрытии войдут в новый интервал, то места в новом интервале будут равны рангам прежнего интервала, а их прежние ранги исключены из состава рангов . Здесь некоторый поднабор из набора V, а величины поднабора , удовлетворяющие условию .

9.Определение коэффициента значимости ( весов) показателей осуществляется путем их расчета по формуле

(6.11)

где –окончательный ранг i-го показателя с учетом компетентности экспертов ( см. столбец таб. 6.2)

В зависимости от значений весовых коэффициентов,- чем выше, тем,- важнее,- производиться отбор параметров, которые войдут в обобщенный показатель эффективности (ОПЭ).

Обычно выбирают 3-10 важнейших показателей качества системы. Ниже приводится пример, иллюстрирующий и в отдельных случаях детализирующий, методику выбора ведущих показателей системы.

Пример 6.2 Положим, что получены результаты экспертизы (m=6 экспертам) степени влияния параметров (n=10) на ход некоторого процесса или состояние некоторого объекта; каждый эксперт ранжировал множество параметров по принципу: 1-ое место наиболее «значимому» параметру, а последнее наименее влияющему ( допускаются и равные места, тогда всем им, присваивается ранг, равный среднему суммы мест, которые они могли бы занять ). Эти данные приведены в таб. 6.2.1: и эксперты

Таблица 6.2.1

	Эксперты
1	2	3	4	5	6
1	6	7	8	7	8	5	6,83	1,37	7	7	7
2	2	1	3	1	2	4	2,17	1,37	2	2	2
3	8	10	7	8	7	10	8,33	1,87	8,5	9	8
4	5	4	5	6	6	3	4,83	1,37	5	5,5	5
5	1	2	1	3	1	4	2	1,60	2	2	2
6	6	9	9	10	10	7	8,5	2,7	8,5	9	9,5
7	9	8	10	9	9	9	9	0,4	10	9	9,5
8	2	3	2	2	3	1	2,17	0,57	0,75	2	2
9	7	6	6	5	5	6	5,83	0,57	6	5,5	6
10	4	5	4	4	4	2	3,83	0,97	4	4	4

Схема определения рангов параметров включает предварительную и окончательную их оценки: