Оценка эффективности (совершенства) (стр. 1 )

Оценка эффективности (совершенства)

1.Определения касаются основных понятий: свойства, качества, эф­фек­тивность, совершенство, частные и обобщённые показатели, крите­рии.

1)  Свойство, как отмечалось ранее (л.5) это унарное отношение на множестве объектов, устанавливающее отличие между объектами.

2)  Качество это степень соответствия продукта (в том числе и ПО) требованиям к тем функциям, которые данный продукт должны выпол­нять. Качество должно быть измеримым, то есть должна быть установлена шкала уровней качества.

Примечание: функция продукта не может являться каким-либо из частных показателей качества, однако само количество функций, выполняемые объектом может быть одним из част­ных показателей качества.

3)  Понятие эффективности и совершенства близки по содержа­нию, ко­торое в них обычно вкладывается. Однако некоторые различия имеются:

3а) Эффективность - понятие, связанное с качеством выполне­ния тем или иным объектом своих функции. Показатели качества (ча­ст­ные показатели эффективности) обычно задаются неравенствами xн < x или x < xв, где xн, xв нижняя и верхняя критериальные границы рассматривае­мой величины. Эффективность связана с эффектом (действием).

3б) Совершенство, как понятие также связано с качеством, но не столько с действием (эффектом), сколько с состоянием (совершенное оборудование жилого помещения, учреждения, совершенная форма и ком­поновка блоков ЭВМ и т. п.). Можно в отдельных случаях, напри­мер, оборудование служебного помещения связать с производитель­ностью и употребить тогда понятие “эффективность”. Но чаще всего подобные употребления будут выглядеть мало уместными.

4)  Частные и обобщенные показатели эффективности (совершен­ства) – это характеристики – измеримые величины рас­сматриваемых свойств. Обычно тот или иной продукт нельзя оценить на основе характе­ристики одного свойства и тогда его качество можно оценить некоторой сводной (обобщенной) величиной - Обобщенным Показателем Эффек­тивности (ОПЭ) или другое наименование, - Целевой Функцией (ЦФ). Последнее название связано с целью, кото­рая ставится при проектировании характеристик качества системы, объекта и т. д.

В сущности, центральной задачей системного проектирования и явля­ется формирование ОПЭ (ЦФ), опираясь на требования техниче­ского зада­ния и характеристики качества аналогичных продуктов, объектов и систем.

2. Порядок формирования ОПЭ включает:

1.  Выбор и представление общей схемы системы (программного ком­плекса) на уровне основных подсистем (блоков).

2.  Формирование группы экспертов (не менее 5-6 экспертов-см[2]).

3.  Описание характеристик системы и отдельных устройств.

4.  Предварительное ранжирование характеристик системы.

5.  Определение компетентности экспертов.

6.  Повторное ранжирование характеристик с учетом компетентно­сти экспертов.

7.  Определение показателя согласия экспертов.

8.  Определение коэффициентов значимости частных показате­лей.

9.  Выбор шкал измерений и нормирование частных показателей.

Примечание: В дальнейшем из всех возможных шкал: наименования, бальной, интервальной и отношений, рассматривается только бальная.

Это связано с тем, что чаще всего уровень многих характеристик сложных систем можно оп­ределить лишь в бальной шкале (см. в этой связи [2] с.12-16). Одновременно следует иметь в виду, что все частные показатели, изме­ряемые в интервальной или в шкале отношений нецелесообразно оценивать в бальной шкале (это без основания “загрубляет” измерение). В необходимых случаях приведение к единой шкале осуществляется нормировкой показа­телей (отображением на отрезок [0,1]).

10.  Формирование шкалы балльных оценок.

11.  Выбор и формирование обобщенного показателя эффективно­сти (со­вершенства).

12.  Определение индивидуальных и групповых вкладов частных показа­телей.

В этом пункте целесообразно дать анализ полученного обобщен­ного показателя эффективности (совершенства).

3.Выбор и представление общей схемы в качестве исследуемых объектов могут быть использованы схемы информационных потоков, информационных систем, компью­тера, а так же инициативные предложения.

При проектировании программ целесообразно провести струк­туру всего комплекса ПО, в который предлагается включить разраба­тываемую программу. Здесь же описывается роль программы и ре­шаемые ею задачи в комплексе ПО.

4.Формирование группы экспертов осуществляется из числа специалистов, которые обладают про­фес­сиональными знаниями в рассматриваемой области проектирова­ния. Группа экспертов должна включать не менее 5 и не более 10 лиц.

Обычно проектант нуждается лишь в заключениях экспертов и не должен оказывать никакого влияния на их оценки. Роль проектанта со­стоит в технической организации экспертизы и в обработке полу­ченных результатов.

5.Описание характеристик (частных показателей) системы отбирается не менее 10-15 показателей, которые эксперты счи­тают важней­шими при определении качества проектируемого объ­екта. Удобно офор­мить данный отбор в виде таблицы, аналогично приводимой ниже.

Таблица 6.1

№ пока­зате­лей	Наимено­вания частных пока­зателей - xi	Наименова­ние характери­зуемого объекта	Шифры, марки и т. п.	Пас­портные данные в физических единицах
1	2	3	4	5
1 . . . . i . . . n	x1 xi xn

Примечание: Графа 1 n = 10‑15 показателей

Графа 2 например:

x1-информационная ёмкость экрана;

.

.

.

xi-тактовая частота.

Графа 3 по тем же показателям:

x1-дисплей

.

.

.

xi-компьютер

Графа.4:

х1- CD

.

.

.

xi-Pentium

Графа.5:

х1- 640х200=1,28*105пикселей; I=2,56*105байт (смотри [М3]).

.

.

.

xi-50 МГц.

6.Предварительное ранжирование частных показателей. имеет цели: получить данные для расчёта коэффициентов значимости показате­лей и оценок компетентности экспертов. При этом каждый эксперт инди­видуально осуществляет расстановку пока­зателей по рангам с первого, представляющегося наиболее важным, до n-ого, который, по мнению экс­перта наименее значим. Если же не­сколько показателей, по мнению j-ого эксперта имеет одинаковое влияние (вес), то последовательные их места суммируются и вычисля­ется среднее значение, которое и присваивается в качестве ранга дан­ным одинаковым показателям.

Пример 6.1: Пусть некие четыре показателя из n показателей имеют, по мнению j-ого экс­перта, равные веса и должны занимать места i+1, i+2, i+3, i+4. Тогда ранги каждого из этих пока­зателей будут

c= c= c= c== i+2,5

Все данные экспертов и последующие расчетные оценки целесообразно свести в таблицу, подобную таб. 6.2

Таблица 6.2

эксперты	1	…	j	…	m	z	σ2	β	z*
показатели
1		…		…
.	.				.	.	.	.	.	.	.	.
.	.				.	.	.	.	.	.	.	.
.	.				.	.	.	.	.	.	.	.
.		…		…
.	.				.	.	.	.	.	.	.	.
.	.				.	.	.	.	.	.	.	.
.	.				.	.	.	.	.	.	.	.
n		…		…

Здесь: с- ранг i-ого показателя, назначенный j-ым экспертом;

zi=

(6.1)

среднее значение места i-ого показателя по данным всех m экс­пертов;

=

(6.2)

среднее квадратичное отклонение i-ого показателя места от его среднего значения zi.

Далее осуществляется выставление предварительных рангов по всем i-тым показателям по схеме: