Нужна новая парадигма в области измерения качества - «Made in Russia»

Нужна новая парадигма в области измерения качества - «Made in Russia»

«Сломать парадигмы непросто. Слишком многие вложили слишком много в ошибочные модели. Поэтому, как Птолемей когда-то пытался всеми силами сохранить веру в свою геоцентрическую систему, в соответствии с которой все планеты вращались вокруг Земли, сейчас будут такие же отчаянные попытки усложнить и улучшить старые парадигмы. Вполне вероятно, что в итоге получатся неплохие модели, но они тоже рано или поздно провалятся. Нужна полная смена парадигмы».

Источник: «Ведомости» от 01.01.2001 (перевод из Financial Times от 01.01.2001) - http://www. *****/finance/analytics/2010/08/20/18653

Ежегодный конкурс на соискание премии Правительства Российской Федерации в области качества подводится по устаревшей методике Европейского фонда управления качеством (EFQM). По данным на сайте[1] премии и в 2010 году будет подводится по методике EFQM 2004 года (см. рис.1).

Предпосылки и история создания Модели EFQM

В конце 1980-ых, в то время, когда экономика Европы была под угрозой из-за расширения дальневосточных и особенно японских рынков, руководители ведущих европейских компаний приняли решение ответить на вызов в области конкурентоспособности, брошенный Европе.

"Впервые в истории руководиевропейских транснациональных корпораций (тнк), т. е около 7 миллионов человек объединились и простояли целый день на площади.. Выражая интерес, 14 президентов целый день держали все в своих руках! Следовательно это было важно. Все это представляло из себя открытое, объединенное Обязательство к Качеству. Все это производило впечатление" - Comelius der Klugt, прежний Управляющий Philips (Нидерланды) и первый президент EFQM[2].

Организованный в 1988 г. Европейский фонд управления качеством (EFQM) объединил усилия наиболее успешных компаний по распространению последних достижений в менеджменте. В результате в 1991 была разработана Модель делового совершенства EFQM, на основе которой в 1992 году была присуждена первая Европейская премия по качеству. К тому времени уже существовали аналогичные премии Болдриджа (США) и Деминга (Япония), но цели американской и японской премии отличались от EFQM, также как и критерии, лежащие в их основе.

Любая модель управления качеством, поддерживаемая на национальном (региональном) уровне – это крупный бизнес, цель которого продавать раскрученный бренд в области качества для создания дополнительных преимуществ в бизнесе. Когда такая модель и премия поддерживается на правительственном уровне – доверие к ней и ее развитие идет чрезвычайно быстро. Но возникает законный вопрос, зачем на правительственном уровне продвигается западная модель управления качеством (в которую включены существенные методические ошибки), а собственные научно обоснованные и апробированные временем разработки игнорируются? Зачем и главное чем мы платим за чужую (заграничную) интеллектуальную собственность (да еще и продвигаем в России ее устаревшую версию с непонятными для общества целями), а своих «демингов» и «невтонов» игнорируем[3] и не замечаем (хотя их достижения вовсю используются за границей, но уже без ссылок и упоминания на «Made in Russia»).

19 октября 2009 года в своем вступлении на совещании по подготовке Послания Федеральному Собранию Российской  Медведев отметил: "Есть масса вопросов, на которые у нас нет ответов. Например, почему наши интеллектуальные преимущества, которыми мы по праву гордимся, не превращаются в наши экономические достижения? Почему эти интеллектуальные преимущества нам очень трудно поставить на службу обычному человеку?". А как они могут превращаться в экономические достижения, если чиновники Минэкономразвития России не хотят служить обычному человеку (и даже не отвечают на предложения по инновационному развитию3), а Федеральное агентство по техническому регулированию и метрологии поддерживает различные коммерческие и некоммерческие организации, которые занимаются в большей степени продвижением западных технологий и методик в области качества, причем сомнительных с научной точки зрения.

Модель EFQM с момента создания регулярно пересматривалась и обновлялась (последние изменения, причем значительные, произошли в 2010 году). Однако Премия Правительства РФ в области качества до сих пор проводится по устаревшей модели 2004 года, в которой к тому же содержатся изрядное количество методических ошибок.

О рисках (материальных потерь и репутационных) от использования модели EFQM

Согласно Положению о премиях Правительства Российской Федерации в области качества, утвержденному постановлением Правительства РФ от 24.02.99 № 000, в редакциях Постановлений Правительства РФ , , «премии присуждаются ежегодно на конкурсной основе организациям за достижение значительных результатов в области качества продукции и услуг, обеспечение их безопасности, а также за внедрение высокоэффективных методов менеджмента качества». Российские премии по качеству с 2004 года выдаются Правительством после подсчета баллов (в некоторых случаях баллы умножаются на необоснованные коэффициенты: 1,1; 0,8; 1,1; 0,9 и 1,6[4]) по методике EFQM - http://www. *****/qualityaward/instruction при содействии ВНИИС, который выполняет функции Секретариата Совета по присуждению премий Правительства РФ по качеству.

Зададим естественные вопросы (хотя их правильнее было бы задавать не нам, а представителям Счетной Палаты РФ): Почему экспертами ВНИИС выбрана западная методика, которая до сих пор продвигается на российском рынке через Центр экспертных программ ВОК (http://www. *****)? Почему экспертами ВНИИС не разработана собственная методика (с учетом национальных интересов, особенностей и наличия разработанной более 40 лет назад методической базы) ? Почему не использованы наработки прикладной и теоретической квалиметрии – научной дисциплины, в рамках которой изучаются методология и проблематика комплексного, количественного оценивания качества?

По нашему мнению, целью подобных премий должно было быть: способствовать выпуску качественной и конкурентоспособной продукции и услуг путем награждения действительно лучших компаний (а не тех, кто заплатил деньги от 50 до 300 тысяч рублей и сдали 100 отчетных страниц, запрошенных по западной методике). Премия должна быть направлена на привлечение внимание к производителям лучшей продукции и услуг (но лучшим не среди просто участников, а лучшим из достойных и стремящихся к мировому уровню), на повышение престижа и доверия в профессиональной среде, а также превращение опыта победителей в достояние других предприятий страны. При выявлении победителей субъективизм экспертов должен быть сведен к минимуму за счет использования прозрачных, понятных и научно обоснованных методик, иначе цитировать придется не про «невтонов», а - «Хотели как лучше, а получилось как всегда» (кстати говоря, эту фразу премьер-министр Российской Федерации произнес 6 августа 1993 г. на пресс-конференции, рассказывая, как готовилась денежная реформа 1993 года).

Известно, что плохим исполнением можно испортить самую хорошую идею. Использование устаревшей западной методики 2004 года (EFQM) - пример плохого исполнительского мастерства. Хорошая сама по себе идея проведения национальной премии в области качества испорчена непрофессиональным подходом. Покажем это на примерах.

В науке об управлении любыми человеческими коллективами показано: необходимым и достаточным условием достижения успеха в любой работе являются условия, изображенные на рис.1:

Специалистами доказано, что необеспечение любого из показанного на рис. 1 условия означает неизбежное НЕ достижение успешности работы. Секретариат Совета по присуждению премий Правительства РФ по качеству не профессионально подходит и к вопросам оценки успешности номинантов (качества продукции и услуг), и к вопросам их стимулирования (фактически участвуют только те, кто в состоянии заплатить денежную сумму от 50 до 300 тыс. рублей). Т. е. результат проведения премии для общества в целом уже известен - он отрицательный. Кому это выгодно?

Перечислим некоторые из ошибок, которые допущены вследствие применения методики EFQM 2004 года:

Вместо того, чтобы с самого начала обратиться к российскому экспертному сообществу для определения (выбора) основных критериев и коэффициентов важности каждого из критериев при подведении итогов национальной премии по качеству (отдельно для крупных, отдельно для средних и отдельно для малых предприятий), Секретариат Совета по присуждению премий Правительства РФ по качеству копирует западную методику 2004 года, не убедившись в ее корректности и полезности. Значения показателей критериев (в баллах) и весов никак не обоснованы, что означает, что «измерение» показателей деятельности разных номинантов будет проводиться не «стальным» метром, а «резиновым».

Одна из распространенных ошибок – ориентация при определении коэффициентов важности (весов) только на технологию экспертного метода. На самом же деле, существуют и могут применяться (хотя и значительно реже) и аналитические (неэкспертные) методы определения таких коэффициентов. Причем, обеспечивающие большую точность оценки, чем методы экспертные. (Автором одного из таких методов, вероятно, впервые в мире изложенного на строго математической основе, был знаменитый русский механик и кораблестроитель академик ).

Но и тогда, когда используются экспертные методы определения значений коэффициентов важности, из-за незнания основ методологии квалиметрии допускаются большие погрешности. Так, например, в немецкой методике Варентест коэффициенты весомости при их определении округляются до чисел, кратных 5 %. Значит, для свойств относительно маловажных, коэффициенты весомости которых принимаются равными 5 или 10 %, погрешность, вносимая в вычисления, за счет подобного использования огрубленных данных, может достигать 50 и даже более %.

И, наконец, последнее по счету, но не по важности: при экспертном определении значений коэффициентов важности практически не встречаются методики, в которых бы содержались указания на погрешность, с которой вычислены эти коэффициенты. В то время, как в теоретической квалиметрии (см., например, /1/). уже давно обоснованы расчетные формулы, с помощью которых можно решать взаимосвязанные задачи:

а) задавшись доверительным интервалом и доверительной вероятностью, характеризующими желательную точность определения значений коэффициентов важности, определить необходимое число членов экспертной группы;

б) зная число опрошенных экспертов, определить некоторые важные статистические характеристики результатов экспертного опроса (например, погрешность коллективной экспертной оценки).

Разумеется, есть и еще некоторые другие особенности грамотного применения экспертного метода, незнание которых приводит к понижению точности результатов, полученных с помощью экспертов /2/.

При подведении итогов премии отсутствует понятная и прозрачная методика отбора победителей (а вместо этого фактически предлагается приобрести за деньги PR-компанию по использованию в хозяйственной деятельности товарного знака премии, правообладателем которого является Федеральное агентство по техническому регулированию и метрологии[5]). Но позвольте спросить, какое отношение имеет Федеральное агентство по техническому регулированию и метрологии к услугам в Российской Федерации и тем более к качественным?

Разработчики положения о премии наглядно демонстрируют непрофессиональный подход количественного оценивания (в баллах) качественных показателей номинантов при подведении итогов премии.

Пример из положения:

Для каждой составляющей критериев (1а, 1б, ... 5д) выставляются оценки в процентах в соответствии с таблицей 1 отдельно для каждого элемента: совершенство подхода, развертывание подхода, оценка и совершенствование подхода;

на основе выставленных оценок определяется общая (как правило, средняя по элементам) оценка в процентах каждой составляющей критериев 1 -5;

по общим оценкам в процентах каждой составляющей критерия рассчитывается с учетом ее весомости (см. п. 7.5) оценка в процентах каждого критерия группы "возможности";

оценка каждого критерия в процентах переводится в соответствующее количество баллов с учетом его весомости (см. рис. на стр. 6): для критериев 1, 2, 3, 4 и 5 соответственно 1,1; 0,8; 1,1; 0,9 и 1,6.

Пример подсчета баллов и использования странных коэффициентов приведен в документе ВНИИС /5/ - http://www. *****/ot_biblio/normativ/data_normativ/46/46930/index. php

Например, в очень многих методиках оценивания качества (как отечественных, так и зарубежных – например, в известной немецкой системе Варентест) применяется не цифровая, а вербальная технология выражения градаций значений абсолютных показателей свойств. Например, часто используется вербальная шкала с 5-ю градациями: очень хорошо, хорошо, удовлетворительно, неудовлетворительно, очень неудовлетворительно. Иногда, вместо такой вербальной, используют эквивалентную ей цифровую 5-балльную шкалу. Но уже за счет подобного небольшого числа градаций относительная погрешность увеличивается до ± 20 %.

Чтобы уменьшить величину относительной погрешности, нужно, при прочих равных условиях, увеличить количество градаций. Но не в любых, то есть максимальных размерах, а в тех размерах, которые соответствуют психологическим возможностям человека. А эти возможности предопределяют, что оптимальное число градаций должно быть в пределах 10-12. То есть должна использоваться знакомая всем 5-балльная шкала, дополненная промежуточными значениями «+» или «-».

Сходных результатов можно добиться, если использовать не 5-балльную (с «+» и «-»), а 100 %-ую шкалу, с градациями через 10 % (кроме начала и конца шкалы, где возможны и более мелкие градации). Разумеется, все сказанное выше относится к тем свойствам, для показателей которых или очень трудно, или по каким-то причинам – нежелательно использовать для выражения их значений обычные физические единицы измерения.

Критерии, которые выбраны для назначения премии – совершенно произвольные и не подкреплены сколько-нибудь достоверным научным обоснованием. В частности, их разработчики совершенно игнорируют положение, что эти критерии должны представлять не случайный набор показателей, а дерево критериев, правила генерации которых обоснованы в теоретической квалиметрии.

Всем понятно практически (и обосновано теоретически), что оценки качества в очень сильной степени зависят от тех показателей (критериев) свойств, совокупность которых и образует модель качества оцениваемого объекта. Эта зависимость настолько велика, что вполне возможна следующая ситуация: при одном наборе показателей объект А будет лучше по качеству, чем объект Б. А при другом наборе – может быть наоборот: Б лучше А. Понятно, поэтому, что набор показателей, по которым оценивается качество, должен быть как-то однозначно представлен (если и не стандартизирован). Более того, этот набор должен быть как-то упорядочен (декомпозирован) в некоторую иерархическую структуру (дерево свойств). В противном случае, то есть без соблюдения этих двух условий, применительно к одному и тому же объекту оценивания могут получиться совершенно разные результаты – с точностью до наоборот. То есть измерение качества будет проводится не «стальным, а резиновым метром».

Эта не столько вина разработчиков, сколько их беда, вызванная незнанием того – как же выбрать правильный набор показателей, обеспечивающий измерение «стальным метром». Многие даже и не подозревают о существовании такой проблемы. Например, еще в 70-е годы в известном советском экономическом журнале два чрезвычайно уважаемых академика-экономиста опубликовали статью, в которой прямо так и говорилось: «Словом, тем или иным способом декомпозируем качество на отдельные свойства». Но как уже отмечалось, при такой произвольной декомпозиции вполне может возникнуть ситуация «резинового метра».

Чтобы противостоять этой опасности, в квалиметрии обоснован набор правил, следование которым гарантирует получение практически одинаковых деревьев свойств применительно к одному и тому же объекту – даже, если эти деревья синтезировали разные люди, независимо друг от друга (см., например, /3/. Так вот, в подавляющем большинстве случаев при оценивании качества эти правила построения деревьев – не соблюдаются. А это значит, что «линейка», которой измеряют качество, отнюдь не стальная. А это значит, что верить полученным с помощью такой «линейки» результатам можно только с большим опасением.

Например, весьма распространена ошибка, когда в дереве свойств оставляют только те показатели, которые являются наиболее важными. При этом ссылаются на то обстоятельство, что маловажные показатели почти не влияют на оценку качества именно в силу своей незначительной важности. Этот аргумент был бы справедлив, если бы речь шла о неучете только одного маловажного показателя свойства. Но дело в том, что в громадном большинстве случаев исключают из дерева свойств не одно, а очень много свойств. А суммарная важность всех этих свойств может быть весьма значительной, серьезно увеличивающей погрешность итоговой оценки качества.

Еще один (из очень многих) пример. Нередко, сравнивая по качеству два (или больше) варианта объекта одного типа, для уменьшения трудоемкости расчетов исключают из рассмотрения те свойства, которые в одинаковой степени выражены в сравниваемых вариантах. При этом трактуют результаты оценивания таким образом, как будто они выражены в шкале отношений (то есть позволяют получить информацию не только на сколько один вариант отличается по качеству от другого, но и во сколько раз проявляется это различие). На самом же деле, при подобном исключении одинаково выраженных свойств обычно невозможно получить результаты оценивания не только в шкале отношений («во сколько раз») , но и в шкале интервалов («на сколько»). В этом случае оценки качества могут быть выражены только в шкале порядка – то есть давать информацию о том, кто лучше по качеству, но не на сколько лучше и, тем более – не во сколько раз лучше.

Если по методике EFQM премия по качеству Правительства РФ будет повторяться и в последующие годы, то она может превратиться в раздачу «фантиков» за деньги (особенно если наличие подобных премий будет влиять на получение грантов или победу в конкурсных торгах). При этом подобный подход к премированию лучших по качеству предприятий несет в себе системный вред всему обществу, так как извращаются такие понятия как «качество», "управление качеством", "измерение качества", "управление по целям" и пр.

Самое страшное, что данная методика благодаря поддержке Правительства РФ бездумно тиражируется многими субъектами РФ и различными общественными организациями. Например, Профсоюз работников аудиторских, оценочных, экспертных и консалтинговых организаций проводит национальную премию в 2010 /6/ и уже заручился поддержкой Минэкономразвития России /7/, а Правительство Санкт-Петербурга также проводит премию по качеству по методике EFQM со ссылкой на Правительство РФ /8/.

Постановление Правительства Санкт-Петербурга от 01.01.01 года N 1064 «О премии Правительства Санкт-Петербурга по качеству» (с изменениями на 30 декабря 2009 года)

В методике определения победителей в конкурсе на премию совершенно игнорируется такой важнейший этап научно обоснованного оценивания качества, как этап «Определение ситуации оценивания».

Практически в любых опубликованных (и не опубликованных, но используемых на практике) методиках количественного оценивания качества игнорируется необходимость перед началом работы по созданию таких методик определить ситуацию оценивания. В результате, например, ни создатели, ни, тем более, - пользователи этих методик не знают – в какой шкале (порядка, интервалов или отношений) будут получены численные результаты по оцениванию качества. На самом деле, в подавляющем большинстве случаев эти результаты выражены в шкале порядка, что резко сокращает набор арифметических операций, которые можно производить с этими результатами. Соответственно, сужается и сфера использования таких результатов (например, нельзя их применять для стимулирования улучшения качества продукции и услуг). Но пользователи и разработчики методик стараются расширить сферу их применения (что психологически понятно), и рекомендуют действовать так, как будто имеется гораздо более информативная (но и гораздо более трудоемкая) шкала отношений. В результате, с помощью таких методик получают совершенно недостоверную информацию, касающуюся оценивания качества.

Для исключения этого недостатка, разработчики методики оценивания качества должны перед началом работы получить ответы на 3 группы вопросов, уточняющие условия:

·  - применения объектов оцениваемого типа;

·  - использования вычисленных оценок качества;

·  - разработки методики оценивания качества.

Далее перечисляются некоторые (далеко не все!) из такого рода вопросов: Нужно ли учитывать, кто (с точки зрения интеллектуальных и физических возможностей) будет эксплуатировать оцениваемый объект? Каков уровень социальной иерархии того субъекта, с точки зрения которого будет производиться оценивание объекта? Нужно ли учитывать так называемые патентно-правовые свойства? Нужна ли в каждом конкретном случае максимальная точность оценки (имея в виду, что степень точности монотонно зависит от трудоемкости разработки и пользования методикой оценивания)? Нужна ли сопоставимость оценок качества разных объектов? (Более подробно об определении ситуации оценивания – см. /4/.

Нижеприведенная графическая модель при ее применении способствует не столько развитию и совершенствованию систем управления (и измерения) качества, сколько коррупционным проявлениям и деградации понятий и подходов в области оценивания и управления качеством.

Рис. Укрупненная модель, заимствованная в 2004 году у EFQM

Источник - http://www. *****/qualityaward/instruction

Оценивание происходи по девяти сложным критериям:

			№	балл
		1. лидирующая роль руководства (11%)	1	110
		2. Политика и стратегия организации в области качества (8%)	2	80
	возможности	3. Персонал (11%)	3	110
		4. Партнерство и ресурсы (9%)	4	90
		5. Процессы, осуществляемые организацией (16%)	5	160
премия по качеству
		6. Удовлетворенность потребителей качеством продукции или услуг (20%)	6	200
	результаты	7. Удовлетворенность персонала (8%)	7	80
		8. Влияние организации на общество (5%)	8	50
		9. Результаты работы организации (12%)	9	120

Рис.2 Веса критериев и укрупненная модель EFQM 2010 года

Источник - http://ww1.efqm. org/en/PdfResources/Transition_Guide. pdf

Литература и источники

1. Азгальдов и практика оценки качества товаров. Основы квалиметрии. – М.: Экономика, 1982.

2. , . Экспертные методы в оценке качества товаров. М., «Экономика», 1974.

3. Азгальдов дерева показателей свойств объекта. // «Стандарты и качество», 1996, №11.

4. Азгальдов ситуации оценивания. //Стандарты и качество, 1995, №№ 9,12.

5. Рекомендации. Самооценка деятельности организации на соответствие критериям премий Правительства Российской Федерации в области качества 2006 года (для организаций с численностью работающих свыше 250 человек) - http://www. *****/ot_biblio/normativ/data_normativ/46/46930/index. php

6. Национальная премия в области аудита, оценки, экспертизы и консалтинга 2010 - http://www. *****/konkursyi-tenderyi-premii/natsionalnaya-premiya-v-oblasti-audita-otsenki-ekspertizyi-i-konsaltinga. html

7. http://*****/ru/news/members/article_2561.html

8. Постановление Правительства Санкт-Петербурга от 01.01.01 года N 1064 «О премии Правительства Санкт-Петербурга по качеству» (с изменениями на 30 декабря 2009 года)

[1] http://www. *****/qualityaward/

[2] http://www. *****/history. php

[3] Обращения российских ученых и экспертов-квалиметрологов к Президенту РФ и в Минэкономразвития России об использовании потенциала научной дисциплины квалиметрия остались дважды без ответа (вх. МЭРТа: от 01.01.2001 и от 01.01.2001)

[4] http://www. *****/file/filemanager-1/DEFAULT/org. stretto. plugins. filemanager. core. Node/fileData/2176

[5] http://www. *****/rutmimage/0/100000/150000/157000/157234.gif