Сборник методических пособий (стр. 4 )

Экспертная группа по оцениванию качества продукции— совокупность специалистов, организованных для экспертного оценивания качества продукции.

Рабочая группа по оцениванию качества продукции (рабочая группа) — часть экспертной комиссии по оцениванию качества продукции, которая состоит из специалистов, организующих деятельность экспертной группы и обрабатывающих суждения экспертов о качестве продукции.

Экспертное оценивание качества продукции осуществляется в четыре этапа.

На первом, подготовительном, этапе осуществляется формулирование целей оценки и формирование рабочей и экспертной групп.

Цель оценивания качества продукции формулируется лицом, принимающим решение (ЛПР), до начала формирования экспертной группы.

Лицо, принимающее решение (ЛПР), это руководитель работы, эффективность которой зависит от результата оценивания качества. Таким лицом может быть главный инженер разработки, менеджер по продажам, кредитор разработки или промышленного освоения продукции.

Цель оценивания качества может быть постоянной на весь период работы рабочей группы или корректируемой в период ее деятельности.

Рабочая группа осуществляет подготовку и проведение экспертного оценивания качества продукции и анализ получаемых результатов. В состав рабочей группы входят организатор, консультант по оцениваемой продукции, технические работники.

Формирование экспертной группы заключается в определении ее структуры (например, может быть предусмотрено несколько подгрупп, специализирующихся на оценивании различных групп показателей), профессионального состава, количества экспертов и отборе экспертов.

Профессиональный состав специалистов, входящих в экспертную группу, должен обеспечивать всесторонний анализ решаемой задачи. При отборе экспертов должен осуществляться анализ их соответствия предъявляемым требованиям.

Эксперты, входящие в состав экспертной группы, должны одинаково понимать цели и задачи оценивания качества продукции, удовлетворять требованиям по компетенции, заинтересованности в участии в работе экспертной комиссии, деловитости и объективности.

Компетентность эксперта означает компетентность по оцениваемой продукции (профессиональная компетентность) и по мето­дологии оценивания (квалиметрическая компетентность).

Заинтересованность эксперта в участии в работе экспертной комиссии зависит от его индивидуальных особенностей, загруженности основной работой, возможностей использования ее результатов в своей практической деятельности.

Деловитость эксперта означает, в частности, собранность, оперативность в работе, обоснованность суждений.

Объективность эксперта означает возможность вынесения им непредвзятых суждений. Необъективность эксперта — завышение или занижение значений показателей свойств продукции по причинам, не имеющим отношения к ее качеству.

Кроме того, к эксперту могут предъявляться специфические требования, определяемые целями оценивания качества и особенностями оцениваемой продукции, например в пищевой промышленности — определенный уровень психофизиологических возможностей и хорошее состояние здоровья.

На втором этапе работы осуществляется выбор методов, способов и процедур оценивания. Он выполняется рабочей группой. Рабочая группа учитывает особенности оцениваемой продукции, установленные сроки выполнения работы, ее трудоемкость, области возможного использования полученных результатов.

Определение перечня операций, которые должны быть выполнены экспертами, осуществляется рабочей группой исходя из целей оценивания, имеющейся информации, выбранных методов, способов и процедур оценивания, сроков и условий выполнения оценивания.

Для получения суждений экспертов используются методы опроса.

Опрос эксперта по качеству продукции (опрос) — процесс выявления экспертных суждений по качеству продукции.

Методы опроса экспертов делятся на групповой и индивидуальный. При групповом совместно опрашивается вся группа или ее часть. При индивидуальном осуществляется опрос каждого эксперта отдельно.

Процедуры опроса экспертов включают интервьюирование, анкетирование и смешанное анкетирование.

При интервьюировании суждение эксперта выявляется в процессе свободной беседы в рамках определенного плана. Интервьюирование применяется при опросах, когда порядок вопросов и их содержание зависят от характера ответов на предыдущие вопросы.

При анкетировании эксперт заполняет карту опроса, отвечая на содержащиеся в ней вопросы. Анкетирование применяется при заочном способе индивидуального опроса.

При смешанном анкетировании эксперт заполняет карту опроса, получая все необходимые разъяснения от лица, проводящего опрос.

Для проведения опроса экспертов методом анкетирования рабочая группа составляет анкету. Анкета состоит из пояснительной записки и карты опроса. В пояснительной записке излагаются цель и процедура анкетирования, на конкретном примере показывается, как следует заполнять графы карты опроса, при необходимости описываются требования потребителей и классификационные группы продукции, приводится другая информация. В карте опроса приводится определенным образом организованный набор вопросов, для каждого из которых предусматривается определенный характер ответа.

Третий этап работы осуществляется экспертной группой, члены которой выражают свои суждения в соответствии с установленными на втором этапе методами, способами и процедурами.

На четвертом, заключительном, этапе работы экспертной комиссии осуществляется обработка экспертных суждений и оформляется экспертное заключение.

Задача органолептического оценивания показателей качества возникает тогда, когда нужно оценить сенсорно воспринимаемые свойства продукции, такие, как вкус продукта питания, цвет ткани, различимость шрифта, соответствие моде одежды. В этом случае задача заключается в создании шкалы порядка, в которой может быть осуществлена оценка. Обычно роль такой шкалы выполняет балльная шкала оценок. Следует отметить, что балльные шкалы оценок, применяемые при органолептической оценке сенсорно воспринимаемых свойств продукции, отличаются от балльных шкал, применяемых для других целей, например для оценки знаний учащихся или мастерства спортсменов в таких видах, в которых результат не выражается в единицах измерений (главным образом в единицах времени, длины и веса) и в виде очевидного исхода (мат или пат в шахматах, нокаут в боксе и т. п.). Примерами таких видов являются фигурное катание на коньках, спортивные танцы, акробатика, спортивная и художественная гимнастика. В подобных случаях у экспертов (преподавателей, судей) имеются установленные критерии, наборы требований, соответствие или несоответствие которым определяет оценку в баллах. Эксперт устанавливает степень выполнения этих требований и в зависимости от этого дает оценку. Так, например, при оценке знаний учащихся преподаватель ставит высшую оценку, если учащийся владеет ста процентами знаний по оцениваемому курсу. Если объем знаний не превышает восьмидесяти процентов, то оценка снижается на один балл. Однако оценивать объем знаний учащегося преподавателю приходится на основе неполного контроля — по результату ответов на вопросы билета и некоторых дополнительных вопросов. Поэтому оценка знаний, отражающая мнение преподавателя об объеме знаний учащегося, является, по существу, экспертной, она зависит от его квалификации и опыта.

Балльная шкала сенсорно воспринимаемых свойств продукции при органолептическом оценивании служит для назначения оцениваемому свойству количественных характеристик, являющихся мерой этого свойства.

Основной характеристикой балльной шкалы является диапазон — количество градаций, которое включает шкала, т. е. количество оценочных точек. В то же время масштаб, т. е. разность между баллами, соответствующими двум соседним градациям, не имеет значения. Например, шкала с высшей оценкой в 5 баллов с градациями через 0, 5 балла имеет тот же диапазон, что и шкала с высшей оценкой в 10 баллов с градациями через 1 балл и шкала с высшей оценкой в 100 баллов с градациями через 10 баллов. Если в этих шкалах не используется 0, то все они являются 10-балльными.

Число градаций применяемой шкалы определяется исходя из характера решаемой задачи с учетом опыта по оценке качества аналогичной продукции, количества участвующих в работе экспертов, требуемой точности результата и возможностей качественного описания количественных градаций.

Для экспертного оценивания качества продукции, как правило, используются шкалы с нечетным числом градаций, в которых имеется средний уровень. Наиболее предпочтительными являются шкалы с пятью и семью градациями качества по оцениваемому свойству, причем количество градаций может совпадать (Таблица 1 – вариант 1) или не совпадать (вариант 2) с количеством баллов.

Таблица 1 – вариант 1

Градация	Баллы	Качественная оценка
5	5	Отличное качество
4	4	Хорошее качество
3	3	Среднее качество
2	2	Плохое качество
1	1	Очень плохое качество

Градация	Баллы	Качественная оценка
7	100	Очень высокое качество
6	85	Высокое качество
5	70	Выше среднего качество
4	55	Среднее качество
3	40	Ниже среднего качество
2	25	Низкое качество
1	10	Очень низкое качество

Выбор одного из двух приведенных вариантов или иного варианта шкалы оценки осуществляется рабочей группой на втором этапе работы экспертной комиссии. На третьем этапе эксперты дают свою балльную оценку качества продукции. На четвертом этапе рабочая группа обрабатывает экспертные оценки.

Одним из наиболее часто применяемых результатов обработки является средний балл, определяемый по формуле

,

где аi — балльная оценка оцениваемого свойства i-м экспертом;

п — количество экспертов, участвующих в оценке качества продукции.

Необходимость определения весомости различных показателей качества возникает при выборе ограниченной совокупности показателей для осуществления сопоставительной оценки качества и при использовании метода средневзвешенного показателя. Первая из этих задач, задача определения номенклатуры показателей качества, может быть трех типов. Первый тип — выбор некоторого (заранее неизвестного) числа существенных в каком-то смысле показателей из заданного исходного списка. Второй тип — формирование списка существенных показателей («с чистого листа»). Третий тип — выбор из заданного списка определенного числа существенных, «весомых», показателей (при установленном их количестве).

Определение коэффициентов весомости. Применение метода средневзвешенного показателя предусматривает определение весомости показателей качества, по которым осуществляется сопоставление оцениваемой продукции с базовыми образцами (аналогами). Само понятие «весомость», которое при использовании в переносном смысле трактуется в русском языке как «ощутимость, значимость, убедительность», не предполагает количественной оценки. Поэтому, чтобы применять метод, основанный на этой оценке, ей нужно дать приемлемое толкование. Для такого толкования можно воспользоваться аналогией с задачей определения балльной оценки при органолептическом оценивании сенсорно воспринимаемых свойств продукции. В обоих этих случаях человек, эксперт, является непосредственным измерителем качества. Разница заключается в том, что при органолептическом оценивании измерителем являются органы чувств, а при оценивании важности того или иного показателя измерителем является интеллект человека. Поэтому можно построить шкалу градаций такого вида:

Таблица 3 – вариант 3

Града­ция	Бал­лы	Качественная оценка	Желательность учета показателя при оценке качества продукции	Бал­лы
1	2	3	4	5
5	5	Отличное качество	Обязательно	4
4	4	Хорошее качество	Очень желательно	3
3	3	Среднее качество	Желательно	2
2	2	Плохое качество	Можно не учитывать	1
1	1	Очень плохое качество	Нежелательно	0

Столбцы 1, 2, 3 соответствуют столбцам из таблицы, соответствующей варианту 1, в которой дается балльная оценка сенсорно воспринимаемого свойства продукции, а столбцы 4 и 5 введены в эту шкалу для иллюстрации применимости метода к рассматриваемой задаче. Задача эксперта заключается в его оценке желательности учета конкретного показателя качества продукции при комплексной оценке качества этой продукции методом средневзвешенного показателя. Очевидно, что мотивация ответа эксперта в этом случае аналогична мотивации ответа эксперта при органолептическом оценивании сенсорно воспринимаемого свойства продукции. В таблице для обоих случаев предусмотрено пять градаций, хотя баллы для оценки весомости показателей целесообразно назначать, как в пятом столбце, чтобы показателям, которые можно не учитывать при оценке, соответствовал нулевой балл. Переход от баллов, соответствующих отдельным показателям, к коэффициентам весомости осуществляется по формуле

где тi — коэффициент весомости i-гo показателя;

аi — балльная оценка i-гo показателя;

п — количество показателей, которые учитываются при оценке качества продукции.

Эта формула соответствует случаю, когда оценку дает один эксперт. Если в определении коэффициентов весомости участвуют k экспертов, то соответствующая формула имеет вид

,

где индекс j означает, что оценка i-гo показателя дана j-м экспертом, j принимает значения от 1 до k.

В этом случае окончательная оценка получается путем усреднения оценок, данных экспертами:

.