Модель экспертизы
программных средств образовательного назначения
На сегодняшний день одним из наиболее актуальных направлений исследования системы переработки информации человеком, является хранение и эффективное использование экспертных знаний.
При проведении экспертизы эксперт строит свои суждения на основании определенных критериев и параметров качества. Если недостаточно разработана теоретическая основа оценки, включающая критерии и параметры качества, то экспертиза носит невербализуемый характер. В этом случае анализ идет на уровне интуиции, и даже опытный эксперт часто не может однозначно сформулировать общие правила, по которому он производит оценку. Фактически разработка критериев оценки представляет собой не что иное, как понижение размерности задач и оценки путем разбиения ее на ряд более мелких подзадач. Критерии оценки определяют область оценки, параметры – точные значения границ оценки. Правильно подобранные критерии позволяют значительно снизить невербализуемость оценки.
Можно сформулировать некоторые требования к структуре системы оценки качества:
1.Система оценки качества должна иметь жесткую структуру.
2.Число критериев, принимаемых в расчет на каждом этапе работы эксперта не должно превышать 5-7.
3.Определение числа критериев оценки качества и степени сложности системы должно исходить из принципа разумной достаточности.
Не менее важной является задача определения оптимальной схемы проведения экспертизы, минимально достаточного числа экспертов. Схема проведения экспертизы и минимально достаточное число экспертов окончательно формируются лишь на последней стадии создания системы оценки качества. Они напрямую зависят от степени развития теоретической базы и технологии оценки, завершенности проекта, и в процессе доработки, апробации претерпевают значительные изменения. Следует отметить, что минимально достаточное число экспертов зависит от схемы проведения экспертизы и от наличия нужных специалистов, возможности их привлечения к работе в экспертном совете.
Структура испытательной лаборатории должна предусматривать технологическую цепочку, состоящую из следующих групп:
- координирующая группа;
- экспертный совет;
- экспериментальная площадка;
- группа тестирования ПС ОН.
Координирующая группа должна осуществлять планирование, организацию проведения экспертизы, а также заниматься сбором результатов экспертизы и их оформлением. Экспертный совет должен состоять из экспертов высшей квалификации и заниматься отбором из представленных программных средств тех, которые имеют шанс пройти экспертизы, выбраковкой заведомо слабых, которые не имеет смысла далее тестировать, выносить окончательное решение о качестве ПС ОН на основании данных с экспериментальных площадок и групп тестирования.
На экспериментальных площадках должна проходить детальная проверка ПС ОН на соответствие критериям и параметрами качества. Этот этап наиболее трудоемкий. В работу групп тестирования необходимо выделить те проверки, которые не целесообразно выносить на экспериментальные площадки, чтобы по возможности разгрузить их.
Разработанная экспертно - аналитическая система оценки качества программных средств образовательного назначения успешно используется при сертификации программной продукции в Российском фонде компьютерных программ (ИНИНФО) и отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий Министерства образования РФ. Она позволяет с высокой степенью точности оценить программное средство. Но сам процесс оценки является достаточно сложным и трудоемким.
На практике часто возникает необходимость быстрой оценки программных средств, например, при предварительном отборе программных средств на выставку, при выборе и покупке учителем программного обеспечения для работы. Если программное средство имеет сертификат Минобразования, выданный, например, Российским фондом компьютерных программ (ИНИНФО), либо Отраслевым фондом алгоритмов и программ Государственного координационного центра информационных технологий Министерства образования, то это уже говорит о том, что его тестировали и апробировали специалисты и к нему можно относиться с доверием. Но, к сожалению, на рынке программной продукции слишком много программных средств, не охваченных сертификацией.
В таких случаях удобно использовать разновидность рассмотренной выше системы оценки качества - методику индивидуальной оценки качества ПС ОН. Оно представляет собой систему вопросов, отвечая на которые можно сделать вывод о качестве программного средства, о необходимости его приобретения и использования в учебном процессе. Такое средство оценки должно быть простым, содержать небольшое число вопросов, но, тем не менее, должно позволять достаточно точно оценить ПС ОН.
Оптимальной структурой методики оценки является многоуровневой алгоритм оценки ПС ОН как в целом, так и отдельных его составляющих – самого программного средства и методического материала, построенный по принципу соответствия – несоответствия «ДА – НЕТ».
Литература
1. Вострокнутов и технология оценки качества программных средств образовательного назначения. - М.: «Госкоорцентр информационных технологий», 2001.
2. Е, и др. Сборник организационно-нормативных документов испытательной лаборатории «Отраслевой фонд алгоритмов и программ».-М.: Госкоорцентр,2000.
Часть II | На Содержание |
