Методика оценки качества магистерских программ (стр. 2 )

Оценки экспертов выставляются по 3-х балльным шкалам в соответствии таблицей 1: «Описание шкал порядка (ординальных шкал) для выставления оценок по показателям, характеризующим МП».

БЛАНК №3

Код МП: ________

Сводная ведомость результатов экспертизы качественных показателей магистерской программы (МП)

_______________________________________________________________

(наименование МП, код направления по ОКСО, факультет, кафедра,

__________________________________________________________________

номер приказа и дата открытия МП, ФИО,

___________________________________________________________

должность, ученое звание и ученая степень руководителя МП)

Показатели	Качественные показатели
Код	Название
Эксперты
1	2	3	4	5
Оценки экспертов
Q1 (0)	Соответствие содержания учебного плана МП требованиям ГОС ВПО
Q2 (0)	Наличие всех элементов учебного плана
Q3 (0)	Количество ошибок в учебных планах МП. Наличие и диапазон дисциплин по выбору
Q4 (0)	Наличие и качество программ учебных дисциплин и программ НИРМ (практик)
Q5 (0)	Диапазон и качество научно-методических (учебно-методических) разработок по МП
Q6 (0)	Характеристика научных руководителей магистрантов
Q7 (0)	Использование современных технологий обучения
Q8 (0)	Наличие на сайте требований к уровню подготовки магистра по направлению подготовки и данной МП
Q9 (0)	Наличие на сайте учебного плана МП
Q10 (0)	Наличие на сайте программ учебных дисциплин, НИРМ и практик
Q11 (0)	Наличие на сайте информации об учебно-методическом обеспечении
Q12 (0)	Наличие информации на сайте о кадровом обеспечении МП
Q13 (0)	Наличие договоров с вузами о сотрудничестве
Q14 (0)	Наличие согласованных учебных планов между вузами
Q15 (0)	Формы выдаваемых документов по завершению обучения
Q16 (0)	Наличие информации о трудоустройстве магистров

Сотрудник деканата, представивший сводную ведомость оценок экспертизы качественных показателей МП _____________________________________

(должность, ФИО, дата, подпись)

Информация о числовых показателях МП заносится отдельно по каждой МП в бланк №2 представителем деканата совместно с руководителем МП.

Бланки № 2 и 3 вводятся в Подсистему оценки качества МП и на их основе определяется рейтинг МП на факультете и вероятностные характеристики их качества, а также строятся соответствующие диаграммы.

----

БЛАНК №2

Ведомость числовых показателей магистерской программы (МП)

___________________________________________________

(наименование МП, код направления по ОКСО, факультет,

__________________________________________________

кафедра, номер приказа и дата открытия МП, ФИО, должность,

__________________________________________________________

ученое звание и ученая степень руководителя МП)

№ п/п	Наименование числового показателя	Код пока-зателя	Значение пока-зателя
1.	Количество магистрантов, побывавших на обучении в других вузах	Q17 (0)
2.	Средняя продолжительность командировок (в неделях)	Q18 (0)
3.	Количество преподавателей, проводящих занятия в других вузах	Q19 (0)
4.	Средняя продолжительность командировок (в неделях)	Q20 (0)
5.	Количество магистров, подготовленных руководителем МП всего	Q21 (0)
6.	Количество магистров, подготовленных руководителем МП по данной МП (из числа Q21 (0)	Q22 (0)
7.	Количество учебников руководителя МП	Q23 (0)
8.	Количество печатных листов учебников	Q24 (0)
9.	Количество учебных пособий руководителя МП	Q25 (0)
10.	Количество печатных листов учебных пособий	Q26 (0)
11.	Количество монографий руководителя МП	Q27 (0)
12.	Количество печатных листов монографий	Q28 (0)
13.	Количество статей в изданиях ВАК руководителя МП	Q29 (0)
14.	Количество печатных листов статей в изданиях ВАК	Q30 (0)
15.	Количество статей в других изданиях руководителя МП	Q31 (0)
16.	Количество печатных листов статей в других изданиях	Q32 (0)
17.	Количество студентов на МП за последние 3 года всего	Q33 (0)
18.	Количество студентов на МП из числа Q33 (0) с базовой подготовкой (бакалавра, специалиста) иного профиля	Q34 (0)
19.	Количество студентов на МП из числа Q33 (0) из других вузов	Q35 (0)
20.	Количество студентов на МП из числа Q33 (0) из иностранных государств	Q36 (0)

1. Сотрудник деканата, представивший числовую информацию МП ___________________

______________________________________________________________________________

(должность, ФИО, дата, подпись)

2. Руководитель МП ___________________________________________________________

(ФИО, дата, подпись)

3. Свертка показателей. Иерархическая модель интегрального показателя качества МП

Для приведения 36 показателей, характеризующих качество МП, к единому, интегральному показателю, на основании которого можно соотнести качество МП между собой, используются различные подходы. В данном случае обосновано применение иерархической, пирамидальной системы синтеза сводных показателей качества с аддитивными синтезирующими функциями.

Особенностью таких систем является распределение показателей по разным уровням иерархии в зависимости от механизма их формирования. На любом уровне располагаются показатели, значения которых формируются на базе подмножества показателей предыдущего уровня. При необходимости вводятся формальные промежуточные показатели, которые совпадают с соответствующими показателями нижележащего уровня. Исключение составляют показатели на нижнем, нулевом уровне, которые являются исходными показателями. В пирамидальных иерархиях количество показателей вышележащего уровня меньше количества показателей нижележащего уровня, т. е. с увеличением номера иерархии, количество показателей стремится к единице. На верхнем уровне располагается один сводный (интегральный) показатель, который вбирает в себя свойства всех показателей нижележащих уровней. Один из возможных вариантов графа иерархической системы показателей приведен ниже в виде табл. 1.

Очевидно, что разные показатели по-разному влияют на качество МП. Поэтому в Подсистеме оценки качества МП, кроме оценок выставляемых экспертами по каждой МП с использованием бланков №1 (будем называть их ЭО 1-го вида), используются также экспертные оценки, характеризующие равноценность, предпочтительность (значимость, вес) тех или иных квалиметрических и числовых показателей (будем называть их ЭО 2-го вида или дополнительной информацией I). Эта информация может быть неполной и касаться только отдельных показателей.

Информация о предпочтительности (весе) показателя определяется природой выстраиваемого интегрального показателя качества. При этом эксперты могут располагать в общем случае:

·  точными числовыми данными (IA) о весовых коэффициентах отдельных исходных показателей или показателей более высокого уровня, задаваемых равенствами вида i = 0.03;

·  неточными числовыми данными (II) о весовых коэффициентах отдельных показателей (интервальная информация, задаваемая неравенствами вида 0.02 < i < 0.05;

·  нечисловыми ординальными (порядковыми) данными (IO) о весовых коэффициентах, задаваемых системой равенств и неравенств вида i = j; r > s, позволяющих хотя бы частично упорядочить значимость сводного показателя.

Порядок ввода дополнительной ординальной информации и интервальной информации в Подсистему изложен в Руководстве по работе с Подсистемой оценки качества МП.

Таблица 1. Иерархическая модель показателей качества МП.

 

4. Описание тестового примера контроля качества МП

Ниже приводятся исходные величины показателей, характеризующих качество магистерских программ и результаты их обработки с помощью П/с контроля качества МП.

Контролю подлежат L магистерских программ МПl, l = 1 ….. L, L = 12 от 3 факультетов, по 4 МП от каждого факультета, в общем, по 4 направлениям подготовки магистров. Выпускающими являются 7 кафедр.

Для удобства дальнейшего изложения и восприятия материала, введены сокращенные названия факультетов, кафедр, ООП подготовки магистров и МП.

3 факультета: Биологический факультет (Б. Ф)

Географический факультет (Г. Ф)

Математический факультет (М. Ф)

4 ООП: Б. Ф – 1 ООП – Биология (020200) (Б)

Г. Ф – 2 ООП – География (020400) (Г)

Экология и природопользование (020800) (Э)

М. Ф – 1 ООП – Механика, прикладная математика (011000) (М)

7 кафедр: Б. Ф – 3 каф. (К. Б1; К. Б2)

(выпускающих) Г. Ф – 3 каф. (К. Г1; К. Г2; К. Г3)

М. Ф – 2 каф. (К. М1; К. М2)

Коды и идентификаторы магистерских программ

Код МП	Фак-т	ООП	Кафедра	Наименование МПl
МП1	Б. Ф	Б	К. Б1	Ботаника
МП2	Б. Ф	Б	К. Б1	Микробиология
МП3	Б. Ф	Б	К. Б2	Физиология растений
МП4	Б. Ф	Б	К. Б2	Генетика
МП5	Г. Ф	Г	К. Г1	Ландшафтоведение
МП6	Г. Ф	Г	К. Г2	Биогеография
МП7	Г. Ф	Г	К. Г2	Биоэкология
МП8	Г. Ф	Э	К. Г3	Климатология
МП9	М. Ф	М	К. М1	Теоретическая механика
МП10	М. Ф	М	К. М1	Биомеханика
МП11	М. Ф	М	К. М2	Роботехника
МП12	М. Ф	М	К. М2	Компьютерная механика

В Тестовом примере в Книге 1 (см. Excel – файл) на листах с названиями соответствующих названиям МП приведены исходные оценки экспертов (копии заполненных бланков №3 - сводной ведомости результатов экспертизы качественных показателей и бланков №2 - ведомости числовых показателей МП).

5. Рекомендации по подготовке использования подсистемы оценки качества МП

При подготовке внедрения Подсистемы оценки качества МП и сбора для нее необходимых исходных данных следует обратить внимание на подготовительную часть этой работы. Изучение преподавательским составом числовых и квалиметрических показателей, шкал их оценок, правильно организованное обсуждение значимости, предпочтительности, веса тех или иных показателей, подбор экспертов – уже само по себе это должно принести пользу; однако результат от такой деятельности не может быть немедленным.

Одной из главных задач применения Подсистемы оценки качества МП и Методики …. Является ориентирование коллективов кафедр, руководителей МП, студентов и администрации на поиск путей совершенствования МП. Концентрация внимания на качестве МП подразумевает определенную смелость в суждениях как о положительных, так и отрицательных сторонах деятельности коллективов преподавателей, реализующих МП и, в первую очередь, руководителей МП.

У экспертов должен быть выработан определенный подход к оценке МП. Оценки экспертов должны базировались на объективной, квалифицированной и достаточно полной квалиметрической и числовой информации о состоянии магистерских программ, и выявлять положительные и отрицательные тенденции в их развитии.

Эксперты при оценке магистерских программ должны быть максимально корректны по отношению к МП и их руководителям. Эта корректность предполагает добровольность и доступность инструментария самому руководителю МП (например, при заполнении бланка № 2 о числовых показателях, характеризующих МП), а также объективность экспертов при оценке квалиметрических показателей МП.

По результатам оценки качества МП недопустимо применение административных санкций, морального и психологического воздействия на преподавателей. При анализе результатов следует учитывать, что квалиметрические оценки экспертов могут быть не только адекватными, но и заниженными или завышенными.

В этой связи в Подсистеме оценки качества МП учитывается точность полученных оценок (дисперсия) и наряду с таблицами результатов строятся соответствующие диаграммы.

Возможная трактовка результатов обработки Подсистемой оценки качества МП исходных данных тестового примера приведена в разделе 5 Руководства по работе с Подсистемой оценки качества МП.

*) Квалиметрия – измерение качества.