Введение (стр. 2 )

В общей квалиметрии различают два основных класса свертываний:

операционное свертывание критериев (оценок, показателей) – ОСК, представляющее собой объединение (агрегирование) мер качества (мер свойств), построенных на разнородных элементах или подмножествах качества, т. е. построенных на разнородном множестве свойств (простых или сложных). Комплексные показатели качества (комплексные оценки) являются результатом ОСК. При ОСК происходит (более или менее осознанное) соизмерение мер разнородных свойств (показателей качества);

статистическое свертывание критериев (оценок, показателей) – ССК, представляющее собой объединение (агрегирование) мер качества (мер свойств), построенных на однородных элементах или подмножествах качества, т. е. построенных на однородном множестве свойств (простых или сложных) или на однородном множестве качеств.

Заметим, что различие между ОСК и ССК проходит только по основанию свойства «однородности». Разнородные множества превращаются в однородные с помощью операций эквивалентирования (формирования отношений эквивалентности). В результате ССК формируются обобщенные (статистические) показатели качества.

Следует обратить внимание, что одни и те же математические структуры свертывания могут применяться и при ОСК, и при ССК, получая при этом разный содержательный смысл.

В качестве основных типов свертываний [, 1990, 2003] выделяются следующие:

Тип I – СКI: сепарабельное свертывание:

φ= ℓ(λi) φ(μi), (20)

где – общая или агрегированная мера качества;

μi – частные (свертываемые) меры качества;

φ – производные (нелинейные) шкалирования (функциональные преобразования);

ℓ – функция весомости;

λi – коэффициент весомости.

В более сложном варианте ℓ(λi) представляется как двухпараметрическая функция ℓ(λi, θi), в которой θi – есть параметр критичности.

Если ℓ упрощается до единичной (тождественной) функции Е=1, то сепарабельное свертывание переходит в аддитивное свертывание, наиболее распространенное в практике квалиметрии образования.

К частным случаям СКI относятся:

o  СКi (μ, А). В скобках символ μ означает множество свертываемых мер, а символ А (с индексами или без индексов) – тип сложения или усреднения; символ А означает аддитивную свертку в виде суммирования.

а) = μi; б) = λi μi (21)

Ясно, что переход от формулы (20) к формуле (21) связан с превращением функций ℓ и φ в единичные функции, т. е. тождественные преобразования: ℓ=1, φ=1. При ОСК (21) может иметь характер линейной регрессии;

o  СКI (μ, ) – арифметическое усреднение. Данный вид является частным случаем аддитивной взвешенной свертки в формуле (21) при λi = 1. При дополнительном условии λi = , i = имеет место модель оценки в виде обычного (невзвешенного) арифметического усреднения;

o  СКI (μ, ) – геометрическое усреднение. Сепарабельное свертывание в данном случае осуществляется на основе логарифмических (нелинейных) шкал, см. (14): φ = ℓog. Т. е. свертка оценок, показателей качества осуществляется по формуле:

ℓog = λi ℓog μi или = , λi = 1, (22)

где знак означает произведение.

При λi = мы получаем простейшее выражение средней геометрической величины:

μ = (23)

Перебор различных типов операторов А: (гармоническое усреднение, средняя гармоническая величина), (среднеквадратическое усреднение, средняя квадратическая величина, при ССК – этот тип свертки дает дисперсию), (среднее степенное усреднение, средняя степенная величина) и т. д. – дает целый спектр видов усреднений используемых в качестве сепарабельной свертки.

Тип II – СКII: альтернативное конъюнктивное свертывание. Данный тип свертывания представляет собой свертку альтернативных (бивалентных) мер качества {0; 1} в виде конъюнкции предикатов пригодности («пригодно» – 1; «не пригодно» – 0):

= 1, если μi, μi,

= 0, если μi, μi,

= pri Mo (24)

Данная формула читается так: комплексный (агрегированный) показатель качества (комплексная оценка) равен «1», если любой («» – квантор «любой») частный показатель μi, входящий в множество оцениваемых показателей, принадлежит допустимой области в пространстве мер качества Mo («» – знак принадлежности элемента множеству); и наоборот, равен «О», если существует («» – квантор «существует») хотя бы один частный показатель качества (оценка), чье значение выходит за пределы допустимого множества («» – знак непринадлежности элемента множеству).

есть область допустимых мер качества М по i-му свойству – по i-й оси пространства мер качества М.

Очевидно, что эта формула в другой математической символике – символике теории предикатов может быть записана как конъюнкция бивалентных, альтернативных мер качества или предикатов над отношениями принадлежности значений мер качества (показателей, оценок) области допустимых значений:

= 1 ┌ μi Mo┐= 1

= 0 & ┌ μi Mo┐= 0 (25)

Конъюнкция предикатов равна 1, если все предикаты принимают значение 1 (истина») и равна 0, если хотя бы один из предикатов принял значение 0 («ложь»).

Формула (25) и дала название «конъюнктивное свертывание».

Свертывание второго типа может трактоваться также как «геометрическое свертывание» (средняя геометрическая величина) альтернативных величин {0; 1}. В этом случае:

СКII ≡ СКI (μ, А), где μ {0; 1}.

Тип III – СКШ: способ последовательного достижения максимумов мер качества:

= μi + sup μi, μi μj0, (26)

где sup – «супремум», математический символ взятия «верхней границы» изменчивости j-й меры качества, а j удовлетворяет условиям μi= sup{ μj}.

Формула отражает тип свертывания максимумов показателей, достигаемых последовательно. Такой тип свертывания применяется в последовательности операций (процессов) (в теории исследования операций).

Тип IV – СКIV: логическое свертывание мер качества альтернативного (логического) типа

Четвертый тип свертывания похож на второй. Их отличие состоит в том, что во втором типе выстраивается свертывание количественных мер качества, которые переводятся в альтернативные на основе применения предикатов.

Логическое свертывание мер альтернативного типа подчиняется правилам:

а) логического умножения

= , {0;1}; (27)

б) логического суммирования

= 1- , {0;1}; (28)

в) логического отрицания

= 1 - , μi (29)

Тип V – СКV: обобщенное логическое свертывание

В него входят:

а) взятие минимума

= λiμi, λi ≥ 0; (30)

б) взятие максимума

= λiμi, λi ≥ 0; (31)

в) обобщенное отрицание

= - (32)

Виды свертываний по математическому смыслу являются предельными случаями сепарабельного свертывания на основе средних степенных при М à ∞. В теории средних величин доказано, что = min λiμi и = max λiμi.

Тип СКVI – случайное и неопределенное свертывание

Обобщенная мера принимает значение одной из частных мер в зависимости от того, какое значение примет неконтролируемый параметр α.

Тип СКVII – функциональное свертывание

Свертывание осуществляется на основе определенной известной функциональной зависимости

= ƒ (,…,)

Тип СКVIII – свертывание в форме удельного взвешивания:

= μi/μj (33)

, известным специалистом по теории исследования операций, доказана полнота системы первых шести свертываний [, 1971]. В синтетическую квалиметрию теория свертывания была введена [, 1975]. Наиболее широкое применение в обобщенном алгоритме оценки находит применение первый, четвертый, пятый, седьмой и восьмой типы свертывания.

В квалиметрии образования теория оценок, как правило, ограничивается разного типа сепарабельными, более того – аддитивными свертками. Различные типы комплексных балльных оценок, рейтинговые системы оценок и другие ограничиваются первым типом свертывания.

1.3. Особенности модели «качества подготовки

выпускника вуза» как объекта оценки.

Модель выпускника вуза в ГОС

Особенности «модели выпускника вуза» имплицитно отражены в содержании государственного образовательного стандарта и «модели качества подготовки выпускника вуза», формализуемой фондом оценочных средств по специальности или направлению подготовки (бакалавр–магистр), конкретизируемым определенным вузом с учетом особенностей принятых образовательных программ. Наша задача состоит в том, чтобы системно конкретизировать ИГА как квалиметрическую процедуру с учетом особенностей формализации объекта оценки – качества подготовки выпускника вуза (КПВ) в рамках складывающейся технологии в соответствии с принципами 1-4 методологии (см. выше).

1.3.1. Системно-деятельностная модель подготовки

выпускника вуза: формализация

Конкретизацией принципа 1 является принцип изоморфизма модели качества подготовки специалиста – модели выпускника вуза, описанной в ГОС и ООП.

ГОС, выполняя функцию социальной нормы качества высшего профессионального образования, может одновременно трактоваться как «рамочная модель качества выпускника вуза», описанная в категориях требований к этому качеству, в том числе к качеству его профессиональной подготовки, описанных на языке категорий «вид (направление) деятельности» (S), «квалификационные (профессиональные) требования (функции)» (Т), «профессиональные задачи» (З).

Иными словами:

М(R) {S} {T} {З}, (34)

где {S} – системнодеятельностная модель подготовки выпускника вуза:

{S} = S1 S2 S3 … Sn, (35)

где Si – конкретный вид (направление) деятельности, а n – количество видов деятельности, отобранных для описания профессиональной деятельности выпускника вуза: специалиста, бакалавра, магистра;

{T} – модель подготовки специалиста, описанная системой квалификационных требований (или функций деятельности), зафиксированных в федеральном компоненте ГОС и целевых установках основной образовательной программы и в дополнительных требованиях к специализациям (в национально-региональном и вузовском компонентах ГОС):

{T} = {T}1 {T2} …{Tк}, (36)

где {Ti} – класс требований;

К – число классов.

{З} = {З}1 {З}2 …{З}п, (37)

где {З}I – класс задач профессиональной деятельности, изоморфный по виду (направлению) профессиональной деятельности;

– знак обобщенного произведения (теоретико-множественного или логического соответствия).

С одной стороны, символ соответствия эксплицируется «матрицей инциденций» или «двудольным графом» соответствия, с другой стороны, множества {S}, {Т} и {З} могут рассматриваться как оси 3-мерного дискретного пространства, плоскости которого описываются соответствующими изоморфизмами.

Логика экспликации модели качества подготовки выпускника вуза разворачивается цепочкой отображений (см. «Методологические рекомендации по определению структуры и содержания государственных аттестационных испытаний…», 2002; Письмо Заместителя Министра образования РФ от 01.01.2001 № ин/15 и Приложение к нему]):

{S} à {Т} à {З} (38)

1.3.2. Предметно-дисциплинарная модель выпускника

вуза: формализация

Содержательное наполнение множеств {S}, {Т}, {З} выполняется на основе «предметно-дисциплинарной модели выпускника вуза», закрепленной в ГОС ВПО и ООП, представляющей собой теоретико-множественное объединение 4-х классов учебных дисциплин, принятых в ГОС:

Класс 1: Математические и естественнонаучные дисциплины – ЕН;

Класс 2: Гуманитарно-социально-экономические дисциплины – ГСЭ;

Класс 3: Общие профессиональные дисциплины – ОПД;

Класс 4: Специальные дисциплины – СД.

Если обозначить «предметно-дисциплинарную модель выпускника вуза» через ПДМ(R), то тогда ее формализованный образ можно представить формулой:

ПДМ(R) = {Д}ЕН {Д}ГСЭ {Д}ОПД {Д}ЭД, (39)

где Дi – дисциплина, входящая в одно из указанных множеств.

1.3.3. Общая системная модель качества подготовки

специалиста: формализация

Общая системная модель качества подготовки специалистов формализуется таким образом в виде отношения соответствия

М(R) в (9) и ПДМ (R) в (14):

ОСМ М(R) ПДМ(R), (40)

где ОСМ – общая системная модель специалиста.

Отношение соответствия обеспечивается через выделение учебных модулей (УМ) или основных учебных модулей (ОУМ), обеспечивающих удовлетворение подготовки будущего специалиста определенным квалификационным требованиям, тестируемым решением определенных задач и ответами на вопросы (тесты) экзаменационных билетов.

Параметризация общей системной модели качества подготовки специалиста, т. е. ее перевод в формализованную модель, как базу ИГА, осуществляется с помощью оценочных средств (соответствующего множества задач и вопросов с эталонными ответами), которые можно рассматривать как квалиметрический обобщенный оператор, переводящий пространство качества подготовки специалистов, отраженное в ОСМ – Γ, в пространство мер качества или оценок M, на основе которого и формируется итоговая интегральная шкала ИГА по отношению к аттестуемым.

Определенные направления формирования оценочных средств (ОС) представлены в виде специфических требований ГОС ВПО: требований к условиям реализации образовательных программ и требований к уровню подготовки специалистов, описанных на языке «предикатов (уровней) усвоения»:

<“знать”>, <“уметь”>, <“владеть”>,

которые отражают разные формы воспроизводства профессиональной деятельности.

Пример шкалы уровня усвоения (таксономии уровня усвоения представлен таблицей 1).

Таблица 1

Шкалы уровня усвоения (таксономия уровней усвоения)

Шкала воспроизводства деятельности	Шкала уровня усвоения
1. Репродуктивная деятельность (репродуктивная форма воспроизводства деятельности)	1. (1.1.) Уровень узнавания
2. (1.2.) Уровень воспроизведения 2Уровень простого ''фотографического" воспроизведения 2Уровень воспроизведения логически связанной совокупности учебных элементов, составляющих некую автономную единицу содержания
3. (1.3.) Уровень репродуктивного применения 3Уровень решения несложных типовых учебных задач 3Уровень решения средних по сложности типовых учебных задач 3Уровень решения сложных типовых учебных задач
2. Продуктивная деятельность (продуктивная форма воспроизводства деятельности)	4. (2.1.) Уровень синтеза
5. (2.2.) Уровень оценки
6. (2.3.) Уровень моделирования

Обобщение оценок ИГА по всем студентам данного направления и специальности осуществляется по совокупности оценок для одного выпускника и по совокупности всего множества аттестуемых в рамках данной ГАК. Используются модели статистических обобщений на массивах оценок: размах оценок, средняя или мода по оценкам каждого из выпускников вузов, факторизация (расслоение) массива аттестуемых по полученным оценкам, обобщенные оценки, мониторинговые сравнения с результатами предыдущих аттестаций.

1.4. Системные основы организации аттестации

выпускников вузов и организации

фонда оценочных средств

Системные основы организации ИГА являются частью системологических основ образовательных систем, [, 1994], и опираются на системные принципы организации образовательных стандартов и законы системогенетики как науки о законах и закономерностях системного наследования и системной эволюции [, 1999; , 1994, 2000; «Системогенетика образования…», 1998]. Блок системогенетических законов адекватности по разнообразию, сложности, неопределенности и системности функционирования систем соответствующим характеристикам их внешней среды определяет принцип адекватной системности организации ИГА выпускников вузов и организации обеспечивающего фонда оценочных средств системности организации ГОС и основной образовательной программы.

1.4.1. Ведущие принципы системной организации, цели

и функции итоговой государственной аттестации (ИГА) выпускников вузов

В качестве ведущих принципов, детерминирующих системную организацию ИГА, выступают:

o  принцип операциональности применяемых оценочных средств;

o  принцип структурности в системном представлении ИГА;

o  принцип валидности содержания оценочных средств тому комплексу знаний, который получил студент в процессе обучения в вузе;

o  принцип управляемости процессом (организацией) ИГА (принцип управляемости включает в себя, как частную свою экспликацию, «принцип коррекции»).

Правовой основой ИГА выпускников вузов служат: соответствующие статьи Закона РФ «Об образовании», Закона РФ «О высшем и послевузовском профессиональном образовании», «Положение об итоговой государственной аттестации выпускников высших учебных заведений Российской Федерации».

Целями ИГА выпускников вузов выступают:

o  проверка соответствия качества подготовки выпускников вузов требованиям федерального компонента ГОС по минимуму содержания;

o  проверка соответствия качества подготовки выпускников вузов требованиям национально-регионального и вузовского компонента ГОС;

o  проверка соответствия уровня профессиональной подготовки выпускника вуза уровню, закрепленному в (основной) образовательной программе;

o  проверка соответствия готовности выпускника вузов к определенным (определенному) видам (виду) деятельности, фиксируемому выданным дипломом государственного образца.

Итогом ИГА является выдача диплома государственного образца об уровне образования и квалификации.

ИГА выпускников вузов выполняет функции, определяющие ее назначение в сложившейся системе государственного управления качеством высшего профессионального образования (ГУК КВПО):

o  подтверждения знаний выпускника вуза и его профессиональной подготовки требованиям ГОС по направлениям подготовки (бакалавр–магистр) или выбранной специальности (дипломированный специалист);

o  функцию мониторинга выполнения требования ГОС как направления в системе мониторинга качества подготовки специалистов;

o  функцию гарантии качества подготовки будущего специалиста.

1.4.2. Организационная структура и системообразующий

фактор ИГА

Главным субъектом аттестации в ИГА, в соответствии с унифицированной моделью аттестации как формы оценочной деятельности (8), выступает Государственная аттестационная комиссия (ГАК). ГАК формируется по каждой основной образовательной программе (ООП) вузом совместно с Министерством образования и утверждается последним. Она в своей деятельности руководствуется Положением об итоговой государственной аттестации выпускников вузов в Российской Федерации, утвержденным Министерством образования, и опирается на научно-методическое обеспечение, представленное методическим комплексом ИГА и фондом (комплексом) оценочных средств.

Системная организация Фонда оценочных средств на федеральном уровне формируется на основе принципа ее адекватности структуре Перечня направлений и специальностей, утвержденного Министерством образования, структуре и содержанию ИГА, одобренной УМО вузов или учебно-методическим советом (УМС) по соответствующим направлениям подготовки или специальности. Комплексы оценочных средств для ИГА на степени бакалавра и магистра для одного направления должны быть между собой сгармонизированы.

Системообразующим фактором организации ИГА выступает вид аттестационного испытания, к которым относятся:

o  государственный экзамен (ИГЭ);

o  защита выпускной квалификационной работы (ВКР).

Итоговый государственный экзамен может быть представлен в ИГА одним или несколькими ГЭ: итоговым экзаменом по отдельной дисциплине (монодисциплинарный экзамен) и итоговым междисциплинарным экзаменом по направлению (специальности) (полидисциплинарный экзамен).

При подготовке методического комплекса оценочных средств, обязательно соблюдается принцип полного покрытия всех требований ГОС всеми видами аттестационных испытаний, включенных в ИГА.

2. МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ, ЭКСПЕРТИЗЫ И ПРИМЕНЕНИЯ ПРИМЕРНЫХ

ОЦЕНОЧНЫХ СРЕДСТВ

2.1. Методологический комплекс разработки

оценочных средств и их корректировки:

основы, структура, логика построения

и корректировки

Основами проектирования оценочных средств (ОС) служат:

o  структура требований ГОС и ООП;

o  структура видов деятельности;

o  структура принятых видов аттестационных испытаний.

2.1.1. Логика построения комплекса оценочных средств

Логика построения комплекса оценочных средств разворачивается в соответствии с формулами (9-15) и представлена на схеме 1 в виде алгоритма методики создания оценочных средств. Данная схема отражает уже сложившуюся логику, представленную в «Методических рекомендациях по определению структуры и содержания государственных аттестационных испытаний», и в «Методике создания оценочных средств для итоговой государственной аттестации выпускников вузов…», рекомендованных Минобразованием соответствующим письмом (2002).

Все множество требований к выпускнику вуза, содержащееся в конкретном ГОС ВПО, и включающее дополнительно требования, которые вытекают из заявленных вузом целей и академических свобод, декомпозируется на два подмножества, образующие покрытие первоначального множества требований:

Схема 1

o  подмножество требований {Т}ГЭ, которое становится объектом оценки их реализации выпускником вуза на государственном экзамене (государственных экзаменах) как виде аттестационных испытаний ({Т}ГЭ {ТЭК}, где ТЭК – требования, проверяемые на экзамене);

o  подмножество требования {Т}ВКР, которое становится объектом оценки их реализации выпускником вуза на защите выпускной квалификационной работы (ВКР) как виде аттестационного испытания ({Т}ВКР {ТКР}, где ТКР – требования, поверяемые выпускной квалификационной работой и ее защитой.

Соблюдается «принцип покрытия»:

{Т}ИГЛ {Т}ГЭ U {Т}ВКР, (16)

где «U» – знак объединения подмножеств требований.

Как видно их схемы 1, логика построения комплекса оценочных средств включает два этапа: предварительный и основной. На предварительном этапе осуществляется идентификация требования {Т}, их разделение в соответствии с формулой (16), ранжирование по значимости. Основной этап состоит из двух задач: из решения задачи – операции формирования содержания оценочных средств для решения «задачи соответствия» в ходе итогового ГЭ и из решения задачи – операция формирования оценочных средств для решения «задачи соответствия» по итогам выпускной квалификационной работы (ВКР).