Разработка Методов И Моделей Оценки Качества Образовательной Деятельности В Высшем Учебном Заведении

На правах рукописи

РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ В ВЫСШЕМ УЧЕБНОМ ЗАВЕДЕНИИ

Специальность 08.00.13 – «Математические и инструментальные методы экономики»

Автореферат

диссертации на соискание ученой степени

кандидата экономических наук

Москва, 2009

Диссертация выполнена на кафедре Прикладной информатики в экономике Московского государственного университета экономики, статистики и информатики.

Научный руководитель	Кандидат экономических наук, профессор
Официальные оппоненты	Доктор экономических наук, профессор Кандидат экономических наук
Ведущая организация	ГОУ ВПО «МАТИ» - Российский государственный технологический университет имени

Защита состоится «25» февраля 2009 г. в 14.00 часов на заседании Диссертационного Совета Д212.151.01 при Московском Государственном Университете Экономики, Статистики и Информатики г. Москва, ул. Нежинская д. 7.

С диссертацией можно ознакомиться в библиотеке Московского государственного университета экономики, статистики и информатики.

Автореферат разослан «23» января 2009 г.

Ученый секретарь

Диссертационного Совета

кандидат технических наук, доцент ( )
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. В основе динамичного развития современной экономики лежит качество подготовки кадров. На данный момент российская система высшего образования адаптируется к потребностям предприятий, однако, скорость ее изменений не соответствует быстроте перемен в экономике. В этих условиях отечественные организации вынуждены тратить значительное время и ресурсы на переподготовку молодых специалистов. В свою очередь у новых сотрудников на предприятиях увеличивается период адаптации, усложняется процесс ее вовлечения в трудовую жизнь.

Дополнительными факторами, обусловливающими актуальность совершенствования деятельности высших учебных учреждений, стали:

-  демографический спад, который повлек за собой снижение количества абитуриентов, что в свою очередь привело к увеличению конкуренции между ВУЗами за право обучать бюджетных и внебюджетных студентов;

-  начало процесса сближения систем образования стран Европы – Болонский процесс, обязательным параметром которого является «Контроль качества высшего образования».

Выше сказанное подтверждает необходимость инновационных изменений в сфере высшего образования, одним из которых является внедрение системы управления качеством.

Внедрение системы менеджмента качества (СМК) предполагает соблюдение условий, определяемых:

-  международными стандартами в области качества;

-  положениями, определенными Государственными стандартами;

-  требованиями, изложенными в стандартах учебного заведения.

Существующие подходы и методы оценки качества образования не позволяют провести комплексную оценку разных направлений деятельности ВУЗа (в частности, финансовой и маркетинговой), а также не учитывают их взаимного влияния, и их влияния на результат обучения студентов. Основным недостатком существующих моделей оценки качества образовательной деятельности является также то, что они не способны выявлять устойчивые зависимости между эффективностью обучения студентов и качеством организации деятельности ВУЗа.

Указанные недостатки обусловливают необходимость разработки математических моделей, которые позволят не только учесть влияние качества организации деятельности ВУЗа на эффективность обучения студентов, но и значительно сократят временные затраты на проведение оценки, за счет автоматизации данного процесса. Следовательно, вопрос оценки качества образования в ВУЗе, а также задача разработки математических методов и моделей оценки качества образовательной деятельности, учитывающая многоаспектность данного понятия, являются актуальными.

Цели и задачи исследования. Целью диссертационного исследования является разработка математических методов и моделей оценки качества образовательной деятельности, которые позволяют учитывать взаимное влияние направлений деятельности ВУЗа, а также их влияние на результат обучения студентов.

Достижение поставленной цели исследования предполагает решение следующих задач:

1.  Анализ методов и моделей оценки качества образовательной деятельности в ВУЗе, позволяющий выявить основные тенденции развития подходов к оценке качества образовательной деятельности в ВУЗе.

2.  Разработка методики и системы показателей для оценки качества организации деятельности в ВУЗе, учитывающей различные аспекты его деятельности.

3.  Разработка метода оценки знаний студентов на основе компетентностного подхода, нацеленного на получение сведений о соответствии знаний, умений и навыков выпускников потребностям предприятий и рынка в целом.

4.  Создание методики прогнозирования уровня качества знаний студентов в зависимости от качества организации деятельности в ВУЗе.

5.  Построение математической модели оценки качества образовательной деятельности в ВУЗе и её программная реализация.

6.  Проведение эксперимента по внедрению разработанных методов и моделей.

Предмет и объект исследования. Объектом исследования являются процессы деятельности ВУЗа. Предметом исследования являются методы и модели оценки качества процессов деятельности ВУЗа.

Теоретическую и методологическую основу исследования составили работы отечественных и зарубежных специалистов в области управления качеством, оценки знаний студентов высших ВУЗов на основе компентностного подхода, оценки деятельности организации, математических методов и моделей, в том числе нейросетевого подхода. В диссертационном исследовании использованы положения, разработанные зарубежными авторами: Капланом Р., Нортоном Д., Мэйселом Л., Мк- и др. Из отечественных авторов рассматриваемым вопросам посвящены работы , , , и др.

Научная новизна

1.  Предложено сочетание компетентностного подхода и системы сбалансированных показателей (ССП) для оценки качества образовательной деятельности в ВУЗе.

2.  Создана методика формирования ССП, и на её основе разработан шаблон ССП для оценки эффективности деятельности в ВУЗе.

3.  Определен набор показателей для оценки качества деятельности ВУЗа, охватывающий различные категории процессов, обеспечивающих эффективность деятельности учебного заведения.

4.  Сформирована структура дерева компетенций выпускника, отражающая как моноподготовку студентов, так и двухуровневую систему образования.

5.  Предложена структура нейронной сети для прогнозирования значений уровня компетенций студентов ВУЗов в зависимости от состояния значений показателей деятельности ВУЗа.

6.  Построена математическая модель оценки качества образовательной деятельности в ВУЗе, направленная на анализ показателей процессов учебного заведения и позволяющая выявить устойчивые зависимости между эффективностью обучения студентов и качеством организации деятельности ВУЗа.

Практическая значимость, апробация и внедрение результатов.

Теоретические и практические выводы, полученные в результате проведенного исследования, могут быть использованы ВУЗами для построения собственных моделей для оценки качества оказываемых ими образовательных услуг, что подтверждается результатами апробации разработанной модели на базе ГОУ ВПО «МАТИ» - Российского государственного технологического университета имени .

Разработанные структура дерева компетенций и шаблон ССП могут быть адаптированы для любого ВУЗа вне зависимости от его размеров, количества направлений подготовки, а также сложности существующей организационной структуры и количества процессов.

Модель позволяет прогнозировать уровень знаний студентов в зависимости от качества организации деятельности в ВУЗе. Данное свойство разработанной модели позволяет выстроить процессы управления научной деятельностью, организации учебного процесса, управления персоналом, учебно-методического обеспечения, финансового обеспечения таким образом, чтобы получать наиболее высокий уровень знаний и умений студентов при выпуске.

Шаблон ССП был реализован с использованием пакета прикладных программ (ППП) ARIS BSC. Для описания структуры нейронной сети, её обучения и тестирования использовался модуль Neural Network Tool ППП MATLAB 6.0.

Результаты исследований представлены на научных конференциях и семинарах: 7-ой, 9-ой научно-практических конференциях «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями», Международной молодёжной научной конференции «XXX Гагаринские чтения», 6-ой Всероссийской научно-практической конференции «Управление качеством», а также были отражены в отчетах по НИР кафедры ПЭИС МЭСИ по темам «Разработка методологических основ создания систем управления бизнес-процессами» и «Разработка методологических основ создания систем интеграции знаний».

Публикации. По теме диссертации опубликовано 7 работ общим объёмом 2,63 печ. л, в том числе 2 работы в журналах, входящих в «Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук».

Структура диссертации. Диссертация состоит из введения, трёх глав, выводов по главам, заключения и списка литературы. Представленный материал иллюстрируется рисунками и приложениями.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, формулируются цели и задачи исследования, определяются предмет и объект исследования, раскрывается научная новизна работы, представляются сведения об апробации и внедрении результатов исследования, а также о теоретической и практической значимости проведенного исследования.

В первой главе анализируются существующие модели оценки качества образования, рассматриваются инструменты, применяемые для оценки эффективности деятельности организации и возможность их адаптации к сфере высшего образования, анализируется возможность применения математических методов для выявления устойчивых зависимостей между эффективностью организации различных процессов ВУЗа и компетенциями студентов.

Качество образования определяется:

1.  Качеством организации деятельности в ВУЗе – тем, насколько эффективно и результативно функционируют процессы учебного заведения.

2.  Качеством знаний, получаемых студентами в процессе обучения.

В работе показано, что уровень компетенций студентов, являющийся результатом деятельности ВУЗа, определяется качеством организации процессов деятельности ВУЗа.

В первой главе были проанализированы модели оценки качества образовательной деятельности, в основе которых лежат требования, подходы к оценке и наборы показателей, определяемые нормативными актами Российской Федерации, международными стандартами в области качества, а также отдельными методиками, предложенными специалистами в области качества.

Проанализированные модели обладают рядом недостатков:

1.  Сложность адаптации к сфере высшего образования и недостаточная эффективность по сравнению с моделью, изначально разработанной для учебных заведений.

2.  Невозможность оценки ВУЗа по отдельным направлениям деятельности.

3.  Нацеленность на оценку либо компетенций студентов, либо эффективности процессов деятельности ВУЗа.

4.  Невозможность выявления причин проблем, возникающих в процессе деятельности ВУЗа.

В работе были проанализированы подходы к оценке качества организации деятельности в ВУЗе и уровня компетенций студентов. При выборе подхода к оценке эффективности деятельности организации были проанализированы следующие методы:

1.  SWOT – анализ, который позволяет выявить сильные и слабые стороны организации, а также потенциальные возможности и угрозы.

2.  Gap-анализ – анализ разрывов; с его помощью можно организовать поиск шагов для достижения заданной цели.

3.  ССП (система сбалансированных показателей) – система взаимосвязанных целей и показателей, отражающая состояние основных направлений деятельности организации (составляющих или перспектив ССП) и позволяющая выявлять причины несоответствий в процессах учебного заведения.

В результате анализа, для оценки деятельности ВУЗа была выбрана ССП, обладающая по сравнению с другими подходами следующими возможностями:

1.  Выявление причин недостатков, обнаруженных в процессах ВУЗа.

2.  Изменение структуры ССП в соответствии с требованиями конкретного ВУЗа.

3.  Учет нефинансовых показателей.

4.  Использование ССП для государственных организаций.

Для оценки знаний и умений студентов предлагается использовать компетентностный подход, предполагающий оценку уровня достижения студентом набора компетенций и обладающий рядом преимуществ:

-  получение студентами именно тех знаний, которые понадобятся им при дальнейшей трудовой деятельности;

-  учет требований рынка труда при составлении содержательной части образовательных программ;

-  унификация подхода к оценке знаний выпускников на базе единых требований к их компетенциям.

В работе показано, что определение устойчивых зависимостей между рядами значений компетенций и составляющими ССП возможно за счет применения методов прогнозирования. Общим недостатком большинства рассмотренных методов прогнозирования (метод экспоненциального сглаживания, вероятностного моделирования, адаптивного сглаживания) является то, что возможности методов математической статистики ограничены жесткими статистическими предположениями о свойствах временных рядов и во многих случаях не позволяют прогнозировать ход реальных процессов. Поэтому для решения задачи выявления функциональной взаимосвязи между показателями ССП и показателями компетентностной модели было предложено использовать инструментарий нейронных сетей, реализующих идеи предсказания и классификации при наличии обучающих последовательностей.

Во второй главе определяется порядок формирования и состав модели для оценки эффективности процессов деятельности ВУЗа, рассматриваются подходы к оценке результатов деятельности ВУЗа, приводится математический аппарат, используемый для выявления устойчивых взаимосвязей между качеством деятельности ВУЗа и уровнем компетенций студентов.

В соответствии с классической концепцией ССП оценка организации происходит на основе четырех составляющих: финансы, клиенты, процессы и персонал. Разработанный шаблон ССП включает в себя восемь составляющих, представляющих собой ключевые направления деятельности ВУЗа:

1.  Учебный процесс.

2.  Научная и инновационная деятельность.

3.  Управление профессорско-преподавательским составом (ППС).

4.  Обеспечение учебно-методическими материалами.

5.  Социальное и техническое обеспечение.

6.  Управление административным составом.

7.  Финансовая деятельность.

8.  Маркетинговая деятельность.

Структура разработанного шаблона ССП обоснована тем, что в отличие от коммерческих организаций, основной целью ВУЗа является не получение прибыли, а предоставление качественного образования студентам, которое напрямую зависит от эффективности организации учебного процесса. В связи с этим, первое место в разработанном шаблоне ССП ВУЗа, будет занимать не финансовая составляющая, а «учебный процесс». В связи с тем, что результаты научных исследований влияют на состав и содержание знаний, которые студенты получают в процессе обучения, перспектива «научная деятельность» занимает второе место в структуре ССП.

Качество учебного процесса также зависит от квалификации ППС и административного персонала. При этом составляющая «управление ППС» напрямую влияет на результаты научных исследований, а, следовательно, она должна располагаться под составляющей «научная деятельность».

Уровнями ниже располагаются составляющие, которые отражают обеспечивающие процессы ВУЗа. В свою очередь от эффективности управления административным составом зависит качество процессов ВУЗа. Исходя из этого, составляющая «Управление административным составом» должна располагаться ниже перспектив, отражающих обеспечивающие процессы ВУЗа.

Финансовая составляющая занимает предпоследнее место в структуре ССП. Последней составляющей в структуре ССП является «Маркетинговая деятельность». Данное направление деятельности позволяет привлечь дополнительное финансирование за счет привлечения внебюджетных студентов и повышения имиджа ВУЗа в целом, а, следовательно, улучшить состояние вышележащих составляющих ССП ВУЗа.

Предложенный шаблон ССП содержит двадцать восемь целей и пятьдесят два показателя, определяющих степень достижения целей. Структура шаблона ССП может полностью изменяться при адаптации к ВУЗу. Фрагмент ССП, отражающий составляющие «Учебный процесс» и «Научная деятельность» представлен на рис.1.

В работе были рассмотрены современные подходы к формированию состава компетенций студентов, в частности, был изучен макет стандарта третьего поколения, в котором структура дерева компетенций включает в себя следующие блоки:

1.  Общекультурные компетенции;

2.  Профессиональные компетенции.

В работе предлагается использовать структуру дерева компетенции, отличающуюся от рассмотренной выше и обладающую следующими преимуществами:

-  упрощается процесс определения степени развития компетенций, получаемых студентами в магистратуре, за счет отсутствия отдельной компетентностной модели для магистров;

-  учитывается модульная система образования, позволяющая студентам развивать дополнительные навыки;

-  сокращаются временные затраты на формирование компетентностой модели за счет включения в структуру шаблона групп компетенций, общих для всех специальностей;

-  появляется возможность выявления недостатков как в теоретической так и в практической подготовке студентов.

Разработанный шаблон дерева компетенций студента, который отражает двухуровневую систему образования (бакалавриат и магистратуру), включает в себя следующие блоки компетенций:

-  общие – определяют степень владения студентом общенаучными подходами и методами, базовыми понятиями и определениями;

-  личностные – характеризуют развитие личных качеств студента;

-  специальные – показывают уровень развития профессиональных компетенций студента.

Блок специальных компетенций определяет степень владения студентами практическими и теоретическими навыками в рамках специальности, а также предусматривает возможность изучения студентами факультативного набора предметов, а, следовательно, развития дополнительных компетенций. Кроме того, блок специальных компетенций включает в себя группу компетенций, которая отвечает за развитие знаний и навыков, получаемых студентами в магистратуре. Таким образом, в структуру дерева компетенций было включено семь групп:

1.  Общие компетенции.

2.  Личностные компетенции для всех специальностей.

3.  Личностные компетенции для направления.

4.  Специальные компетенции для направления (теоретические).

5.  Специальные компетенции для направления (практические).

6.  Дополнительные компетенции.

7.  Компетенции, получаемые в магистратуре.

В диссертации была разработана математическая модель оценки качества образовательной деятельности, учитывающая взаимосвязь ССП и компетентностной модели студента.

Состояние ССП и компетентностной модели студента описывается векторами и :

, (1)

где – значения степени реализации составляющих ССП, измеряемые по относительной шкале от 0 до 1.

, (2)

где – значения групп компетентностей, измеряемые по относительной шкале от 0 до 1.

С целью определения функциональной зависимости между векторами и был использован нейросетевой подход. С целью подготовки данных, поступающих на вход сети, был разработан алгоритм определения значений степени реализации составляющих ССП. При расчете значений степени реализации составляющих было сделано предположение о том, что каждая составляющая имеет множество целей от до, где – количество целей в составляющей где, - номер составляющей ССП (номер входного сигнала нейронной сети).

Достижение каждой из целей (где - номер цели) ССП определяется состоянием показателей , которые поддерживают данную цель, а также степенью выполнения нижележащих целей. В общем виде взаимосвязь между показателями, целями и составляющими ССП можно описать следующим образом:

(3)

Для каждой цели было задано 3 возможных состояния:

– цель не достигнута;

– цель достигнута частично;

– цель достигнута.

Цели ССП располагаются на различных уровнях, при этом цели нижних уровней связаны с верхними и оказывают на них влияние. Следовательно, при расчете степени выполнения цели необходимо учитывать значения степени реализации целей, которые лежат на нижних уровнях.

Таким образом, состояние цели будет определяться, исходя из значения степени её реализации , которое рассчитывалось следующим образом:

, (4)

- значение итогового показателя – определяется исходя из значений показателей , поддерживающих -ю цель,

– коэффициент, отражающий степень влияния нижележащих целей на искомую и определяющийся исходя из состояния целей, лежащих в основе рассматриваемой цели,

- количество показателей, поддерживающих цель,

-номер показателя.

В работе было определено, что состояние для цели устанавливается в случае, если ; состояние - если ; - если .

Каждая цель ССП характеризуется несколькими показателями. Все показатели одной цели могут иметь различную значимость при определении степени достижения цели. Для того чтобы учесть различие в степени влияния показателя на цель экспертно был определен вес каждого из показателей - .

С учетом веса , итоговый показатель рассчитывался по формуле:

, (5)

где – взвешенное значение показателя;

– значение показателя, полученное в результате сбора информации;

- нормативное значение показателя.

Показатель считается:

1.  Достигнутым, если: .

2.  Не полностью достигнутым, если .

3.  Не достигнутым, если .

Значения, определяющие состояние показателей, определялись экспертно, и могут быть изменены.

Для расчета значения коэффициента влияния нижележащих целей необходимо подсчитать количество целей, имеющих состояние и .

Пусть - это число целей имеющих состояние , а - количество целей имеющих состояние , тогда значение коэффициента :

(6)

Коэффициенты 0,01 и 0,02 были определены экспертно и могут быть изменены.

Итоговое значение степени реализации составляющей было рассчитано как сумма значений степеней реализации целей:

(7)

Для обработки данных, полученных от ССП строится модель нейронной сети. Выбор функции активации нейронной сети производился с учетом следующих факторов:

1.  Специфики задачи.

2.  Удобства реализации на ЭВМ.

3.  Алгоритма обучения.

При этом следует учитывать, что чаще всего вид нелинейности не оказывает принципиального влияния на решение задачи, тем не менее, удачный выбор может сократить время обучения в несколько раз.

При выборе функции активации было учтено, что четких алгоритмов для выбора функции активации не существует. Функция активации нейронной сети лишь отражает подход её разработчика к рассмотрению поставленной задачи.

Предсказание значений компетентностей студентов в зависимости от состояния показателей деятельности ВУЗа не является такой сложной задачей, как задачи классификации, проверки гипотез, распознавания образов. Следовательно, применение таких функций как «softmax», позволяющей определять вероятность наступления событий, «гаусовской кривой», применяемой в случаях, когда реакция нейрона должна быть максимальной для некоторого определенного значения, а также других специфических функций, не требуется. В качестве функции активации выбрана логистическая функция, преимуществами которой являются её непрерывность и гладкость. Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратного распространения ошибки). Диапазон входных значений данной функции не ограничен (функция определена на интервале , поэтому она вполне подойдет для решения данной задачи).

На этапе построения модели нейронной сети было определено количество её слоев.

Строго определенной процедуры для выбора количества нейронов и количества слоев в сети не существует. Чем больше количество нейронов и слоев, тем шире возможности сети, тем медленнее она обучается и работает, и тем сложнее может быть зависимость между входом и выходом.

Количество нейронов и слоев связано:

-  со сложностью задачи;

-  с количеством данных для обучения;

-  с требуемым количеством входов и выходов сети.

В работе было учтено, что данные для обучения сети будут весьма скудны, а зависимость между наборами данных относительно сложна. Исходя из этого, в работе было предложено использовать перцептрон не с одним слоем, а с четырьмя. Это позволяет повысить производительность нейронной сети и при этом существенно не снижать скорость ее работы.

На этапе выбора количества нейронов в каждом слое нейронной сети было определено, что на вход сети подается восемь значений степени реализации составляющей ССП, а на выходе формируются значения шести (или семи, в случае если студент обучается в магистратуре) групп компетенций. Следовательно, в первом (входном) слое нейронной сети должно находиться восемь нейронов, а в выходном – шесть или семь.

На следующем этапе построения сети был определен диапазон изменения входных и выходных данных, а также весов нейронной сети.

На вход логистической функции могут подаваться любые значения, а на выходе будут получены значения от 0 до 1. В качестве значений весов был определен вектор , причем начальное значение каждого из его элементов будет равно 0,1. Данный выбор был сделан, исходя из следующего положения: начальные значения не должны быть большими, чтобы нейроны не оказались в насыщении (на горизонтальном участке функции активации), иначе обучение будет очень медленным. Начальные значения не должны быть и слишком малыми, чтобы выходы большей части нейронов не были равны нулю, иначе обучение также замедлится.

Принцип обучения нейронной сети описывается следующей формулой:

; (8)

- количество входных сигналов;

- номер входного сигнала (номер составляющей ССП);

- вектор весов - совокупность весовых коэффициентов нейронной сети;

- номер слоя нейронной сети;

— взвешенная сумма входных сигналов, значение передается на нелинейный элемент;

— пороговый уровень нейрона в слое ;

— нелинейная функция, называемая функцией активации.

На вход нейронной сети подается один вектор из обучающего множества. Далее происходит расчет выхода и сравнение полученного выходного вектора с эталоном . Зная разницу между ними, можно ввести коррекции для весовых коэффициентов и пороговых уровней:

(9)

где — значение, характеризующее скорость обучения и определяемое нейронной сетью.

Разница между выходом и эталоном, , умноженная на текущее значение входа обеспечивают правильное направление коррекций: если , то выход должен увеличиться, и уменьшаться если . Вес увеличивается, если > 0 и уменьшается, если < 0. Если = 0, то вес менять нельзя, так как он не влияет на выход.

Абсолютное значение также учитывается при обучении. Если значение входа велико, то небольшое изменение веса сильно меняет выход. Чем меньше меняются веса, тем меньше вероятность искажения уже запомненных образов. Поэтому множитель оправдан.

Чем больше отклонение вектора от вектора , тем лучше обучена нейронная сеть. Рассмотренный выше вариант коррекции весовых коэффициентов и пороговых уровней способствует росту дисперсии, и, следовательно, увеличивает ко­личество запомненной информации.

Исходя из общего принципа обучения нейронных сетей, порядок работы двухслойного перцептрона будет отражаться следующей формулой:

,

где (10)

-номер сигнала в четвертом слое, -номер сигнала в третьем слое, -номер сигнала во втором слое.

Преимуществом разработанной модели является сочетание двух подходов – компетентностного и ССП, в основе взаимосвязи которых лежит нейросетевая структура, позволяющая наиболее точно определять зависимость между рядами значений.

Третья глава посвящена проведению эксперимента по внедрению разработанной модели и анализ полученных результатов.

Эксперимент включал четыре этапа:

1.  Разработка анкеты для определения уровня компетенций студентов.

2.  Анкетирование студентов.

3.  Сбор показателей деятельности ВУЗа в соответствии с ССП.

4.  Обучение и проверка результатов обучения нейронной сети.

Эксперимент по внедрению разработанной модели проводился на базе ГОУ ВПО «МАТИ» - Российского государственного технологического университета имени . Для проведения анкетирования было решено выбрать выпускников, получающих степень бакалавра по специальности 23.01.00 – «Информатика и вычислительная техника». При помощи сотрудников выпускающей кафедры был составлен список компетенций для данной специальности.

Каждой компетенции студента был сопоставлен один или несколько предметов, изученных студентами в период обучения, причем для каждого из предметов был определен вес, указывающий важность данного предмета для выпускника. По каждому из предметов было разработано несколько заданий, вошедших в анкету и позволяющих определить уровень достижения выпускниками компетенций. На основе разработанной анкеты было проведено тестирование знаний студентов.

В результате тестирования были получены данные о правильности ответов на каждый вопрос теста. Полученные значения были перемножены на вес предмета, к которому относился вопрос. В результате было получено значение степени достижения выпускниками каждой из шести групп компетенций.

Полученные значения отражали уровень компетенций выпускников за 2008 год. Исходя из невозможности провести анкетирование выпускников предыдущих годов было принято решение получить данные об уровне их компетенций на основании показателей успеваемости. Значения уровня компетенций за период с 2001 по 2007 год представлены в табл. 1

табл. 1

Значения групп компетенций студентов за период с 2001 по 2007 год

	Значения групп компетенций
Группа компетенции \ Год	2001	2002	2003	2004	2005	2006	2007
Общие компетенции	0.551	0.5723	0.5959	0.6314	0.6140	0.5547	0.6585
Личностные компетенции для всех специальностей	0.532	0.564	0.569	0.51	0.626	0.689	0.678
Личностные компетенции для направления	0.586	0.588	0.614	0.5896	0.573	0.6063	0.6038
Дополнительные компетенции	0.854	0.835	0.839	0.8747	0.9483	0.8808	0.8723
Специальные компетенции для направления (Теоретические)	0.536	0.674	0.6	0.6263	0.8191	0.7271	0.5906
Специальные компетенции для направления (Практические)	0.518	0.5785	0.7065	0.7349	0.6645	0.5735	0.7975

Следующим этапом проведения апробации модели являлся сбор показателей деятельности ВУЗа. Для этого были использованы данные, представленные ВУЗом в процессе проведения комплексной оценки, а также данные, отраженные в «Ежегодном модуле сбора информации об образовательном учреждении» в период с 2001 по 2008 год.

На основании разработанной математической модели были получены значения по каждой из восьми составляющих ССП в период с 2001 по 2008 год (табл. 2).

табл. 2

Значения степени реализации составляющих ССП подготовленные для обучения нейронной сети

Составляющие ССП	Значения степени реализации составляющих ССП
2001	2002	2003	2004	2005	2006	2007	2008
Учебный Процесс	0,036	0,036	0,039	0,038	0,038	0,038	0,040	0,042
Научная деятельность	0,016	0,017	0,029	0,023	0,030	0,036	0,036	0,036
Управление ППС	0,032	0,031	0,03	0,031	0,029	0,030	0,028	0,029
Учебно-методическое обеспечение	0,031	0,033	0,033	0,039	0,043	0,045	0,044	0,045
Техническое и социальное обеспечение	0,019	0,021	0,024	0,026	0,027	0,027	0,026	0,027
Управление администра-тивным Составом	0,035	0,035	0,037	0,032	0,030	0,028	0,032	0,032
Финансовая деятельность	0,011	0,011	0,011	0,012	0,013	0,015	0,015	0,016
Маркетинговая деятельность	0,005	0,004	0,006	0,007	0,004	0,008	0,005	0,007

По результатам анализа динамики значений степени реализации составляющих были сделаны выводы о том, что:

-  отрицательная динамика составляющей «Управление ППС» указывает на то, что ВУЗу необходимо обратить внимание на данную область своей деятельности, а также разработать стратегию улучшения в области управления ППС;

-  ВУЗу также необходимо увеличить финансирование закупок современного компьютерного оборудования, что позволит вывести процесс проведения занятий на новый качественный уровень;

-  ВУЗ активно ведет научно-исследовательскую деятельность, что отражается на постоянном росте значения степени реализации составляющей «Научная деятельность» и позволяет привлечь в ВУЗ дополнительные инвестиции;

-  значения степени реализации таких составляющих как «Управление административным составом», «Учебно-методическое обеспечение», «Финансовая деятельность» и «Маркетинговая деятельность» за рассматриваемый период изменялись не сильно. Полученные данные отражают то, что деятельность в рамках данных направлений ведется на высоком уровне;

-  несмотря на проблемы с ППС и техническим обеспечением значение степени реализации составляющей «Учебный процесс» постоянно росло, начиная с 2001 года, что указывает на стремление ВУЗа дать качественные знания своим студентам.

Последним этапом проведения эксперимента было обучение нейронной сети и проверка результатов её обучения. На основании значений компетенций выпускников и значений показателей деятельности ВУЗа за период с 2001 по 2007 год было проведено обучение сети, имеющей следующую структуру:

1.  Имеет четыре слоя – с восемью нейронами в первом слое, с шестью - в выходном и с десятью нейронами в третьем и четвертом.

2.  Содержит логистические функции во всех слоях.

3.  Использует алгоритм обратного распространения ошибки.

4.  Принимает на вход вектор из восьми элементов и генерирует на выходе вектор из шести элементов.

Структура нейронной сети, полученной в ППП MATLAB представлена на рис.2.

Рис.2 Структура нейронной сети, полученной в ППП MATLAB

Для того чтобы проверить результативность обучения на вход сети был подан лишь вектор значений показателей деятельности ВУЗа за 2008 год. По результату работы сети был получен прогнозируемый уровень значений групп компетенций выпускников. Сопоставив полученный вектор с имеющимся (табл. 3), было выявлено, что отклонение между значениями данных векторов составило не более 3-5%, что указывает на то, что нейронная сеть действительно была обучена, а оценка качества образования на основании разработанной модели возможна.

табл. 3

Сравнение фактических и спрогнозированных значений достижения студентами компетенций за 2008 год

Значения компетенций за 2008 год
Группы компетенции	Имеющиеся данные	Спрогнозированные данные
Общие компетенции	0.56345	0.61819
Личностные компетенции для всех специальностей	0.66485	0.66002
Личностные компетенции для направления	0.54182	0.67087
Дополнительные компетенции	0.40364	0.44618
Специальные компетенции для направления (Теоретические)	0.46182	0.58376
Специальные компетенции для направления (Практические)	0.51364	0.56391

Погрешность в вычислении, полученная в результате работы нейронной сети, обусловлена тем, что данные об уровне значений групп компетенций за последний год, на основе которых происходила проверка результатов обучения нейронной сети, были получены путем тестирования студентов. В свою очередь обучение сети происходило на основе данных, которые были получены путем анализа успеваемости студентов.

Проведенный эксперимент подтвердил, что использование данной модели позволит прогнозировать уровень компетенций студентов в зависимости от качества организации учебного процесса, а также определять области деятельности организации, требующие улучшения и способные повлиять на формирование заданного уровня компетенций.

В заключении приведены научные выводы, результаты и рекомендации, полученные в ходе выполнения исследования.

ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1.  Разработана комплексная модель оценки качества деятельности ВУЗа на основании нейросетевого подхода, компетентностного подхода и ССП. Разработанная модель оценки качества образовательной деятельности легко адаптируется к специфическим требованиям ВУЗов за счет возможности изменения шаблона ССП, дерева компетенции, а так же структуры нейронной сети.

2.  Сочетание компетентностного подхода и ССП позволяет прогнозировать уровень компетенций студентов в зависимости от различных вариантов организации деятельности ВУЗа. Это позволит выстроить процессы деятельности ВУЗа таким образом, чтобы компетенции студентов по окончанию обучения отвечали требованиям как образовательных стандартов, так и рынка труда.

3.  Сформулирован набор показателей и система целеполагания, входящие в состав ССП. Предложенная структура ССП направлена на реализацию стратегии по повышению качества образовательной деятельности в ВУЗе, позволяет учесть разные направления деятельности ВУЗа, осуществлять контроль качества каждого из этих процессов, а также выявлять недостатки в процессах учебного заведения и их причины.

4.  Разработана структура дерева компетенций, направленная на оценку знаний студентов, отражающая как моноподготовку студентов, так и двухуровневую систему образования. Сформированный шаблон дерева компетенций позволяет определять состав и содержание знаний, умений и навыков студентов основываясь не только на положениях государственных образовательных стандартов, но и с учетом потребностей рынка труда.

5.  Разработанная четырехслойная нейросетевая структура на основе логистической функции позволяет производить обучение нейронной сети при наличии семи и более обучающих примеров.

6.  Математическая модель оценки качества образования на основании нейронной сети предоставляет возможность оценивать уровень компетенций студентов в зависимости от состояния деятельности ВУЗа с погрешностью от 3 до 5%.

7.  Модель оценки качества образовательной деятельности позволяет определять причины проблем в процессах деятельности ВУЗа, снижающие уровень компетенций студентов.

СПИСОК ПУБЛИКАЦИЙ:

1.  , Математическая модель оценки качества образования в ВУЗе на базе компетентностного подхода, карты сбалансированных показателей и нейронных сетей, Науно-информационный журнал Экономические науки, 2, Издательство «24-Принт».

2.  , Компетентностная модель студента как инструмент оценки качества образования, Науно-информационный журнал Экономические науки, 2, Издательство «24-Принт».

3.  , Модель оценки качества образовательной деятельности ВУЗа, основанная на компетентностном подходе и взаимосвязанной сети показателей качества, Сборник материалов шестой Всероссийской научно-практической конференции «Управление качеством», 12-13 марта 2007 года, М.: ИТЦ ГОУ ВПО «МАТИ» Российского государственного технологического университета им. , 2007, 256 с./

4.  , , Оценка качества обучения в ВУЗе на основе компетентностного подхода, Труды 9-ой научно-практическая конференция. «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями» (РБП-СУЗ-20апреля 2006 г.), Сборник докладов, Москва 2006.

5.  Козлов мониторинга показателей аттестации, лицензирования и государственной аккредитации ВУЗа, как необходимая компонента обеспечения качества образовательных услуг (статья), Технологии интегрированных автоматизированных систем в науке, производстве и образовании: Сборник статей/ Под ред. – М.: Издательско-типографский центр МАТИ, 20с..

6.  , Разработка методов и моделей оценивания качества образовательной деятельности (статья), Технологии интегрированных автоматизированных систем в науке, производстве и образовании: Сборник статей. Выпуск № 2/ Под ред. проф. – М.: Издательско-типографский центр МАТИ, 20с..

7.  , , Задачи применения нейронных сетей в образовательном процессе, Труды 7-ой научно-практическая конференция. «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями» (РБП-СУЗ-20апреля 2004 г.), Сборник докладов, Москва 2004.