Анализ эффективности реализации государственного плана подготовки управленческих кадров для организаций народного хозяйства Российской Федерации в 2007/2008 учебном году (стр. 3 )

Неэскпериментальные исследования

Естественные или организованные эксперименты не являются единственным методологическим инструментом, который может использоваться для получения достоверной оценки воздействия эффекта программ. Более того, нередко эксперименты являются непрактичными или нереализуемыми, или просто нет экспериментальных данных. В такой ситуации исследователи часто основывают свои выводы на данных наблюдений. Такие исследования называются неэкспериментальными (обсервационными). При их использовании можно ожидать, что группа участников программы и контрольная группа будут различаться по своим характеристикам (помимо участия и неучастия в программе), которые влияют на изучаемую переменную исхода, по которой сравниваются участники и неучастники.

Были разработаны разные методы для контроля систематической ошибки, связанной с отбором, насколько это представляется возможным. Если участники и контрольная группа (неучастники) различаются только по наблюдаемым характеристикам, то эти различия можно проконтролировать. В этом случае говорят, что отбор или самоотбор происходит на основании наблюдаемых характеристик. Адекватным подходом в такой ситуации является подбор пары.

Если участники и неучастники различаются не только по наблюдаемым, но и по ненаблюдаемым характеристикам, то идея состоит в использовании одного и того индивида в разные периоды времени (до программы и после) в качестве участника и неучастника. На этом аргументе строится подход разности разностей.

В некоторых ситуациях, несмотря на отсутствие рандомизации в отборе участников, есть некоторая переменная (инструмент), не связанная с потенциальным исходом, на основании которой производится отбор в участники программы. В этом случае метод инструментальных переменных позволяет выявить эффект программы.

1.3. Описание инструментария исследования

Рабочей группой проекта совместно с привлеченными экспертами был подготовлен следующий инструментарий для оценки эффективности реализации Программы:

В представленном исследовании эффективности реализации Программы используется специально разработанный уникальный подход к оценке эффективности обучения в рамках Программы, предусматривающий использование качественных и количественных методов.

·  Количественные методы:

o  Анкета «Отчет № 1. О прохождении подготовки в региональном образовательном учреждении в рамках Государственного плана подготовки управленческих кадров для организаций народного хозяйства Российской Федерации в 2007 - 2008 году», заполняется специалистом сразу по прохождении им обучения в российском образовательном учреждении (см. приложение 1).

o  Анкета «Отчет № 2. О прохождении зарубежной стажировки в рамках Государственного плана подготовки управленческих кадров для организаций народного хозяйства Российской Федерации» (Отчет № 2 ЗС), заполняется специалистом сразу по прохождении им стажировки (см. приложение 5).

o  Анкета «Отчет № 2. О прохождении стажировки на российском предприятии в рамках Государственного плана подготовки управленческих кадров для организаций народного хозяйства Российской Федерации» (Отчет № 2 РС), заполняется специалистом сразу по прохождении им стажировки (см. приложение 1).

o  Анкета «Отчет № 3. Оценка результатов обучения в рамках Государственного плана подготовки управленческих кадров для организаций народного хозяйства Российской Федерации», заполняется спустя 3 – 6 месяцев по завершении обучения в российском образовательном учреждении (см. приложение 2).

o  Анкета по обменным стажировкам, заполняющаяся зарубежными стажерами, прошедшими стажировку на российских предприятиях (см. приложение 8, 9).

o  Анкета выпускника Президентской программы.

o  Анкета руководителя предприятия «Оценка результатов участия работников предприятия в Программе подготовки управленческих кадров в 2007-2008 г.» (см. приложение 10).

·  Качественные методы:

o  Интервью с руководителями региональных общественных объединений (ассоциаций) выпускников Программы.

Таким образом, анализ эффективности включает в себя анализ образовательного процесса, динамику профессионального роста специалистов, а также позволяет дать

Анкета руководителя заполнялась на бумажном носителе.

Анкета выпускника Президентской программы заполнялась в электронном виде (электронная анкета – в формате WORD).

Этапы	Поступление на Программу	Обучение	Стажировка РС	Стажировка ЗС	Постпрограммная работа	3-6 месяцев спустя окончание обучения
Что оценивается
Оценка регионов (организации обучения)	Анкет «отчет №1»
Оценка вузов		Анкета «отчет №1»				Анкета «отчет №3»
Стажировка РС (организация, регионы)			Анкета «отчет №2 РС»
Стажировка РС (организация, вузы)			Анкета «отчет №2 РС»
Стажировка ЗС (регионы)				Анкета «отчет №2 ЗС»
Стажировка ЗС (вузы)				Анкета «отчет №2 ЗС»
Эффективность реализации Программы						Анкета «отчет №3»
Постпрограммная работа						Анкета «отчет №3»

Отличительной особенностью предложенной схемы мониторинга эффективности является временной разрыв в оценке таких аспектов Программы, как достижимость поставленных целей, применимость полученных знаний и навыков в рамках обучения в Программе.

Опрос позволяет получить оценку как непосредственно по завершению обучения, так и спустя 3-6 месяцев. Это дает ряд особенностей полученной информации:

1.  информация, полученная непосредственно по завершению обучению в вузе (Анкета «отчет №1»), наиболее полная, так как весь процесс обучения только завершился;

2.  на информацию, полученную непосредственно по завершению обучению в вузе (Анкета «отчет №1»), в достаточно сильной степени влияет эмоциональная оценка Программы;

3.  на информацию, полученную от выпускников спустя несколько месяцев после завершения обучения в вузе (Анкета «отчет №3»), влияет эффект «забывания», то есть специалисты не могут «припомнить» часть информации, которой они владели при заполнении анкеты «отчет №1». Однако та информация, которую они указывали, скорее всего, обладает для специалистов большей значимостью;

4.  при опросе в конце завершения обучения (Анкета «отчет №1»), специалист оценивает полученные навыки и знания с точки зрения предыдущего опыта, но по прошествии достаточно длительного периода (Анкета «отчет №3»), специалист имеет возможность оценить полученные знания с точки зрения своего нового опыта, что дает более валидную информацию о применимости на практике как полученных знаний и навыков, так и применимость предметов.

Глава 2. Анализ ситуации в организациях и предприятиях, направляющих своих специалистов для участия в Программе

Отраслевая структура предприятий, специалисты с которых принимают участие в Программе, достаточно стабильна из года в год. Наибольший процент специалистов, пришедших на Программу, как и в прошлые годы, работает в промышленности (39%). Из отраслей промышленности наиболее представлены машиностроение (6.6%) и металлургия (5.7%). Большой процент специалистов приходит на Программу также из непроизводственной сферы (24.6%) и из торговли и общепита (17.7%). 10% участников Программы работает в строительстве. Наименее представлены сельское и лесное хозяйство (3.2%), а также транспорт (6.4%).

Большинство специалистов, попадающих на Программу из отраслей промышленности, работают на крупных предприятиях (57%). 27% специалистов из промышленности работают на очень крупных предприятиях, размер которых превышает 3.000 человек. Из других секторов экономики (торговля, строительство, сфера услуг) в Программе, как правило, участвуют менеджеры со средних и малых предприятий (см. табл. 2.1).

Таблица 2.1. Отрасль и размер предприятия, 2008 год.

	до 100 человек, %	от 100 до 500 человек, %	более 500 человек, %	Всего, %
Промышленность	24.0	19.2	56.8	100
Сельское хозяйство, лесное хозяйство	48.5	29.1	22.3	100
Транспорт	35.2	25.2	39.5	100
Строительство	60.3	25.1	14.6	100
Торговля и общепит	66.7	16.6	16.6	100
Отрасли непроизводственной сферы	65.4	19.2	15.4	100

Большинство специалистов (около 87%), принимающих участие в Программе оценивают экономическое положение своих предприятий как удовлетворительное или хорошее. 7% специалистов считают экономическое положение своих предприятий отличным. Число специалистов с предприятий, испытывающих экономические трудности во все годы не превышало 10%, а в 2006-2008 годах составляло около 5%. При этом большинство менеджеров считает, что текущее экономическое положение несколько улучшилось за последний год и строит умеренно оптимистические прогнозы на следующий год.

Таблица 2.2. Изменение экономического положения предприятия в текущем и будущем годах, 2008 год.