Влияние внешних условий при измерении эффективности государства методом Data Envelopment Analysis.
Последние десятилетия XX в. сопровождались постоянным ростом интереса к проблеме эффективности государственной власти. Трансформация мировой политической системы и экономическая глобализация привели к появлению спроса на формализованные методы и критерии оценки эффективности: уже не только ученые, но и управленцы заинтересовались тем, какими именно характеристиками должно обладать государство, чтобы успешно и устойчиво развиваться. Такие методы активно разрабатывались консалтинговыми компаниями, в первую очередь – для оценки инвестиционных рисков, а также международными организациями. Наиболее известны разработки аналитиков Всемирного банка, первыми предложивших комплексные оценки эффективности развития государства на основе данных социологических и экспертных опросов. Параллельно, начиная с 1980-х гг. в западных странах шли процессы административных реформ в духе концепции нового государственного управления (New public management), также направленные на повышение «качества» государственной власти и спровоцировавшие выработку критериев эффективной работы государственных институтов. Благодаря постоянно растущему спросу, количество различных эмпирических методик оценки эффективности также значительно увеличилось: если в 1980-х таких методик было менее десятка, то уже в 2000-х это число возросло до 50, причем половина исследований проводилась на регулярной основе.
В настоящее время наиболее популярными инструментами оценки эффективности государства являются непараметрические методы анализа среды функционирования (Data Envelopment Analysis, DEA). Суть метода заключается в следующем: государство представляется как система, потребляющая ресурсы общества и производящая социально значимые блага (безопасность, здоровье, инфраструктуру и т. д.). При этом производственная функция, определяющая процесс преобразования ресурсов в результат, остается неизвестной; однако на основе эмпирических данных о затратах и результатах строится приближение границы производственных возможностей. Расстояние до границы производственных возможностей, т. е. соотношение затрат и результатов, и является мерой эффективности рассматриваемой системы. Необходимо отметить, что специфика метода заключается в том, что полученные оценки являются относительными: граница строится строго для данного набора государств или регионов.
Принципиально, что сам процесс преобразования ресурсов в результаты остается за рамками рассмотрения модели: эффективность определяется не на основе внутренних характеристик DMU (единица принятия решений остается «черным ящиком»), а на том, как они проявляются в виде соотношения затрат и результата. Такой подход позволяет избежать необходимости делать предположения о структуре рассматриваемых систем, сосредоточившись на их характеристиках. Кроме того, такой метод позволяет сравнивать эффективность достаточно разнородных систем. В этом его преимущество по сравнению с качественными подходами, определяющими уровень эффективности организаций на основе анализа управленческой структуры (размера организации, наличия тех или иных элементов). Также в рамках модели DEA возможно сравнение стран и регионов с различным достигнутым уровнем развития.
В то же время, полученная DEA-оценка эффективности государства представляет собой численную характеристику сложного и многогранного процесса, характеристики которого определяются несколькими факторами. Во-первых, это собственно эффективность рассматриваемой системы: в случае с государством это способность лиц, принимающих решения, рационально организовывать процесс затраты ресурсов, эффективность управленческой структуры, уровень подготовки кадров, наличие или отсутствие коррупции. Во-вторых, это внешние, прямо не связанные с эффективностью условия, в которых система осуществляет свою работу: наличие или отсутствие ресурсной базы (в том числе квалифицированного персонала), достигнутый уровень развития, природно-географические условия, масштаб экономики и т. д. Именно данная проблема является одним из фокусов современных теоретических и методологических исследований в области измерения эффективности государства[1]. DEA-оценки, рассчитанные для группы разнородных DMU без учета внешних условий, являются «сырыми», невалидными оценками эффективности, поскольку включают в себя влияние факторов, не зависящих от самих DMU.
Ключевой проблемой, возникающей в прикладных исследованиях эффективности государства, стали различия во внешних условиях: одинаковый объем общественных благ в разных странах и регионах требует различных затрат (например, чтобы проложить 1 метр дороги с твердым покрытием в Чукотском АО и в Санкт-Петербурге, требуются принципиально разные затраты средств и времени).
В настоящее время зарубежными исследователями применяется несколько групп методов, позволяющих корректировать DEA-оценки эффективности. Рассмотрим возможности каждого из них отдельно.
1) Регрессионный анализ. В рамках данного подхода рассчитанные DEA-оценки (обозначим их ) считаются случайной величиной, состоящей из «истинной» эффективности Е (т. е. свойств самого DMU, определяющих успешность его деятельности) и влияния набора внешних переменных Z. Таким образом, процесс формирования оценок эффективности можно записать в виде линейной регрессионной модели:
(5)
Рассчитав коэффициенты регрессии 
и 
, можно получить истинную эффективность, вычтя из «сырых» оценок эффекты внешних переменных:
(6)
Данный метод достаточно широко распространен в прикладных исследованиях эффективности, однако его применение связано с рядом методологических и методических проблем[2]. Во-первых, сами DEA-оценки автокоррелированы, что ограничивает набор методов регрессионного анализа: оценка параметров методами простых или обобщенных наименьших квадратов приводит к систематическим ошибкам в расчетах, поскольку DEA-оценки зависят друг от друга. В ряде работ представлены регрессионные модели, обходящие данное ограничение, однако они достаточно сложны для применения на практике. Во-вторых, учитывая сложность изучаемых процессов, может быть неверным предположение о линейной связи эффективности с внешними факторами. Третий и наиболее существенный момент связан с сильной неоднородностью объектов исследования и характером распределений, не подчиняющихся нормальному закону. В таких условиях влияние отдельных регионов на оценки параметров уравнения регрессии становится многократно выше по сравнению с другими
2) Усложнение модели DMU. Несмотря на то, что полностью «раскрыть черный ящик» DMU, получив производственную функцию, связывающую затраты с результатом, не представляется возможным, некоторое усложнение модели позволяет учесть различия в стартовых и внешних условиях. Наиболее простой моделью DEA является модель с монетарным входом (затраты бюджета) и социальным выходом (общественно значимый результат), оценивающая качество работы государственной власти в целом. При этом сам процесс переработки входов в результат можно разделить на несколько последовательных стадий, представляющих собой этапы работы DMU. К примеру, на первом этапе расходы бюджета на здравоохранение состоят из затрат на строительство больниц, закупку оборудования и зарплату медицинского персонала; эффективность DMU (часто в литературе эффективность на данном этапе называют «технической эффективностью») в данном случае будет частично зависеть от внешних условий: географического положения, сложных природных условий, степени развития инфраструктуры и т. д. Выходными показателями в данном случае будут обеспеченность медицинским персоналом и больничными койками на душу населения. На втором этапе эти показатели становятся входными, а DEA-модель оценивает эффективность преобразования доступных конечному потребителю ресурсов в общественно значимый результат[3] (т. е. «социальную эффективность»).
В данном случае внешними факторами, влияющими на оценку эффективности, будут в первую очередь культурные и демографические особенности населения, определяющие доверие к медицинским услугам и спрос на них.
В зависимости от того, насколько хорошо изучен процесс работы DMU, число рассматриваемых этапов преобразования ресурсов в результаты может увеличиваться или дополняться другими моделями (так, конечный этап потребления общественных благ населением можно рассматривать в рамках модели спроса и предложения). На каждом из этапов устраняется влияние части внешних факторов, а DEA-оценки приближаются к истинным оценкам эффективности. К тому же, наличие нескольких оценок эффективности позволяет проводить сравнения DMU по комплексу критериев и выявлять слабые места в работе: в одном случае проблемы могут возникать уже на этапе расходования бюджетных средств; в другом обеспечивается должный уровень инфраструктуры, однако нет квалифицированных кадров и т. д.
К проблемам данного метода корректировки оценок следует отнести, во-первых, необходимость более глубокого понимания процесса работы изучаемых систем. В случае с оценкой эффективности государства многие процессы остаются в недостаточной мере формализованными для разделения на отдельные этапы и построения многоуровневых DEA-моделей. Во-вторых, данный подход требует наличия данных для каждого из этапов работы системы, что в ряде случаев может оказаться проблематичным (например, при оценке работы муниципальных образований). В-третьих, возникает методологическая проблема объединения полученных DEA-оценок в единый рейтинг эффективности.
3) Коррекция исходных показателей. Наиболее простым способом учета различий во внешних условиях является коррекция исходных входных и выходных показателей. Учет эффектов масштаба производится в рамках самого DEA-анализа при построении границы производственных возможностей[4], однако для устранения искажений в результатах необходимо сглаживать различия между DMU: например, монетарные показатели всегда берутся в пересчете на душу населения для устранения различий в размере территории.
Возможно также устранение влияния более сложных внешних условий за счет введения корректирующих коэффициентов, в первую очередь – для входов модели. Применение данного способа корректировки оценок основано на предположении о том, что одинаковый набор государственных услуг требует различных бюджетных затрат в зависимости от степени развития инфраструктуры и географических факторов; поправка на такие коэффициенты позволяет получить «чистые» исходные показатели. Примером могут служить индексы бюджетных расходов (ИБР), используемые Министерством финансов, которые учитывают наличие населения в труднодоступных районах и плотность транспортных сетей, долю трудоспособного населения, стоимость фиксированного набора продуктов и услуг ЖКХ, а также доходы населения, практически полностью устраняя географические различия между российскими регионами[5]. Индекс построен так, что среднероссийские условия соответствуют значению 1; более тяжелые условия – значениям больше 1; более благоприятные условия – значениям от 0 до 1.
К недостаткам метода следует отнести сложность учета разноплановых внешних факторов в одном индексе: например, для объединения показателей географических различий и различий в уровне развития инфраструктуры необходимо теоретическое обоснование методики построения индекса и детальный анализ его распределения. Кроме того, метод подходит преимущественно для коррекции монетарных показателей.
4) «Метаграница». Наиболее актуальными в настоящее время являются модели с применением т. н. метаграницы. Суть модели состоит в следующем: все рассматриваемые DMU объединены участием в процессе производства общественных благ в рамках пространства производственных возможностей, ограниченных общей ГПВ, или метаграницей. При этом сам набор DMU может быть разнородным, т. е. все DMU можно разбить на группы, использующие разные производственные функции. Для каждой группы DMU можно построить свою, «локальную» границу производственных возможностей, которая будет объединять системы, работающие в схожих условиях[6]. В свою очередь, разница между локальной границей и метаграницей отражает влияние внешних условий.
Рассчитав эффективность DMU относительно локальной границы и метаграницы, можно рассчитать так называемый коэффициент технологического разрыва (technology gap ratio, TGR[7]), показывающий, насколько внешние условия влияют на эффективность. Алгоритм анализа эффективности при использовании данной модели будет следующим. Во-первых, следует использовать инструменты многомерной классификации (например, кластер-анализ), чтобы разбить изучаемые DMU на группы на основании внешних условий. Во-вторых, построить общую ГПВ и рассчитать «сырые» оценки эффективности. В-третьих, построить локальные ГПВ для каждой группы изучаемых объектов и рассчитать внутригрупповые оценки эффективности. В-четвертых, рассчитать TGR. Таким образом, помимо оценок эффективности, очищенных от влияния внешних переменных, мы получим оценку того, насколько внешние условия влияют на работу DMU.
С одной стороны, данный подход предоставляет широкие возможности для получения «чистых» оценок эффективности. С другой стороны, формирование групп DMU полностью зависит от выбранных параметров и алгоритма классификации, при изменении которых будут получены другие значения оценок эффективности. Также вырастет число регионов, обозначенных как эффективные (т. е. лежащих на границах производственных возможностей).
В рамках исследования произведены расчеты DEA-эффективности для регионов России в нескольких сферах. Проведена коррекция полученных результатов каждым из перечисленных способов и сравнение валидности результатов оценки с учетом различных способов коррекции.
Литература:
1. Ахременко эффективности государственного сектора: теоретическая модель и методика измерения // Труды семинара «Математическое моделирование политических систем и процессов». Выпуск I. Под ред. . М.: Издательство Московского университета, 2011
2. , Юрескул государственного управления: политологический и экономический подходы //Общественные науки и современность, №7, 2012 (в печати)
3. , Юрескул логистической модели в оценке эффективности регионов России (на примере анализа динамики ВРП в гг.) // Труды семинара «Математическое моделирование политических систем и процессов». Выпуск I. Под ред. . М.: Издательство Московского университета, 2011
4. Afonso A., Aubyn M. Non-parametric Approaches to Education and Health Efficiency in OECD Countries. - Journal of Applied Economics. 2005, vol. 8(2), November.
5. Battese G. E., Rao D., O’Donnell C. J. A Metafrontier Production Function for Estimation of Technical Efficiencies and Technology Gaps for Firms Operating Under Different Technologies. - Journal of Productivity Analysis 21(1):91–103, 2004
6. Charnes A., Cooper W., Rhodes E. Measuring the Efficiency of Decision Making Units. European Journal of Operational Research, 2 (6), 1978, 429–444.
7. Daraio C., Simar L. Introducing Environmental Variables in Nonparametric Frontier Models: a Probabilistic Approach. - Journal of Productivity Analysis 24:93–121, 2005
8. Hammond C. J. Efficiency in the Provision of Public Services: a Data Envelopment Analysis of UK Public Library Systems. - Applied Economics 34(5):649–657, 2002
9. O’Donnell C., Westhuizen G. Regional Comparisons of Banking Performance in South Africa. - South African Journal of Economics 70(3):224–240, 2002
10. O’Donnell C. J., Prasada Rao D. S., Battese G. E. Metafrontier Frameworks for the Study of Firm-level Efficiencies and Technology ratios. - Empirical Economics 34:231–255, 2008
11. Popoviã G., Martiã M. Two-stage DEA Use for Assessing Efficiency and Effectiveness of Micro-loan Programme. - The 7th Balkan Conference on Operational Research, May 2005, Romania
12. Simar L., Wilson P. Estimation and Inference in Two-stage, Semi-parametric Models of Production Processes. - Journal of Econometrics, –64.
13. Van de Walle paring the Performance of National Public Sectors: Conceptual Problems. - International Journal of Productivity and Performance Management, 57(4), 2008: 329-338
14. Worthington A., Lee B. Efficiency, Technology and Productivity Change in Australian Universities, 1998–2003. - Economic Education Review 27(3):285–298, 2008
[1] Van de Walle paring the Performance of National Public Sectors: Conceptual Problems. International Journal of Productivity and Performance Management, 57(4): 329-338, 2008.
[2] См. Simar L., Wilson P. Estimation and Inference in Two-Stage, Semi-Parametric Models of Production Processes. - Journal of Econometrics, 136, 2007, P. 31–64
[3] Подробнее см. Hammond C. J. Efficiency in the Provision of Public Services: a Data Envelopment Analysis of UK Public Library Systems. - Applied Economics, 34(5):649–657, 2002
[4] Подробнее о построении ГПВ см. Ахременко эффективности государственного сектора: теоретическая модель и методика измерения // Труды семинара «Математическое моделирование политических систем и процессов». Выпуск I. Под ред. . М.: Издательство Московского университета, 2011
[5] http://*****/ru/budget/regions/methodology/archive/index. php? id4=607
[6]Подробнее о кластеризации DMU см. O’Donnell C. J., Prasada Rao D. S., Battese G. E. Metafrontier Frameworks for the Study of Firm-level Efficiencies and Technology Ratios. - Empirical Economics 34:231–255, 2008
[7] См. Hammond C. J. Efficiency in the Provision of Public Services: a Data Envelopment Analysis of UK Public Library Systems. - Applied Economics 34(5):649–657, 2002
