Аннотации по R&D Evaluation

Аннотации по R&D Evaluation

[S. Kuhlmann] Evaluation of research and innovation policies: a discussion of trends with examples from Germany

Источник: Int. J. Technology Management, Vol. 26, Nos 2/3/4, 2003

Дата публикации: 2003

Тема: Оценивание научных исследований

Краткая аннотация: В данной статье автор на примере Германии рассматривает процесс развития оценивания в области научных исследований и инноваций. Исследовательские институты представляют собой самодостаточную систему, для которой критерии эффективности и качества значительно отличаются от критериев, применяемых в других социальных подсистемах. Часть процедур оценивания в данной области, таких как оценка научной эффективности, экспертная оценка также во многом определены самодостаточностью данной системы. Однако у нее есть и свои ограничения, а именно способ финансирования научных исследований, который в Германии больше чем на треть опирается на средства налогоплательщиков, выражающих все больший скептицизм относительно автономности данной системы. Поэтому крупные научные исследования, кросс-секторальные инновационные проекты, а также исследовательские институты все чаще становятся объектами оценивания. В связи с этим и сама оценка в области научных исследований продолжает активно эволюционировать. Автор приводит данные, характеризующие систему государственных исследований, структуру исследовательских институтов и инновационной политики в Германии, которая по мировым стандартам считается довольно развитой (480,000 занятых и 2,45% расходов ВНП). Далее автор обращается к основным концепциям, областям применения и методам оценивания, используемых в области научных исследований. Здесь различают три уровня. Первый уровень – так называемое ядро – представляет собой оценку индивидуальных исследований. Он был сформирован экспертными оценками в качестве внутреннего способа распределения денежных средств исследовательским институтам. Эксперты в Германии до сих пор играют важную роль в оценивании ex ante для фундаментальных и долгосрочных прикладных исследований. Второй уровень - программы – представляет собой анализ воздействия проводимых исследовательских программ. Данная оценка является внешней, поскольку она осуществляется преимущественно от имени политической администрации на предмет достижения заявленных экономических, технологических, научных целей. Третий уровень – это уже оценка самих научных организаций, которая регулярно проходит в Германии. В целом практика оценивания эффективности научных исследований в Германии является одновременно сильной из-за высокой степени самоорганизации и фрагментированной, поскольку недостаточно усилий предпринимается по координации и систематизации практик оценивания. В том что касается методов оценивания, то среди основных можно выделить сравнение до/после, метод контрольной группы, качественный анализ (проверка на достоверность, оценочные суждения). Вдобавок к обозначенным методам применяются различные индикаторы, методы сбора (статистика, анкетирование, интервью, кейсы и. т.п.) и анализа данных (эконометрические модели, анализ издержек/выгод, технометрика, библиометрика, экспертные оценки). Автор отмечает, однако сложность использования данной методологии при оценивании, связанную с тем, что за редким исключением цели исследовательской и инновационной политики определены недостаточно четко для того, чтобы их достижимость можно было проверить. Кроме того, рядом экспертом подвергается сомнению объективность результатов самого оценивания. Поводом для критики служит прежде всего то, что в области научных исследований слишком много разновременных и многомерных эффектов, оказываемых влияние на различных акторов, прямо не участвующих в исследованиях. Кроме того, оценивание в данной области должно быть ex ante, однако, довольно часто трудно предположить возможные социально-экономические эффекты заранее. Помимо этого, полученный эффект не всегда можно однозначно приписать к действию той или иной программы. Наконец, автор говорит о трансформации системы научных исследований и институтов, необходимости ее адаптации к современным условиям глобализации, повышению конкурентоспособности, необходимости сотрудничества, развития междисциплинарных компетенций и т. д. Именно оценивание нового поколения, с его акцентом на переговорную сторону, роли оценщика в качестве медиатора конфликтующих интересов всех заинтересованных сторон, повышении степени их информированности отвечают требованиям современного оценивания в данной области.

: [David F. J. Campbell] Evaluation of University Research in Europe

Источник: HOFO Working Paper Series: IFF_hofo.05.2002 / http://www.Iff. ac. at/hofo

Дата публикации: 2002

Тема: Оценивание научных исследований

Краткая аннотация: Данная статья делает акцент на оценивании университетских (академических фундаментальных) исследований в Европе. Университетские исследования в Европе финансируются преимущественно государством и сконцентрированы в основном на фундаментальных исследованиях. Важность академических, фундаментальных исследований для развитых обществ является неоспоримой. В отличие от национальных исследований и научных разработок в бизнесе, университетские научные исследования слабо зависят от экономической цикличности, поэтому они являются довольно стабильным элементом исследовательских и инновационных систем. Тот факт, что увеличение университетских научных исследований с начала 90-х гг. носило умеренный характер, объясняется необходимостью увеличения отдачи, а точнее, качественной отдачи от данных исследований. Для этого неотъемлемым является оценивание структур и функциональности научно-исследовательских институтов. Под оцениванием университетских исследований автор подразумевает интерпретирование или высказывание мнения об эффективности, релевантности, надежности, отдачи университетских научных исследований. Таким образом, оценивание помогает оптимизировать работу академических институтов, утвердить принципы ответственности и подотчетности, способствовать применению эксплицитных и рациональных критериев в процессе принятия решений. В Европе государственное финансирование научно-исследовательских разработок осуществляется Общим Университетским Фондом. Помимо этого органа существуют специальные схемы финансирования исследований в рамках конкретных проектов и программ. Для них оценивание проводится в основном ex ante, но также и ex post, в то время как исследования, поддерживаемые ОУФ, как правило, оцениваются ex post. В том, что касается методик оценивания университетских научных исследований, то здесь существует две опции: экспертное мнение и использование индикаторов, основанных на количественной информации. Автор отмечает, что экспертные оценки, как правило, способны к интеграции более комплексных суждений в оценивании, которые, однако, могут быть довольно субъективными. В то же время индикаторы, которые хоть и более объективны, могут быть довольно поверхностными, из-за чего их необходимо постоянно пересматривать и улучшать. В связи с этим необходимо комбинировать эти два подхода. Относительно концептуального моделирования качества университетских научных исследований, автором предлагается двухуровневая система. Первый уровень подразумевает следующие критерии: качество, отдача, релевантность и надежность. Критериями для второго уровня выступают эффективность, организационные улучшения, эволюционный рост качества, параллельная эволюция научных исследований и их оценивания. Автор также рассматривает функции оценивания в области научных исследований и утверждает, что в будущем академические институты должны будут уделять равнозначное исследованиям внимание в области обучения. Поэтому и оценивание научных исследований должно включать в себя оценивание в области образования, т. к. достижения академических институтов должны быть отражены в их функциональной сложности. Автор отмечает необходимость опираться на культурный плюрализм, равно как и на функциональные нужды развитых обществ, и путем конвергенции обоих разрабатывать надлежащие стратегии оценивания. Наконец, в статье постулируется вывод о том, что фундаментальные и прикладные исследования должны проектироваться параллельно и иметь механизм интерактивной связи между собой. Кроме того, в качестве структурного элемента научных исследований все большую роль для национальных исследовательских инновационных систем будут играть сети. Поскольку сети соединяют различные исследовательские организации в разных секторах, таким образом происходит взаимодействие исследовательских институтов с бизнес-сообществом, то результаты академических исследований способны распространяться мгновенно и фокусироваться более предметно на потенциальных группах пользователей, что в свою очередь сближает научные исследования с обществом.

: [Henry E. Kilpatrick, Jr.] Some useful methods for measuring the benefits of social sciences research

Источник: Impact Assessment Discussion Paper No 5, International Food Policy Research Institute

Дата публикации: 1998

Тема: Оценивание научных исследований

Краткая аннотация: В данной статье речь идет о том, как измерить выгоды от исследований в социальных науках. Автор делает обзор литературы по разным группам методов, применяемых для оценивания, как ex ante, так и ex post, для социальных исследований. Прежде всего автор отмечает необходимость оценивания данных исследований как ex ante, так и ex post. Ex ante оценивание необходимо проводить для того чтобы определить, нужно ли вообще финансировать исследование. Оценивание ex post призвано определить, насколько проведенные исследования потенциально окупились и стоит ли выделять средства на дополнительные разработки. Несмотря на то, что многие социальные исследования являются политико-ориентированными, далеко не все исследования транслируются в определенную политику или программу. Причиной тому могут быть регулирующее законодательство, институты, культура, наконец, противостояние групп интересов и др. Методы, рассматриваемые в статье, в основном заимствованы из политической науки, а также оценивания программ и научных исследований в других областях. Автор рекомендует начинать оценивание с проведения верификационного эксперимента (реплики). Библиометрика – измерение опубликованных материалов (цитирование, число публикаций) – часто применяется в качестве подхода по измерению выгод от затрат на научные разработки и оценивания научных программ. Для анализа цитирования используются отдельные методы. Однако с помощью библиометрики невозможно оценить качество публикаций. Известен также факт негативного цитирования. Кроме того, библиометрика не позволяет измерить выгоды от исследований для самого общества. Но все же библиометрика может служить одним из используемых методов. Наиболее распространенным методом, используемым для оценивания исследований, являются экспертные оценки, которые, однако, страдают от недостаточной объективности и использования эмпирической базы. Case Studies могут служить надежным инструментом для оценивания социальных исследований при условии их корректного применения. Их слабыми сторонами являются нехватка строгости, они могут предоставить недостаточно оснований для научных обобщений, они также могут быть достаточно длительными по реализации и выливаться в массивные, сложно читаемые документы. Оценивание непосредственных пользователей результатами того или иного исследования также применяется довольно широко. Это всевозможные опросы, анкетирование, фокус-группы и. т.д. Данный подход является дорогостоящим и при этом не исключена предвзятость как самого опроса, так и полученных результатов. Метод анализа издержек и выгод в социальных исследованиях также применяется. Его недостатки остаются теми же, что и в других областях: манипуляция со ставкой дисконтирования, экстерналии, приписывание определенной ценности человеческой жизни, здоровью и. т.п. Более инструментальными методами, применяемыми для оценивания социальных исследований, являются регрессионный анализ, линейное, целевое программирование, многокритериальные модели. Однако, поскольку ни один из рассматриваемых методов не является самодостаточным, необходимо комбинировать различные подходы. И хотя комбинация методов намного дороже, чем выбор какого-то одного метода, она значительно снижает расчетные затраты на единицу.

The Use of R&D Evaluations in European Science Policy

Источник: Report/ European RTD Evaluation Network biannual meeting, Denmark, Nov 2002

Дата публикации: 2002

Тема: Оценивание научных исследований

Краткая аннотация: В данном докладе очерчивается природа оценивания в области научных исследований в Европе и его использование при формулировании европейской политики в области науки. Доклад представляет собой презентацию результатов исследования, проведенного среди европейских стран с целью определения национальных и европейских практик оценивания научных разработок, их концепций и типов, их влиянии на макро - и микро-уровнях. Оценивание в области научных исследований испытало серьезное развитие в Европе за последние десятилетия. На сегодняшний день происходит процесс институционализации и систематизации процесса оценивания в европейских странах, а в ближайшие годы ожидается дальнейший рост практик оценивания. Результаты исследования европейских стран показали, что по объектам оценивания около 50% составляет оценивания научных исследований в университетах, другие 50% относятся к исследованиям, проводимым другими государственным исследовательским организациями. Кроме того, оценивание национальных программ происходит чаще, чем оценивание европейских программ. Помимо этого, в Финляндии существует процесс оценивания инновационных систем, в Германии – оценивание на системном уровне всех основных исследовательских институтов, в Словакии предпринимаются попытки оценивания взаимодействия между государственными исследовательскими институтами и промышленностью. Оценивание как таковое является регулярной процедурой в большинстве европейских стран. В ряде из них, однако, решения о проведении оценки принимаются ad hoc или же являются отдельным пунктом в договоре. Главными инициаторами оценивания в трети европейских стран выступают национальные министерства, ответственные за науку. Еще одна треть стран инициирует оценивание посредством ученых советов. Это так называемые нисходящие модели оценивания. Среди восходящих моделей оценивания различают страны, в которых инициаторами оценивания выступают университеты, либо сами единицы оценивания. Что касается того, кто непосредственно проводит оценивание, то здесь можно отметить, что в большинстве европейских стран формируются специальные группы под непосредственную задачу по оцениванию. В ряде стран для этого существуют либо государственные, либо частные институты. Кроме того, широко распространенной практикой является привлечение внешних иностранных или национальных экспертов для проведения оценки. Причиной оценивания в большинстве исследуемых стран является оценивание качества исследований. Вторая причина, как правило, - оценка эффективности институтов. В редких случаях причиной оценивания заявлены проверка исследований на релевантность общественным нуждам. Оценка затрат не часто практикуется в Европе. Относительно методов и стандартов оценивания научных исследований, опрос показал, что самым распространенным методом являются экспертные оценки. В ряде стран распространенными являются оценивание пользователей результатов исследований, оценивание потенциала. В некоторых странах часто применяется библиометрический метод, анализ цитирования. Кроме того, широко распространены оценивание деятельности/управления организаций. Историческое оценивание практически не используется в Европе. В последнее время набирают популярность эталонные сравнения схожих программ в разных странах. В результатах исследования также различаются группы стран по степени открытости и доступности для общественности результатов оценивания научных исследований. Среди того, какое влияние оказывает оценивание научных исследований, выделяют два уровня: мезо-уровень (непосредственные последствия для организации – объекта оценивания) и макро-уровень (влияние на политические инициативы в области национальной науки). На мезо-уровне основными последствиями оценивания являются перераспределение ресурсов, определение будущего организации, прошедшей оценивание. Также оценивание может выполнять функцию текущего контроля, пересмотра организационной структуры. Изменения в дизайне исследований редко являются результатом оценивания. На макро-уровне было установлено, что в подавляющем большинстве стран оценивание является инструментом реализации изменений в политике по науке, перераспределении ресурсов, изменений в планировании и бюджетировании. Оценивание в качестве инструмента внесения изменений в административное законодательство выступает довольно редко. В заключение автор приводит направления необходимых будущих усовершенствований в области оценивания научных исследований в Европе. К ним относятся среди прочего необходимость большей координации и систематизации оценочной деятельности в Европе, усовершенствование методологий оценивания на макро-уровне, для оценки влияния социально-экономических эффектов от реализации научных разработок, а также учета их релевантности общественным нуждам.

Gerard Bonnet, Evaluation of education in the European Union: policy and methodology

Источник

Дата публикации:

Тема: методология оценки образования

Краткая аннотация: В статье Жерара Бонне, эксперта министерства образования Франции «Оценка образования в Евросоюзе: политика и методология» рассматривается необходимость перехода от существующего дорогостоящего национального оценивания образования к новому подходу, заключающемуся в общеевропейском понимании и методологии оценки образования. Основное внимание в статье уделяется индикаторам образования. Автор считает, что из трех общепринятых категорий образовательных индикаторов: анализа затрат, процесса и результатов, следует сконцентрироваться на анализе результатов, поскольку это потенциально может привести к развитию новых видов данных. . Бонне вводит понятие «европейские индикаторы», которые должны отличаться от национальных и международных индикаторов. В частности, они должны соответствовать основным направлениям проводимой образовательной политики Европы, к примеру, учитывать какие образовательные системы позволяют учащимся быть мобильными; должны обдуманно включать в себя избранные международные индикаторы. На основе европейских индикаторов должен быть создан динамичный подход оценивания, отображающий всю разнообразность образовательных политик Европы, помогающий ставить глобальные политические цели и обеспечивающий данными для проверки их осуществления в национальных масштабах.

: [Chung-Jen Chena, T, Hsueh-Liang Wua, Bou-Wen Linba] Evaluating the development of high-tech industries

Источник: http://www. /science?_ob=ArticleURL&_aset=V-WA-A-W-W-MsSAYVW-UUW-U-AAVDVWBVUE-AAVCUUVWUE-DEVZAEUED-W-U&_rdoc=1&_fmt=summary&_udi=B6V71-4GCX1BX-1&_coverDate=05%2F31%2F2006&_cdi=5829&_orig=search&_st=13&_sort=d&view=c&_acct=C&_version=1&_urlVersion=0&_userid=2124005&md5=73b7df8541c0d490d5417d1da8d4e8a4

Дата публикации: May 2006

Тема: оценка приоритетных отраслей развития

В данной статье описывается опыт правительства Тайваня, заказавшего исследование для определения наиболее эффективной высокотехнологичной отрасли и (или) отрасли с самым большим потенциальным ростом среди 6 отраслей-претендентов, занимающихся полупроводниками, компьютерами, связью, фото-электроникой, точной вычислительной техникой и биотехнологиями, для предоставления места в «научной долине Тайваня». В начале был применен «анализ, охватывающий данные» (Data envelopment analysis (DEA)). Это математический программный метод оценивания, использующий множество исходных и выходных данных для оценки относительной эффективности ряда институтов или отраслей. В описываемом исследовании среди таких данных были: количество работников, расходы на исследования и развитие, количество патентов и. т.д. Основная идея DEA заключается в определении наиболее эффективных хозяйственных единиц среди предложенных. В статье подробно разбирается данный метод, описывается его четкая схема, приводятся положительные стороны и возможные трудности. Следующим шагом проведенного анализа было вычисление индикаторов технической эффективности, чистой технической эффективности (не зависящей от масштаба), а также проведение анализа относительных показателей для определения различий в индивидуальных исходных и выходных данных среди эффективных и неэффективных институтов. И, наконец, были определены индексы Malmquist. с целью подсчета показателей динамики изменения производительности, технической эффективности, эффективности от масштаба, технического прогресса за период с 1991 по 1999. По итогам исследования компьютерная отрасль и производство, занимающееся полупроводниками, показали лучшие результаты и стали стратегически важными, целевыми отраслями на два десятилетия. Данная статья демонстрирует возможность применения DEA и индексов Malmquist для оценивания высокотехнологичных отраслей, которые не только выявляют ведущие и стратегически важные отрасли, но и дают возможность проанализировать причины неэффективности той или иной отрасли, возможные краткосрочные и долгосрочные достижения отраслей.

: [Paul A. Peters and G. Brent Hall] Evaluation of education quality and neighbourhood well-being: a case study of Independencia, Peru

Источник: http://www. /science?_ob=ArticleURL&_aset=V-WA-A-W-A-MsSAYZW-UUW-U-AAVDVWBAAD-AAVCUUBEAD-DEVZAWWDE-A-U&_rdoc=1&_fmt=full&_udi=B6VD7-4B8K9FP-F&_coverDate=01%2F31%2F2004&_cdi=5975&_orig=search&_st=13&_sort=d&view=c&_acct=C&_version=1&_urlVersion=0&_userid=2124005&md5=a472587cffa338a0308d475734c343cb

Дата публикации: January 2004

Тема: методология оценки образования в развивающихся странах

Информационные системы играют большую роль в оценивании образования. В данной статье автор рассматривает применение GIS систем (географических информационных систем) для понимания состояния и нужд образования местного уровня, благодаря обеспечению инструментами получения и изображения информации, которая соединяет цели, поставленные на национальном уровне с политикой, проводимой на местах. Вначале, автор говорит о том, какая информация требуется для оценки образовательных систем и качества образования в условиях отсутствия детальной информации на местном уровне. Разработка индикаторов особенно важна в оценке образования, поскольку на образование влияют огромное количество культурных, политических и экономических факторов, и это влияние нужно максимально учесть. Далее в статье рассказывается о непосредственном применении метода подсчета качества образования и благосостояния в Independencia, Перу. Метод основывался на трех компонентах: ·  комбинированный индикатор образовательного качества, использующий доступную информацию предварительно разработанных детальных индикаторов, посчитанный для каждой школы. ·  общий индикатор благосостояния, разработанный для определения приблизительной зоны охвата каждой школы. ·  исследованная детально зависимость между качеством школы и благосостоянием. Также в статье приводится конкретная формула расчета качеств образования и благосостояния, оценивается их зависимость друг от друга. автор подчеркивает, что GIS помогает определять, собирать, и интерпретировать информацию, помогает наглядно изображать информацию. Но GIS - это только начальный анализ. Для более детального - требуются другие методы.

: [Kurt Aregger] Evaluation abstracts. Viewpoints for the evaluation of school innovation processes: a theoretical innovation approach

Источник:

Дата публикации:

Тема: теоретическая оценка инновационной деятельности

В данной статье автор говорит о том, что единственная теория инноваций не может применяться во всех сферах инновационной деятельности. Именно поэтому автор подчеркивает необходимость развития системы теорий, включающих разнообразные предметные области, а также содержащие в себе процессы планирования, реализации и оценки инновационной деятельности. С целью эффективной интеграции планирования и оценки был создан механизм – генерирующая базовая система (GFS). В статье приводятся 19 принципов оценки инноваций, основанных на GFS, а также непосредственно раскрывается система GFS, состоящая из 3 компонентов. Первый из них - планирование, в свою очередь подразделяющееся на определение целей, научного обоснования, принципов протекания процесса и условий для процесса. В данном пункте подчеркивается, что инновации могут планироваться. Второй компонент системы GFS – взаимосвязь между элементами планирования, позволяющая контролировать структурные системы инновационного процесса в любой период времени; третий – структура процесса инновационного проекта. Третий компонент позиционирует сам инновационный процесс как предметную область изучения, настаивает на рассмотрении процесса в динамике. Также, в статье приводятся 4 типа инноваций, которые, соединяясь, образуют инновационный процесс, рассматривается система организационных факторов в инновационном процессе.

: [OECD] отчет Reviews of National Policies for Education University Education in Denmark: Quality Development and Evaluation of Research, часть 7 главы стр 147-153

Источник: http://titania. sourceoecd. org/vl=9709529/cl=23/nw=1/rpsv/~6670/v2005n10/s10/p183

Дата публикации: 2005

Тема: оценка качества исследований институтов

В данной части отчета раскрывается опыт Дании в оценке качества университетских исследований. Лучшей гарантией качества в Дании является внутренняя оценка исследований в институтах на разных уровнях. В оценку на государственном уровне входит не только качество исследования, но и его применимость, отдача от инвестиций. В статье подчеркивается, что университеты Дании не ранжируются, сравнения проводятся лишь по годовым отчетам исследовательской деятельности, не имеющим единой формы; также для оценки используется анализ публикаций или анализ частоты цитирования, используется показатель отношения количества научных публикаций к общему числу жителей. Однако, в отчете обсуждается возможность применения анализа частоты цитирования и количества публикаций во всех отраслях и сравнимость результатов. Для общественных наук, также как для естественных предлагается другой показатель – количество патентов/лицензий. Ввиду расширения масштабов и входа в новые отношения с внешними участниками, университеты мотивированы повышать требования к собственным исследованиям, включать в инспекционные комиссии внешних пользователей. Освещается создание исследовательских баз данных для общественного пользования. Рассматривается принцип поощрения , а также деятельность национальной аудиторской службы (National Audit Office) и министерства, в чьи основные функции входят оценка развития качества и финансирование университетов. Используется бенчмаркинг для сопоставления с иностранными университетами.

: [H. J. Ahrens, R. Coenen, L. Czayka, I. Karst, H. Weyand, G. Beker, B. Wingert, H.-G. Kruse, H. Krauch, F. Niwa, G. Bechmann, I. v. Berg, G. Brosi, H. Folkers] Priorities in research policy

Источник:

Дата публикации:

Тема: оценка приоритетных отраслей развития

В данном отчете приводится анализ результатов опросов групп населения, направленных на выявление приоритетных областей исследований в Германии. Исследования показали, что большинство опрошенных ожидало от правительства развития исследований в общественных сферах, таких как образование, медицина, жилищная политика ит. д., в то время как космические и оборонные исследования занимали последние места в списке приоритетов. Далее проводился разносторонний анализ результатов опросов. Респонденты дифференцировались по таким показателям, как вид деятельности (студенты, ученые, рабочие в разных сферах), возраст, возможная заинтересованность в развитии сфер, способных оказать положительный внешний эффект на другую сферу, информированность, принадлежность к непроизводственным организациям, производственным и сфере услуг. В частности, была замечена прямая зависимость между сферой деятельности индивида и желанием повысить в ней исследования. Пункт опроса, заключающийся в просьбе распределить исследовательский бюджет по предложенным сферам, позволил произвести количественную оценку, т. е. оценить приоритеты в числовых показателях. В дальнейшем анализе с помощью математических методов (дисперсии, корреляционного анализа, графического анализа, факторного анализа) были определены критерии оценки приоритетности, т. е. какие критерии играли наибольшую роль в распределении участниками исследовательского бюджета. В заключительных пунктах отчета были обсуждены доводы за и против активной поддержки государством определенных областей исследований, а также ограничения такого метода оценивания. Опросы, проведенные на научных основаниях, могут только проинформировать об ожиданиях и отношении групп населения к исследуемому вопросу, однако, способны быть показателями для политического процесса принятия решений.