Чередующееся ранжирование

При оценке уровня результативности открытых сетевых событий нами используется система оценки результатов, включающая в себя: методы, формы, оценочный инструментарий. Основными методами оценки результативности мероприятий являются: ранжирование, заданное распределение, шкалирование, шкалирование рейтингов поведения, «360 градусов оценки результатов». Основные  оценочные методы представлены далее по тексту.

Чередующееся ранжирование

При чередующемся ранжировании  деятельность (или мероприятие) оценивается  по интегральному критерию (например, театрализация мероприятия). Команды (группы, либо индивидуальные участники), которые должны быть проранжированы, перечисляются в 1 столбце  таблицы. Жюри (экспертный совет) должны выбрать того участника (команду, группу), который (которая)  по их мнению, наиболее соответствует данному критерию, зачеркнуть его фамилию (название) в 1 столбце таблицы  и написать ее (его)  1 по -  порядку во 2столбце таблицы. Затем надо выбрать команду (группу, участника), который (которая) наименее соответствует данному критерию, зачеркнуть его фамилию (название) и написать ее последней во втором столбце. Этот процесс повторяется затем для всего списка. В результате получается полный список команд (групп, участников) во втором столбце таблицы, где они проранжированы от наиболее соответствующей интегральному критерию до наименее соответствующей. В третьем столбце таблицы проставляется ранг  участника (команды).

Интегральный критерий «театрализация» (сценарий, грим, костюмы, артистизм, эмоциональный фон)
Участники	Ранг
«Шатер»	«Бояре»	1
«Круговые горелки»	«Ручеек»	2
«Заря, заряница»	«Море волнуется»	3
«Бояре»	«Круговые горелки»	4
«Ручеек»	«Шатер»	5
«А у нас, во дворе»	«Заря заряница»	6
«Вьюнок»	«А у нас, во дворе»	7
«Краски»	«Краски»	8
«Море волнуется»	«Вьюнок»	9
«На золотом крыльце»	«На золотом крыльце»	10

Таким способом оцениваются все интегральные критерии (определённые в Положении мероприятия).  Например: театрализация игровой программы (сценарий, грим, костюмы, артистизм, эмоциональный фон), музыкальное оформление (музыкальность, ритмичность, соответствие музыкального произведения мероприятию, использование музыкальных инструментов), художественное оформление (красочность, соответствие  оформления характеру  мероприятия, аккуратность) и др.

Интегральный критерий музыкальное оформление (музыкальность, ритмичность, соответствие музыкального произведения мероприятию, использование музыкальных инструментов)
Участники	Ранг
«Шатер»	«Ручеек»	1
«Круговые горелки»	«Бояре»	2
«Заря, заряница»	«Море волнуется»	3
«Бояре»	«Шатер»	4
«Ручеек»	«Круговые горелки»	5
«А у нас, во дворе»	«Заря заряница»	6
«Вьюнок»	«А у нас, во дворе»	7
«Краски»	«На золотом крыльце»	8
«Море волнуется»	«Вьюнок»	9
«На золотом крыльце»	«Краски»	10

Интегральный критерий художественное оформление (красочность, соответствие  оформления характеру  мероприятия, аккуратность)
Участники	Ранг
«Шатер»	«Бояре»	1
«Круговые горелки»	«Ручеек»	2
«Заря, заряница»	«Море волнуется»	3
«Бояре»	«Круговые горелки»	4
«Ручеек»	«Шатер»	5
«А у нас, во дворе»	«Заря заряница»	6
«Вьюнок»	«А у нас, во дворе»	7
«Краски»	«На золотом крыльце»	8
«Море волнуется»	«Вьюнок»	9
«На золотом крыльце»	«Краски»	10

Обобщается критериальная оценка мероприятия в сводной таблице результатов

Название игровых программ	Ранги по интегральным критериям	Критериальная оценка
Театрализация	Музыкальное оформление	Художественное оформление
«Шатер»	5	4	5	4,7
«Круговые горелки»	4	5	4	4,3
«Заря, заряница»	6	6	6	6
«Бояре»	1	2	1	1,3
«Ручеек»	2	1	2	1,7
«А у нас, во дворе»	7	7	7	7
«Вьюнок»	9	9	9	9
«Краски»	8	10	10	9,3
«Море волнуется»	3	3	3	3
«На золотом крыльце»	10	8	8	8,7

*Примечание. Чем меньше числовое значение критериальной оценки, тем выше результат.

На основании данных таблицы по критериальной оценке экспертным советом выбрана  игровая программа «Бояре» как самая лучшая.

Метод «360 градусов» оценки результатов

Комплексный метод оценки и анализа деятельности. При проведении  анализа используется  широкий спектр технологий: тесты, ролевые игры, групповые упражнения, дискуссии.  Метод «360 градусов» подразумевает оценку деятельности  с четырех сторон: руководителями (жюри, экспертным советом), специалистами других направлений деятельности (представители других групп, команд, учреждений), коллегами (единогруппниками, членами своей команды), самооценка. Каждый из оценивающих ( при самооценке сам участник) высказывает свое мнение о ключевых  компетентностях  оцениваемого  участника (либо качествах программы, мероприятия, концертного номера) в специальной анкете. Обобщенные ответы позволяют сделать вывод, какие навыки  следует развить каждому из оцениваемых.

1 этап оценки. Самооценка.

Производится на основании разработанном (экспертами, методической службой, орг. комитетом) опросного листа, в котором сформулированы те качества, по которым производится оценка со шкалой от «5» до «1». Оценочная  шкала должна иметь описание. Оцениваемый отмечает уровень развития своих качеств по указанной оценочной шкале, ставя  «галочку» рядом с необходимой цифрой.

Описание оценочной шкалы

Показатель: Например, Организаторские навыки	Балльные значения степени выраженности показателя
1 Практически отсутствуют	2 Слабые	3 Средние (в основном проявляются, но в недостаточной степени)	4 Достаточные (проявляются в решающей ситуации)	5 Высокие (проявляются в любой ситуации)

Образец Опросного листа  самооценки

№	Качество	Балл
1.	Организаторские навыки	5	4 V	3	2	1
2.	Опыт  игровой деятельности	5	4 V	3	2	1
3.	Социальная активность	5 V	4	3	2	1
4.	Умение прислушиваться к коллективному мнению	5	4 V	3	2	1
5.	Умение правильно и компетентно решать поставленную групповую задачу	5	4 V	3	2	1
6.	Способность анализировать результаты деятельности	5	4 V	3	2	1
7.	Умение воспринимать критику	5	4	3 V	2	1
8.	Умение общаться с незнакомой аудиторией	5 V	4	3	2	1
9.	Самостоятельность в принятии решений	5 V	4	3	2	1
10.	Способность к импровизации	5	4 V	3	2	1
11.	Способность к взаимопомощи	5 V	4	3	2	1
12.	Психологическая уравновешенность	5	4 V	3	2	1
13.	Способность отстаивать свое мнение	5 V	4	3	2	1
14.	Наличие волевых качеств	5 V	4	3	2	1

После заполнения, опросный лист  сдается в оргкомитет мероприятия.

2 этап.  Оценка экспертами

Экспертами заполняется аналогичный  опросный лист со шкалой оценок от «5» до «1» и описание оценочной шкалы. Каждый эксперт при оценке руководствуется только своим мнением и отмечает степень развития качеств в соответствии с предложенной шкалой. В целях обеспечения объективности оценки лист самооценки экспертам не предъявляется.

По заполнению опросные листы сдаются в оргкомитет мероприятия.

3 этап. Оценка единогруппниками (коллегами) заполняется  опросный лист со шкалой оценок от «5» до «1» и описание оценочной шкалы. Каждый оценивающий  при оценке руководствуется только своим мнением и отмечает степень развития качеств в соответствии с предложенной шкалой. По заполнению опросные листы сдаются в оргкомитет мероприятия.

4 этап. Специалистами других видов деятельности (представителями других команд, учреждений) заполняется  опросный лист со шкалой оценок от «5» до «1» и описание оценочной шкалы. Каждый оценивающий  при оценке руководствуется только своим мнением и отмечает степень развития качеств в соответствии с предложенной шкалой. По заполнению опросные листы сдаются в оргкомитет мероприятия.

5 этап. Подведение результатов проведенных оценок

Представители оргкомитета вносят все выставленные оценки в сводную таблицу, где рассчитывается средний балл (путем деления суммы оценок на количество оценивающих).

Данные сводятся в единую рейтинговую таблицу.

Заключение по результатам  метода оценки 360  представлено в табл.

№	Качество	Баллы
С	Э	К	Сп	И
1.	Организаторские навыки	4	4,3	4,5	3,5	4,1
2.	Опыт  игровой деятельности	4	3,9	4	3,9	4,0
3.	Социальная активность	5	4,7	5	4	4,7
4.	Умение прислушиваться к коллективному мнению	4	3,5	3	3,5	3,5
5.	Умение правильно и компетентно решать поставленную групповую задачу	4	4.5	3,5	4	4,0
6.	Способность анализировать результаты деятельности	4	3,9	4,5	3,5	4,0
7.	Умение воспринимать критику	3	3	4	3	3,3
8.	Умение общаться с незнакомой аудиторией	5	4,7	4,5	4,5	4,7
9.	Самостоятельность в принятии решений	4	4,7	4	4	4,2
10.	Способность к импровизации	5	4,3	4	3,5	4,2
11.	Способность к взаимопомощи	4	3,9	5	4	4,3
12.	Психологическая уравновешенность	5	4,3	4	4	4,3
13.	Способность отстаивать свое мнение	5	4,3	5	4,5	4,7
14.	Наличие волевых качеств	5	4,5	5	4	4,6

*  С – самооценка, Э – оценка экспертами, К – оценка коллегами, (единогруппниками), Сп – оценка специалистами, И – итоговая оценка.

Заданное распределение

Заданное распределение является формой сравнительной оценки деятельности, при которой результаты  деятельности  распределяются в соответствии с заранее заданным правилом (то есть по отношению к фактическим результатам). Фактический результат не может превышать 100 %. Для оценки деятельности по методу заданного распределения оценивающему  необходимо определить  характеристики и параметры распределения и вписать в соответствующие строки 2 столбца таблицы (фактические результаты). Затем необходимо определить мероприятия, которые поваливают на увеличения параметров, указанных в столбце 2 и вынести их в 3 столбец таблицы. В 4 столбце таблицы указывается ожидаемый результат от предложенных мероприятий в процентном соотношении.

Пример использования метода заданного распределения

Виды деятельности	Степень вовлеченности в сетевое взаимодействие всех субъектов (факт)	Мероприятия, способствующие повышению уровня вовлеченности	Ожидаемый результат (вовлеченность)
Культурно– досуговая	65 %	Развитие фестивального движения, реализация социально – педагогических проектов и программ	40 %
Оздоровительная	25  %	Реализация комплексной программы «Здоровье»	40 %
Информационная	10  %	Создание единого информационного сетевого сообщества (с ресурсным центром)	20%

Социальный эффект  от внедрения проектов можно  выразить  в степени удовлетворенности всех участников предложенными проектными мероприятиями.  Промежуточным инструментом, определяющим социальную активность участников мероприятия, является анкета участника. Образец которой представлен в таблице.

Анкета  участника фестивального события «Играй, город»

1	Ты принял участие в фестивале потому, что: захотел узнать новые игры; захотел научиться играть; по совету друзей; неосознанно
2	Какая  игровая деятельность больше привлекает Тебя: индивидуальная; групповая; творческая коллективная
3	Как Ты считаешь, что является основным в работе в команде (группе) лидерские качества; умение прислушиваться к мнению других; творческая деятельность; быть незаметным для окружающих; уровень знаний
4	Какие творческие способности, по Твоему мнению,  необходимо развивать?
5	Удовлетворяет ли Тебя  объем интересных досуговых программ, проводимых в городе
6	Считаешь ли Ты необходимым возрождения интереса к игре?
7	Какие виды игр ты бы хотел и смог провести? народные; музыкальные; танцевальные; спортивные; настольные
8	Чему бы ты хотел научиться в процессе игры? быть организатором мероприятия; быть ведущим в игре; быть артистом; работать в жюри; быть корреспондентом
9	Какие мероприятия необходимы для обучения игровым навыкам? практические занятия; книжные выставки; игра во дворе; просмотр видеозаписей
10	Что  для Тебя явилось  основным  результатом мероприятия? овладение навыками организатора; творческая атмосфера в группе; хорошее настроение; общение со сверстниками; расширение кругозора; формирование активной жизненной позиции
11	Что бы Ты хотел изменить или дополнить в данном мероприятии?

Анкетирование проводилось творческой группой клуба «Лидер».  Респондентами явились дети, подростки, родители (законные представители), взрослые. Всего опрошено 150 человек.

Обобщённые результаты анкетирования представлены в таблице.

Обобщённая анкета

Степени удовлетворенности результатами  проведенного мероприятия

Предложенные мероприятия	Процентное соотношение, %	Значение показателя удовлетворенности по 5 балльной шкале
Участие в фестивале	97	4,8
Выбор различных видов игровой деятельности	93	4,6
Формирование команды, участие в командной работе	93	4,6
Ролевые игры  на развитие творческих способностей	92	4,5
Тренинг на выявление лидерских качеств	97	4,8
Разработка плана проведения мероприятия	97	4,8
Разработка сценария игровой программы	97	4,8
Организация круглого стола по итогам мероприятия	96	4,7
Среднее значение показателя	95	4,7

Среднее значение показателя удовлетворенности 95 %  от общего числа опрошенных составляет 4,7 балла, что близко к максимальному значению 5 баллов.