Регламент проведения комплексной оценки качества ИОР

Регламент проведения комплексной оценки качества ИОР

1. Общие положения

1.1. Настоящий регламент устанавливает общие правила организации и проведения комплексной оценки информационных образовательных ресурсов (ИОР) и применяется совместно с процедурами сопровождения разработки и апробации ИОР.

1.2. Регламент определяет порядок подготовки и принятия решения по результатам комплексной оценки информационных образовательных ресурсов (ИОР) для установления уровня готовности разработанных ИОР к включению в образовательную практику.

1.3. Регламент проведения комплексной оценки ИОР разрабатывается в соответствии с действующими федеральными законами, актами Президента Российской Федерации и Правительства Российской Федерации, нормативными актами субъектов РФ и муниципальных органов управления.

1.4. Комплексная оценка ИОР направлена на повышение качества и эффективности принимаемых педагогических и управленческих решений, направленных на развитие системы образования и является механизмом формирования региональной и федеральной образовательной политики.

2. Основные понятия, используемые в процессе комплексной оценки ИОР

2.1. Образовательный ресурс – (средство обучения) – любой ресурс (как представленный в цифровом электронном виде, так и не электронный), который может быть использован в образовательном процессе.

2.2. Информационный образовательный ресурс (ИОР) – специальным образом организованный образовательный ресурс, представленный в цифровом электронном виде и функционирующий на базе средств информационных и коммуникационных технологий (ИКТ).

2.3. Качество ИОР – это совокупность свойств (характеристик) информационного образовательного ресурса, определяющих его пригодность для использования в образовательном процессе.

2.4. Критерий - признак, на основании которого производится оценка, определение или классификация чего-либо. Критерии оценки определяются в соответствии с принципами и целями комплексной оценки конкретного ИОР.

2.5. Комплексная оценка ИОР – специализированная оценочно-аналитическая или исследовательская деятельность, направленная на выявление и отбор перспективных информационных образовательных ресурсов и включение их в образовательную практику школ. Комплексная оценка ИОР представляет собой процесс установления степени соответствия ИОР концептуальным, содержательно-методическим, дизайн-эргономическим и техническим требованиям.

3. Основные участники процесса комплексной оценки ИОР

3.1. Заказчик – юридическое лицо Министерство образования и науки Российской Федерации или связанные с ним структуры – объявляющее конкурс на разработку/закупку ИОР и определяющее организационные рамки деятельности по созданию или комплексной оценке, испытанию ИОР. Заказчик принимает формальные решения о результатах деятельности, контролирует организационно-финансовые обязательства сторон.

3.2. Оператор – юридическое лицо (организация), выбранное Заказчиком, для организации и координации работ по реализации заказов по разработке/закупке ИОР, их комплексной оценке, апробации в условиях реального учебного процесса и разработки рекомендаций по внедрению в систему образования.

3.3. Комиссия по приемке ИОР (КП) - сформированный Заказчиком орган, который на постоянной основе занимается приемкой промежуточных и итоговых результатов разработки/ закупки ИОР.

3.4. Экспертная комиссия (ЭК) – сформированный Оператором орган, который, совместно с координатором на постоянной основе занимается организацией содержательного сопровождения разработки и комплексной оценки ИОР.

3.5. Эксперт - физическое лицо, обладающее высокой квалификацией в области содержания и методики преподавания, разработки и внедрения средств ИКТ в учебный процесс, имеющее достаточный опыт для содержательного сопровождения всех этапов разработки и внедрения создаваемых ИОР, заключившее договор с Оператором на проведение работ по оценке качества ИОР на всех этапах контентного администрирования.

3.6. Рецензент – физическое лицо, обладающее необходимой квалификацией и привлекаемое Координатором для осуществления комплексной оценки ИОР на основании процедур и регламентов, подготовленных Экспертной комиссии, заключившее договор с Оператором на проведение работ по оценке качества ИОР.

3.7. Координатор – физическое лицо, назначаемое Оператором, которое координирует работы по сопровождению и комплексной оценке конкретного заказа по разработке/закупке ИОР.

3.8. Разработчик – физическое или юридическое лицо, обладающее определенной квалификацией в области создания и использования ИОР и участвующее в конкурсном отборе, проводимом Заказчиком.

4. Этапы проведения комплексной оценки

4.1. Содержательное сопровождение разработки ИОР и комплексная оценка их качества состоит из четырех основных этапов:

·  Подготовка к комплексной оценке качества ИОР.

·  Комплексная оценка промежуточных результатов разработки ИОР (прототипов и планов-проспектов).

·  Оценка ИОР по результатам апробации.

·  Приемка ИОР.

4.2. На этапе подготовки к комплексной оценке качества ИОР должны быть созданы организационные и технические условия для проведения комплексной оценки образовательных ресурсов, а именно:

·  сформирована экспертная комиссия для сопровождения разработки и оценки качества ИОР, разрабатываемых/закупаемых в рамках конкретного заказа;

·  подготовлены предложения, типовые положения, технические задания, включая основные содержательно-педагогические и технические требования к информационному образовательному ресурсу, которые передаются Заказчику для составления конкурсной документации и проведения конкурса на разработку/закупку ИОР;

·  сформирована группа рецензентов для проведения концептуальной, содержательно-методической и дизайн-эргономической оценки качества ИОР;

·  подготовлен план-график мероприятий по комплексной оценке ИОР;

·  разработаны критерии комплексной оценки, экспертные карты и инструкции по проведению комплексной оценки.

4.3 Этап комплексной оценки качества прототипов и существенных элементов ИОР подразделяется на два подэтапа – создание прототипа ИОР и создание существенных элементов, пригодных для апробации.

На этапе подготовки прототипа ИОР разработчик сдает отчет, который включает в себя описание основных содержательных, технологических и методических подходов, а также электронную составляющую, содержащую примеры ресурсов и инструментов, поддерживающих учебный процесс.

На этапе создания существенных элементов, пригодных для апробации разработчик сдает отчет, содержащий ИОР, пригодный для апробации, а также методические рекомендации по использованию данного продукта в учебном / образовательном процессе.

В процессе экспертизы отчетной документации по каждому из подэтапов оценивается соответствие представленных материалов заявленным целям, качество предлагаемых электронных ресурсов, соответствие хода выполнения работы согласованным срокам и планам. Дается оценка выполнения работы данным коллективом разработчиков.

4.4. На этапе оценки ИОР по результатам апробации объектом оценки являются доработанные по результатам апробации ИОР. К ИОР прикладываются заполненные дневники апробаторов, а также справки об устранении замечаний, выдвинутых учителями, проводившими апробацию. Справки составляются разработчиками и передаются координатору.

4.5. Этап приемки ИОР

Работа по комплексной оценке итоговых версий ИОР на данном этапе строится аналогично регламенту, описанному в п. 4.2.

5. Функции участников комплексной оценки

5.1. На этапе подготовки к комплексной оценке качества ИОР

Координатор:

·  Формирует и согласует с руководителем организации-Оператора списки и проект приказа о формировании экспертной комиссии, организует подписание приказа.

·  Согласует типовые положения и требования к конкурсной документации, передает их Заказчику

·  Совместно с членами экспертной комиссии разрабатывает план-график мероприятий по комплексной оценке ИОР, утверждает его у руководителя организации-Оператора.

Экспертная комиссия:

·  Готовит типовые положения, технические задания, требования для организации конкурса.

·  Определяет виды комплексной оценки ИОР для данного заказа.

·  Формирует списки рецензентов для проведения комплексной оценки по данному заказу.

·  На основании материалов, представленных разработчиком, и типологии ИОР создает описание ИОР в единых терминах. Этот документ – описание ИОР – согласуется с разработчиком и публикуется в информационной системе контентного администрирования.

·  На основе исходных документов (условия заказа) с учетом описания ИОР совместно с Координатором разрабатывает план-график мероприятий по оценке. В нем описываются все этапы работы: сроки, содержание, вид информации, предоставляемой разработчиком (прототип, демо-версия, конечный продукт и т. д.).

·  Для каждого этапа оценки разрабатывает экспертные карты. Каждая из них имеет основную форму для заполнения, а также может иметь дополнительные инструктивные материалы, предназначенные прояснить задачу, стоящую перед рецензентом. Пример инструкции для рецензента приводится в приложении.

5.2. На этапе оценки качества ИОР

Разработчик:

·  Предоставляет в соответствии с планом-графиком прототипы, и существенные элементы Оператору для проведения комплексной оценки их качества.

·  Осуществляет доработку и корректировку прототипов и существенных элементов ИОР по результатам комплексной оценки.

Координатор:

·  Организует деятельность рецензентов по оценке качества отчетов по разработке прототипов и существенных элементов ИОР.

·  Организует деятельность Экспертной комиссии по составлению обобщенных экспертных заключений, рекомендаций для Заказчика по приемке промежуточных результатов комплексной оценки ИОР, выработке рекомендаций разработчикам по доработке ИОР.

·  Организует техническое тестирование ИОР.

·  Доводит до сведения Разработчиков результаты комплексной оценки ИОР.

·  Разрабатывает план корректировки ИОР по результатам комплексной оценки.

·  Координирует работы по доработке ИОР по результатам комплексной оценки.

Рецензент:

·  Проводит комплексную оценку прототипов и существенных элементов ИОР (концептуальную, содержательно-методическую и дизайн-эргономическую) на основе экспертных карт, разработанных Экспертной комиссией на предыдущем этапе.

Экспертная комиссия:

·  Рассматривает результаты проведения комплексной оценки качества отчетов по разработке ИОР, составляет сводные экспертные заключения.

·  Вырабатывает рекомендации для Заказчика (членов Комиссии по приемке) по приемке промежуточных результатов разработки ИОР, а также по расторжению договоров с разработчиками в случае, если разработчик не может обеспечить требуемое качество ИОР.

·  Вырабатывает рекомендации для разработчика по корректировке ИОР, консультирует разработчиков в случае необходимости.

·  Согласует доработку разработчиками промежуточных результатов разработки ИОР.

6. Основные правила проведения комплексной оценки ИОР на этапах разработки, апробации и приемки ИОР

6.1. Работа по комплексной оценке ИОР выполняется рецензентами, привлекаемыми координатором из списка, согласованного экспертной комиссией на предыдущем этапе. Рецензенты заполняют экспертные карты по всем типам комплексной оценки, определенным экспертной комиссией для данного заказа на этапе подготовки к комплексной оценке ИОР. При вынесении отрицательных оценок рецензент должен подробно обосновать свое мнение. Результат работы рецензента – заполненная оценочная карта – поступает координатору. После сбора всех рецензий координатор передает их в Экспертную комиссию для выработки обобщенных экспертных заключений.

6.2. Экспертная комиссия подводит итоги комплексной оценки и составляет сводное экспертное заключение. Оценочные карты, полученные от рецензентов, обсуждаются на заседании экспертной комиссии, после чего выносится коллегиальная рекомендация о дальнейших путях разработки ИОР. Рекомендация оформляется протоколом (по каждому ИОР отдельно), который подписывают все члены экспертной комиссии и координатор. Рекомендации экспертной комиссии согласовываются координатором с руководителем организации-Оператора и передаются Заказчику (на рассмотрение Комиссии по приемке). После согласования с Заказчиком рекомендации публикуются в информационной системе контентного администрирования (ИСКА).

6.3. Экспертная комиссия может вынести следующие рекомендации:

«Принять ИОР и разрешить дальнейшую работу в соответствии с контрактными документами». В случае если речь идет об оценке существенных элементов ИОР, рекомендация формулируется следующим образом: «Принять ИОР, и разрешить проведение апробации».

«Не принимать ИОР и не рекомендовать продолжение работы». В этом случае Разработчик может в двухнедельный срок подать апелляцию в комиссию по приемке ИОР.

«Направить материалы на повторное рецензирование». Данная рекомендация может быть вынесена в том случае, если мнения рецензентов по одной и той же работе диаметрально противоположны, или если экспертная комиссия сочтет мнение рецензента (рецензентов) недостаточно аргументированным. Тогда координатор направляет ИОР на дополнительное рецензирование. После получения новых оценочных карт ЭК вновь рассматривает вопрос о данном ИОР и вырабатывает рекомендацию, оформляемую протоколом, которая доводится до сведения Оператора.

«Принять ИОР при условии устранения замечаний». К протоколу прикладывается список замечаний, сформированный экспертной комиссией на основании мнения рецензентов, который доводится до разработчика. После устранения замечаний разработчик представляет протокол устранения замечаний, который выносится координатором на рассмотрение экспертной комиссии. По результатам устранения замечаний ЭК принимает рекомендацию:

·  о приемке работы

·  об отказе от приемки,

·  о передаче ИОР рецензентам на повторное оценивание (если замечания были существенными, то повторное оценивание необходимо); как правило, повторное оценивание производится по упрощенной схеме (например, привлекается меньшее количество рецензентов).

В первых двух случаях решение выносится на утверждение Оператора, после чего публикуется в ИСКА. В последнем случае оценивание продолжается в рабочем порядке.

6.4. На этапе оценки по результатам апробации экспертная комиссия выносит следующие рекомендации:

«Признать апробацию успешной и рекомендовать ИОР для внедрения в систему образования» (если все замечания, поступившие в ходе апробации, уже устранены фирмой-разработчиком);

«Признать апробацию успешной в целом, но решение о внедрении отложить до устранения существенных замечаний, полученных в ходе апробации»;

«Признать апробацию неуспешной и не рекомендовать ИОР к внедрению». В этом случае Разработчик может в двухнедельный срок подать апелляцию в комиссию по приемке ИОР.

6.5. Решение о приемке работ по каждому этапу принимается Комиссией по приемке на основании рекомендаций экспертной комиссии. Решение Комиссии по приемке является окончательным. Процедура апелляции не предусматривается.