Инструкция
для организаторов тестирования
оглавление
1 Краткое описание технологии.. 2
1.1 Термины и сокращения. 2
1.2 Некоторые важные элементы технологии. 3
1.2.1 Варианты тиражирования бланков. 3
1.2.2 Используемые бланки. 3
1.2.3 Организация проверки заданий с развернутым ответом.. 6
1.2.4 Обработка результатов экзамена по алгебре при использовании бланка с полями для записи формульных ответов 7
1.2.5 Контроль данных. 8
1.3 Основные технологические этапы.. 8
2 Описание этапов организации тестирования.. 9
2.1 Подготовка тестирования в ЦОИ.. 9
2.1.1 Подготовка структуры данных. 9
2.1.2 Тиражирование КИМ... 10
2.1.3 Тиражирование бланков. 10
2.1.4 Подготовка материалов для ППЭ.. 10
2.2 Проведение тестирования в ППЭ.. 12
2.2.1 Приемка материалов. 12
2.2.2 Формирование списков участников. 12
2.2.3 Проведение тестирования в аудитории. 12
2.2.4 Сбор материалов. 13
2.2.5 Отправка материалов в ЦОИ.. 13
2.3 Проверка заданий с развернутым ответом.. 13
2.3.1 Общие принципы.. 13
2.3.2 Технология без сканирования. 14
2.3.3 Технология со сканированием.. 14
2.4 Обработка данных в ЦОИ.. 15
2.4.1 Сбор данных в ЦОИ.. 15
2.4.2 Обработка результатов с использованием бланка №1М... 16
2.4.3 Импорт сведений об участниках. 16
2.4.4 Сканирование и верификация бланков и протоколов. 16
2.4.5 Импорт данных сканирования. 16
2.4.6 Обработка результатов. 16
Введение
Настоящий документ является частью программно-методического комплекса «Технологическое обеспечение экзамена» (ПМК ТОЭ), предназначенного для обеспечения всех технологических этапов проведения экзамена (тестирования) с использованием бланков ответов (бланкового тестирования) при большом количестве участников. Технология предусматривает обработку результатов экзамена как при использовании заданий, допускающих автоматизированную проверку (задания с выбором ответа и с кратким ответом), так и заданий с развернутым ответом, предполагающих проверку силами экспертов-предметников.
Описываемая технология требует наличия программного продукта ABBYY TestReader Network 4.0 (или ABBYY FormReader).
Документ предназначен для руководителей центров обработки информации (РЦОИ, ЦОКО и т. п.), а также для технологов, организующих проведение тестирования по описываемой технологии.
1 Краткое описание технологии
1.1 Термины и сокращения
Бланк ответов №1 – бланк, в котором экзаменуемый указывает ответы на задания с выбором ответов и с кратким ответом.
Задания с формульным ответом – задания, в которых ответом является математическая формула. В зависимости от варианта это может быть как строка символов, так и формула, которую невозможно записать в строку.
Бланк ответов №1 М – бланк, в котором экзаменуемый указывает ответы на задания с выбором ответов и с формульным ответом. На этом же бланке рядом с полями для ввода формульных ответов к заданиям имеются поля для оценок за эти задания, которые заполняются экспертами на этапе сверки. Этот бланк используется при проведении экзамена по алгебре за курс основной школы в новой форме.
Бланк ответов №2 – бланк, на котором выполняются задания с развернутым ответом.
Дополнительный бланк ответов №2 – для выдачи в ППЭ.
Протокол выдачи дополнительных бланков ответов №2 – для отметок о выдаче дополнительных бланков.
Протокол проверки – отдельный бланк, в котором эксперты по проверке заданий с развернутыми ответами указывают оценки за выполнение заданий.
ЦОИ – центр обработки информации.
ППЭ – пункт проведения экзамена.
ОУ – образовательное учреждение.
Дерево АТЕ (дерево административно-территориальных единиц, дерево территории) – структура связей между классами, школами, населенными пунктами, районами и т. п. Если считать, что дерево расположено вверх корнем и ветвится книзу, то корнем является ЦОИ, а далее, в соответствии с административно-территориальным устройством ветвятся районы, города, муниципалитеты, школы и классы, результаты по которым должны быть обработаны и выведены отдельно в виде отчетов.
Таблицы для сбора данных (модуль сбора данных) – таблицы в формате MS Excel, в которые вносятся сведения об участниках тестирования, образовательных учреждениях и ППЭ.
Программный комплекс «Технологическое обеспечение экзамена» (ПК ТОЭ) – программный комплекс, предназначенный для обеспечения полного цикла мероприятий по проведению бланкового тестирования. Для использования ПК ТОЭ требуется наличие в ЦОИ высокопроизводительных поточных сканеров, высокопроизводительных принтеров, программного продукта ABBYY TestReader Network 4.0 (или ABBYY FormReader) и специалистов, имеющих опыт обработки результатов экзаменов с помощью сканеров и этого программного продукта.
Модуль подготовки экзамена – модуль ПК ТОЭ, в котором формируется дерево АТЕ, вносятся данные об экзамене, готовятся комплекты для ППЭ, осуществляется импорт данных об участниках тестирования из таблиц для сбора данных, обрабатываются бланки №2 при выборе технологии со сканированием.
Модуль ввода результатов – модуль ПК ТОЭ, в котором осуществляется ввод результатов экзамена. Результаты импортируются в базу данных из файлов в формате csv, образованных в результате работы TestReader (FormReader). При импорте происходит сверка учетных записей участников тестирования.
Модуль ручного ввода результатов экзамена – может быть использован при отсутствии сканеров и пакета FormReader для ввода операторами в базу данных результатов экзаменуемых. Кроме того данный модуль предназначен для исправления данных участников по результатам рассмотрения апелляций.
Модуль проверки заданий с кратким ответом – модуль обработки «веера» ответов к заданиям с кратким ответом.
Модуль статистики – модуль формирования статистических отчетов для различных групп пользователей.
1.2 Некоторые важные элементы технологии
1.2.1 Варианты тиражирования бланков
Технологией предусмотрено два варианта организации тиражирования бланков №1 и №2.
1. Типографская печать. В типографии по готовым макетам печатаются розовые бланки, на которых некоторые поля, связанные с шифрованием и привязкой к конкретному тестированию, оставляются пустыми. При комплектовании материалов для отправки на ППЭ на типографские розовые бланки допечатываются штрих-коды и другие данные. Допечатка производится на принтерах.
2. Принтерная печать. При комплектовании материалов для отправки на ППЭ все бланки целиком печатаются на черно-белых принтерах.
Возможно сочетание обоих вариантов. Например, основа бланков №2 печатается в типографии (бланки №2 одинаковые для всех видов тестирований, и их можно тиражировать «впрок»), а бланки №1 печатаются на принтерах.
Возможно использование в рамках одного мероприятия и розовых типографских бланков с допечатанными штрих-кодами, и черно-белых бланков, распечатанных на принтерах. Например, такое сочетание удобно, если при подготовке тестирования резко увеличилось количество участников, и обнаружилась нехватка розовых бланков. Другая ситуация – проведение тестирования по нескольким предметам, по части из которых участников много (экономически эффективнее печатать основу бланка в типографии), а по части – участников мало (бланки целесообразно печатать целиком на принтерах).
1.2.2 Используемые бланки
Бланк №1
В рамках настоящего проекта «Технологическое обеспечение экзамена» предусмотрено использование бланков №1 РАЗНОЙ СТРУКТУРЫ в зависимости от структуры экзаменационного варианта (КИМ).
Общей для всех бланков №1 является область регистрации вверху бланка, в которой размещены поля для указания атрибутов конкретного тестирования и данных участника. На рисунке ниже приведены примеры двух розовых бланков №1 разной структуры в том виде, в котором они печатаются в типографии, т. е. с пустыми полями для впечатывания штрих-кода и других элементов.
На следующем рисунке приведены примеры аналогичных бланков, распечатанных на принтере. На них есть все элементы, с которыми бланк попадает к участнику тестирования (инструкция по заполнению бланков приведена в файле INSTR_BLANK. doc):
Бланк №2
На рисунке приведены примеры бланков №2 в типографском исполнении (слева) и после печати на принтере (справа). Как и в случае бланков №1, при использовании типографских бланков №2 допечатка необходимых графических элементов (штрих-кода, предмета, даты) производится на принтере в момент комплектования материалов для отправки на ППЭ.
Особенности заполнения некоторых полей бланков
Бланки №1 и №2 не являются именными и до выдачи участникам не связаны друг с другом. На всех бланках, отправляемых в ППЭ, печатается штрих-код данного ППЭ. Кроме того, на бланках может быть напечатан код ОУ, в этом случае важно проследить, чтобы бланки с данным кодом ОУ попали именно к тем участникам, которые зарегистрированы в этом ОУ.
Перед созданием дерева АТЕ центру обработки информации необходимо решить, будут ли при проведении экзамена использоваться региональные коды ОУ и ППЭ или коды ОУ и ППЭ будут сгенерированы системой. Если выбран вариант использования региональных кодов, то при создании дерева АТЕ необходимо каждому создаваемому ОУ указывать эти коды в соответствующем поле. Если региональные коды не будут указаны в соответствующих полях, то система автоматически сгенерирует свои внутренние коды, которые впоследствии будут напечатаны на бланках.
На бланке №1 код ОУ либо впечатывается вместе с реквизитами, либо вписывается участником экзамена во время заполнения бланка. Поскольку печать кодов ОУ на бланке существенно увеличивает надежность их последующего распознавания, рекомендуется печатать коды на бланках во всех ситуациях кроме следующей:
- в одном ППЭ сдают экзамен участники из нескольких ОУ, причем в большинстве аудиторий есть участники из разных ОУ;
- для всех ОУ в дереве АТЕ указан региональный код;
- региональный код известен организаторам тестирования в ППЭ (а желательно, и участникам мероприятия).
В этом случае, с одной стороны, неудобно раздавать участникам бланки, на которых уже есть коды ОУ, поскольку в одной аудитории сидят представители разных ОУ. С другой стороны, поскольку региональные коды ОУ известны организаторам (и участникам), то каждый участник может вписать код ОУ в соответствующее (6-разрядное) поле.
На бланке №1 участник вписывает ФИО, номер и букву класса, номер экзаменационного варианта и код ОУ, если при печати бланков была выбрана соответствующая опция. На бланке №2 – код участника и номер варианта.
Бланк № 2 привязывается к бланку №1 с помощью кода участника, который участник тестирования (под контролем организатора в аудитории) должен вписать в отведенные для этого поля на бланке №2.
1.2.3 Организация проверки заданий с развернутым ответом
Протоколы проверки
Если варианты КИМ содержат задания с развернутыми ответами, то проверка работ осуществляется экспертами. Оценки за выполнение заданий эксперты выставляют в протокол проверки. Пример протокола проверки приведен на рисунке:
Инструкция по заполнению протоколов проверки приведена в файле INSTR_PROTOCOL. doc.
Варианты организации проверки заданий с развернутым ответом
В технологии, реализуемой ПМК ТОЭ, предусмотрено два варианта организации проверки заданий с развернутым ответом:
1. Технология без сканирования. На проверку экспертам передаются оригиналы (или ксерокопии) бланков №2 с выполненными участниками заданиями. Если выбрана эта технология, то при печати комплекта материалов для ППЭ в комплект включаются бланки протоколов проверки. При сборе работ в ППЭ организаторы должны разбить все работы участников на пачки (по столько работ, сколько строчек предусмотрено в протоколе проверки), приложить к каждой пачке протокол, переписав в него коды участников, и в таком укомплектованном виде направить в место проверки работ.
2. Технология со сканированием. Все работы участников сканируются, а затем распечатываются с новыми кодами участников. Если выбрана эта технология, то печать протоколов проверки происходит в момент печати работ участников на проверку – после каждых нескольких работ печатается сопровождающий эти работы протокол с внесенными в него кодами участников. В данной технологии реализована поддержка процедуры третьей проверки.
Важно! Особое внимание следует уделить доставке и хранению комплектов бланков №2 с протоколами проверки, чтобы не допустить их раскомплектации и перемешивания. Кроме того, при проверке работ рекомендуется назначить одного или нескольких технических сотрудников для выдачи комплектов на проверку экспертам. Эти сотрудники должны выдавать проверяющим готовые комплекты (бланки №2 + протокол проверки к ним) и забирать проверенные работы, контролируя правильность заполнения протоколов.
Обработка результатов экзамена по алгебре при использовании бланка с полями для записи формульных ответов
Варианты КИМ для проведения некоторых мероприятий по оценке качества образования могут содержать задания с формульными ответами. Например, такие задания включены в экзаменационные работы Государственной (итоговой) аттестации выпускников основной школы в новой форме по алгебре.
Для указания ответов на такие задания используется бланк ответов №1М. В этом бланке предусмотрены поля для ввода формул – прямоугольные области со скругленными углами. Поскольку формульные ответы не могут распознаваться автоматически, перед сканированием бланка №1М задания с формульными ответами должны быть проверены экспертами.
Эксперт ставит отметку за задание с формульным ответом в машиночитаемое поле напротив ответа участника. «N» - задание не выполнялось, «0» - неверно, «1» - верно.
Предусмотрено два варианта обработки бланков №1М:
1. С простым сканированием. Эксперты проверяют задания с формульными ответами непосредственно на бланках №1М (на которых указаны ФИО участника) и заполняют машиночитаемые поля. Затем бланк сканируется аналогично обычному бланку №1.
2. С двойным сканированием. Бланки №1М сканируются, затем распечатываются без реквизитов участников, после чего происходит проверка заданий с формульными ответами, заполнение экспертами машиночитаемых полей и повторное сканирование.
Инструкция по заполнению бланков приведена в файле INSTR_BLANK. doc
1.2.4 Контроль данных
В описываемой технологии предусмотрены следующие механизмы контроля данных:
1. Контроль количества распечатанных/выданных/полученных бланков. Инструкциями для организаторов в ППЭ предусмотрен возврат ВСЕХ полученных из ЦОИ бланков. Предусмотрено использование машиночитаемых меток для маркировки неиспользованных и аннулированных бланков.
2. Программный контроль учетных записей и данных верификации осуществляется на этапе импорта файлов csv, содержащих результаты распознавания и верификации бланков и протоколов проверки.
1.3 Основные технологические этапы
№ | Название | Краткое описание содержания работ |
1. | Подготовка тестирования в ЦОИ | - Подготовка структуры данных: создание дерева АТЕ с помощью ПК ТОЭ, определение количества участников по ОУ, выбор альтернативных элементов технологии (тиражирование бланков, организация проверки работ и т. п.); - тиражирование бланков и КИМ; - подготовка материалов для ППЭ (шаблонов электронных таблиц для сбора данных, бланков, протоколов, инструкций, КИМ и т. п.) с комплектацией по ОУ. |
2. | Проведение тестирования в ППЭ | - Приемка материалов от ЦОИ; - проведение тестирования; - сбор и отправка материалов в ЦОИ (в том числе, электронных таблиц со сведениями об участниках). |
3. | Проверка заданий с развернутым ответом | - Комплектация работ участников (бланков №2) и протоколов проверки; - организация проверки работ экспертами, при необходимости – организация второй и третьей проверок; - сбор и передача в ЦОИ протоколов проверки и работ участников. |
4. | Обработка данных в ЦОИ | - Сбор экзаменационных материалов из ППЭ в ЦОИ; - импорт в базу данных ПК ТОЭ сведений об участниках из электронных таблиц, переданных с ППЭ; - сканирование и верификация бланков №1; - при выборе технологии со сканированием: сканирование и верификация бланков №2 - сканирование и верификация протоколов проверки; - импорт данных сканирования, сверка с помощью ПК ТОЭ; при выборе технологии со сканированием: распечатка работ на проверку и тп; - обработка апелляций (ПК ТОЭ); - получение итогового файла (ПК ТОЭ). |
2 Описание этапов организации тестирования
2.1 Подготовка тестирования в ЦОИ
2.1.1 Подготовка структуры данных
Структура данных создается в модуле подготовки экзамена ПК ТОЭ (инструкция по работе с ПК ТОЭ приведена в файле INSTR_TOE_USER. doc). В процессе создания древовидной структуры необходимо отразить организационную подчиненность районов и территорий, в которых находятся образовательные учреждения (ОУ).
Дерево АТЕ создается один раз и может затем использоваться при проведении различных тестирований и экзаменов. Однако в процессе работы дерево можно редактировать.
При подготовке конкретного тестирования указывается количество участников по образовательным учреждениям. До проведения самого тестирования НЕ ТРЕБУЕТСЯ вносить сведения об участниках (ФИО, текущие оценки и т. п.).
На стадии подготовки структуры данных средствами ПК ТОЭ осуществляется выбор альтернативных элементов технологии (типографский или принтерный вариант тиражирования бланков, необходимость проверки заданий с развернутым ответом, технология проверки – со сканированием или без, необходимость третьей проверки).
Кроме того, указывается количество участников по ОУ. Если нет точной информации о количестве участников, то могут быть указаны ориентировочные данные с возможностью возврата впоследствии неиспользованных бланков, либо допечатки недостающих комплектов на участников.
2.1.2 Тиражирование КИМ
КИМ тиражируются по готовым макетам в типографии либо на принтерах. Необходимо обеспечить своевременность тиражирования и безопасность хранения КИМ вплоть до их упаковки для отправки в ППЭ.
2.1.3 Тиражирование бланков
При выборе организаторами тестирования варианта типографского тиражирования бланков (см. п. 1.2.1 настоящей инструкции) с последующей допечаткой необходимых элементов на принтерах необходимо обеспечить своевременное тиражирование и доставку бланков к месту комплектации.
Если при подготовке материалов для отправки на ППЭ используются типографские розовые бланки, то при формировании комплектов под управлением ПК ТОЭ в используемые принтеры необходимо загрузить именно эти бланки. Более подробно печать комплектов материалов для ППЭ описана в руководстве пользователя ПК ТОЭ (файл INSTR_TOE_USER. doc).
2.1.4 Подготовка материалов для ППЭ
Материалы, отправляемые на ППЭ, включают:
- шаблоны электронных таблиц для сбора данных (файлы в формате xls), отправляемых на ППЭ (таблицы могут быть заранее заполнены в ОУ, прикрепленных к данному ППЭ) по электронной почте или любым иным способом на съемных носителях. Шаблоны должны быть направлены в ППЭ заранее, чтобы у организаторов в ППЭ было время на заполнение таблиц. Порядок заполнения таблиц описан в инструкции для организаторов тестирования в ППЭ (файл INSTR_ORG_PPE. doc). Срок отправки шаблонов согласовывается организаторами тестирования в ЦОИ и в ППЭ в зависимости от количества участников.
- полный комплект материалов на бумаге, упакованных для доставки в ППЭ с соблюдением необходимых мер информационной безопасности. Один из вариантов упаковки – секьюрпаки. Могут быть также использованы обычные полиэтиленовые пакеты, заклеенные и опечатанные. Возможны другие способы упаковки по выбору организаторов мероприятия.
Описание полного комплекта материалов, направляемых в ППЭ, приведено в таблице:
№ | Наименование материалов | Количество | Комментарий |
1. | КИМ | По 1 комплекту на каждого участника (по предварительным данным о количестве участников) | Тиражирование в типографии или на принтерах по готовому макету КИМ должны быть упакованы отдельно от всех остальных материалов |
2. | Бланки №1 | По 1 бланку на каждого участника (по предварительным данным о количестве участников) | Включено в режим печати комплекта для ППЭ в ПК ТОЭ (печать целиком на белой бумаге или допечатка на розовых типографских бланках) |
3. | Бланки №2 | По 1 (2) бланку на каждого участника (по предварительным данным о количестве участников), возможна печать дополнительных бланков №2 | Включено в режим печати комплекта для ППЭ в ПК ТОЭ (печать целиком на белой бумаге или допечатка на розовых типографских бланках) |
4. | Дополнительные бланки №2 | В нужном количестве | Печать не является обязательной. Количество бланков указывается при печати комплекта материалов. Могут быть допечатаны в необходимом количестве. |
5. | Протокол выдачи дополнительных бланков ответов №2 | В нужном количестве | Печать не является обязательной. Количество бланков указывается при печати комплекта материалов. Могут быть допечатаны в необходимом количестве. |
6. | Протоколы проверки Только при выборе технологии без сканирования | Количество определяется автоматически, возможна печать дополнительных протоколов | Включено в режим печати комплекта для ППЭ в ПК ТОЭ. Могут быть допечатаны в необходимом количестве. |
7. | Акт приемки-передачи материалов из ППЭ в ЦОИ | 2 акта на ППЭ | Включено в режим печати комплекта для ППЭ в ПК ТОЭ В протоколе фиксируются количества отправленных / принятых / отправленных бланков |
8. | Акт приемки-передачи материалов из ЦОИ в ППЭ | 2 акта на ППЭ | Включено в режим печати комплекта для ППЭ в ПК ТОЭ В протоколе фиксируются количества отправленных / принятых / отправленных бланков |
9. | Сопроводитель-ный лист на ОУ | По 2 листа на каждое ОУ | Включено в режим печати комплекта для ППЭ в ПК ТОЭ. Один лист должен быть наклеен на упаковку материалов для ОУ, другой – вложен внутрь для использования при обратной отправке материалов |
10. | Сопроводитель-ный лист на ППЭ | 2 листа на ППЭ | Включено в режим печати комплекта для ППЭ в ПК ТОЭ. Один лист должен быть наклеен на упаковку материалов для ППЭ, другой – вложен внутрь для использования при обратной отправке материалов |
11. | Шаблоны электронных таблиц для сбора данных (файлы в формате xls) | 1 файл на каждое ОУ в ППЭ на каждый проект | Должны быть направлены в ППЭ заранее |
ПК ТОЭ позволяет организовать печать с использованием компьютеров локальной сети, подключенных к разным принтерам. При этом комплект материалов, предназначенный для одного ОУ или ППЭ, отправляется на печать целиком. Поэтому при печати с разных компьютеров на разные принтеры целесообразно распределить ППЭ между компьютерами.
В данной версии технологии жестко не регламентируется порядок комплектации в ЦОИ пакетов для ППЭ. Возможны, в том числе, следующие варианты комплектации:
КИМ и бланки по аудиториям. КИМ раскладываются по аудиториям и запечатываются, бланки ответов раскладываются по аудиториям и пакетируются. В этом случае организаторам в ППЭ достаточно распределить доставленные пакеты по аудиториям. При выборе этого способа при печати должно быть точно известно, участники из каких ОУ будут сидеть в каждой аудитории. После завершения пакетирование иная рассадка ОУ по аудиториям НЕВОЗМОЖНА.
КИМ – по аудиториям, бланки – на ППЭ. КИМ раскладываются по аудиториям и запечатываются, бланки пакетируются для ППЭ. В этом случае организаторам в ППЭ необходимо перед началом экзамена скомплектовать бланки по аудиториям (с учетом ОУ), а затем распределить по аудиториям готовые пакеты с КИМ и бланками.
КИМ и бланки – на ППЭ. КИМ запечатываются в общей пачке для доставки на ППЭ. Бланки пакетируются в общей пачке для доставки на ППЭ. В этом случае организаторам в ППЭ необходимо перед началом экзамена скомплектовать КИМ и бланки по аудиториям (с учетом ОУ) и доставить их в аудитории с соблюдением режима конфиденциальности.
2.2 Проведение тестирования в ППЭ
2.2.1 Приемка материалов
Организаторы тестирования в ППЭ получают из ЦОИ укомплектованные выбранным способом материалы. Организаторы в ППЭ должны обеспечить контроль использования бланков и КИМ и заполнение протокола передачи материалов.
Инструкция для организаторов мероприятия в ППЭ приведена в файле INSTR_ORG_PPE. doc.
2.2.2 Формирование списков участников
Списки участников тестирования должны быть сформированы и проверены не позднее того момента, как сданы первые работы участниками. Это связано с необходимостью выявления участников, имеющих одинаковые имена-фамилии-отчества (полные тезки) в пределах ППЭ, для присвоения таким участникам кодов отличая, уникальных для всего ППЭ.
По результатам формирования списка участников заполняется электронная таблица для сбора данных, которая затем передается в ЦОИ в распечатанном виде, а также по электронной почте или на съемном носителе.
Если обнаружены полные тезки, организаторы в ППЭ должны:
- присвоить полным тезкам дополнительные номера (коды отличия);
- сообщить ФИО участников и присвоенные коды отличия старшим по аудиториям, в которых сидят полные тезки, чтобы старшие по аудиториям вписали эти коды в бланки №1 соответствующих участников;
- вписать присвоенные коды отличия в соответствующий столбец электронной таблицы для сбора данных
Организаторы в аудиториях, в свою очередь, должны проследить, чтобы у указанных участников были вписаны присвоенные коды отличия в одноименное поле на бланке №1.
2.2.3 Проведение тестирования в аудитории
В описываемой технологии автоматизация рассадки участников не предусмотрена. Организаторы тестирования в аудитории должны сами рассадить участников тестирования, выдать им бланки №1 и №2, варианты КИМ, провести инструктаж. При инструктаже должно быть, в том числе, объявлено о необходимости аккуратного заполнения полей «Номер варианта», «Фамилия», «Имя», «Отчество», «Класс номер», «Класс буква» в бланке №1, «Код ОУ» (если не был напечатан) и ОБЯЗАТЕЛЬНОГО аккуратного заполнения поля «Код участника» и «Номер варианта» в бланке №2.
Во время заполнения регистрационных данных варианты КИМ должны лежать на столах титульным листом вверх.
На пустых бланках организаторами в аудитории ставятся метки в поле «Пустой бланк». В случае нештатного прекращения работы участника или порчи бланка ставится метка в поле «Бланк аннулирован».
В процессе работы участникам могут выдаваться дополнительные бланки №2. На каждом выдаваемом дополнительном бланке организатор в аудитории вписывает код участника, которому выдан бланк. Затем заполняет протокол выдачи дополнительных бланков ответов №2 (если таковые распечатывались для данного мероприятия).
Инструкция для организаторов в аудитории приведена в файле INSTR_ORG_AUD. doc.
2.2.4 Сбор материалов
При сборе материалов организаторы в аудитории обязаны проследить, чтобы были заполнены все регистрационные поля на бланках №1 и поля «Код участника» и «Номер варианта» на бланке №2. Необходимо также проконтролировать заполнение поля «Код отличия» на бланках полных тезок.
Бланки №1 подсчитываются и упаковываются отдельно.
Бланки №2 упаковываются следующим образом:
- При использовании технологии без сканирования бланки комплектуются пачками по одинаковому числу работ (не более, чем число строк в протоколе проверки на соответствующий ППЭ) и к каждой такой пачке прикладывается протокол проверки, в который должны быть переписаны коды участников с бланков №2 соответствующей пачки. Код ППЭ указан на протоколе. Недопустимо менять протоколы между ППЭ. Пачки доставляются к месту проверки.
- При использовании технологии со сканированием протоколы проверки на ППЭ не присылаются, бланки №2 комплектуются и упаковываются отдельно.
По всем бланкам и дополнительным материалам должны быть заполнены два одинаковых акта приемки-передачи материалов, один из которых передается в ЦОИ.
2.2.5 Отправка материалов в ЦОИ
Все материалы должны переправляться в ЦОИ с соблюдением мер информационной безопасности.
2.3 Проверка заданий с развернутым ответом
2.3.1 Общие принципы
Задания с развернутыми ответами выполняются участниками тестирования на бланках №2. На каждом бланке №2 содержится штрих-код и поле для указания кода участника. Указатель страниц одной работы не предусмотрен, поэтому, если работа одного участника была выполнена на двух или более страницах, то эксперту, проверяющему работу, необходимо определить порядок следования страниц самостоятельно.
Эксперты, проверяющие работы, выставляют оценки за задания в протоколы проверки, в которых по каждому заданию есть несколько полей для оценок, от «N» (не приступал) до максимального балла. Инструкция по заполнению протоколов проверки приведена в файле INSTR_PROTOCOL. doc.
Если в ПК ТОЭ выбран режим, предполагающий две проверки (на стадии подготовки структур данных), то при печати протоколов автоматически предусматривается двойное количество.
Если был выбран режим, предполагающий третью проверку, то для третьей проверки используются протоколы такого же типа, как и для первых двух.
По окончании проверок все протоколы сканируются и верифицируются. Импорт данных в базу данных ПК ТОЭ необходимо осуществлять в следующем порядке: сначала импорт всех результатов первой и второй проверок, затем импорт результатов третьей проверки. При импорте результатов проверок программа выдает запрос о виде проверки и оператор загрузки данных должен указать, результаты какой именно проверки импортируются – при импорте первой/второй проверок csv протоколов просто закачиваются (главное, если каждую работу проверяли 2 эксперта, чтобы у них были различные коды), а при импорте 3-ей проверки необходимо указать, что импортируются результаты именно 3-ей проверки.
Затем нажать «Добавить в базу».
2.3.2 Технология без сканирования
В данной технологии эксперт проверяет оригинал бланка №2 или его ксерокопию. Возможность рассекречивания работ при такой технологии весьма высока, поскольку на бланке присутствует код участника, который известен самому участнику. Другой минус технологии – гарантированные затруднения при организации третьей проверки, поскольку хранение работ в этом случае не автоматизировано, и поиск работ для осуществления третьей проверки очень трудоемок. Кроме того, в данной технологии невозможен автоматизированный контроль количества бланков.
К плюсам данной технологии можно отнести ее быстроту и относительную экономичность (не требуется лишние печать, сканирование и распечатка).
Протоколы проверки печатаются одновременно с комплектами материалов для отправки в ППЭ. На каждом протоколе печатается штрих-код ППЭ. Недопустимо менять протоколы между ППЭ. В каждой строке протокола имеются поля для указания кода участника, которые должны быть заполнены при комплектовании работ в ППЭ для отправки в ЦОИ или в место проверки работ.
2.3.3 Технология со сканированием
В данной технологии отправка протоколов проверки в ППЭ не предусмотрена. Все бланки №2 должны быть переданы из ППЭ в ЦОИ, где они сканируются и хранятся в базе данных. Для реализации механизмов автоматизированного контроля количества бланков необходимо проследить, чтобы все бланки, на которых нет выполненных участниками заданий, были помечены метками «Пустой бланк» либо «Бланк аннулирован».
Важно! Метки «Пустой бланк» и «Бланк аннулирован» должны быть выставлены в ППЭ по окончании экзамена ДО ОТПРАВКИ МАТЕРИАЛОВ В ЦОИ.
Перед проверкой работы распечатываются заново, причем регистрационная часть бланков №2 при этом меняется, в том числе, меняются коды участников, что обеспечивает приемлемый уровень информационной безопасности.
При организации двух проверок работы распечатываются по выбору: либо два раза (независимая проверка работ), либо один раз (последовательная проверка работ). В процессе печати система автоматически после каждых нескольких работ (по числу строк в протоколе проверки) печатает протокол проверки с внесенными кодами участников, к чьим работам относится печатаемый протокол.
После импорта результатов первой и второй проверок список работ на третью проверку создается автоматически (с учетом настроек условий третьей проверки, сделанных в программе на стадии подготовки структур данных). Печать работ по списку производится аналогично печати работ на первую и вторую проверки.
После сканирования и верификации протоколов третьей проверки результаты импортируются в базу данных.
2.4 Обработка данных в ЦОИ
2.4.1 Сбор данных в ЦОИ
В ЦОИ из ППЭ должны быть направлены следующие материалы:
№ | Наименование материалов | Количество | Комментарий |
1. | Бланки №1 | По 1 бланку на каждого участника + пустые и аннулированные бланки (с соответствующими метками) | Количество отправляемых бланков должно совпадать с количеством полученных. При несовпадении проводится служебное расследование |
2. | Бланки №2 | Бланки с работами участников + пустые и аннулированные бланки (с соответствующими метками) | Количество отправляемых бланков должно совпадать с количеством полученных. При несовпадении проводится служебное расследование В технологии без сканирования бланки №2 должны следовать пачками, между которыми должны быть проложены протоколы проверки с заполненными кодами участников, чьи работы находятся в соответствующей пачке |
3. | Протоколы проверки Только при выборе технологии без сканирования | Количество определяется автоматически | В технологии без сканирования бланки №2 должны следовать пачками, между которыми должны быть проложены протоколы проверки с заполненными кодами участников, чьи работы находятся в соответствующей пачке |
4. | Дополнительные бланки №2 | Передаются только заполненные дополнительные бланки. | Если таковые выдавались участникам |
5. | Протокол выдачи дополнительных бланков ответов №2 | Передаются только заполненные протоколы выдачи дополнительных бланков ответов №2 | Если таковые заполнялись |
6. | Акт сдачи-приемки документов из ППЭ в ЦОИ | 1 акт на ППЭ | В протоколе фиксируются количества отправленных / принятых / отправленных бланков |
7. | Сопроводительный лист на ОУ | По 1 листу на каждое ОУ | Лист должен быть наклеен на упаковку материалов по ОУ |
8. | Сопроводительный лист на ППЭ | 1 лист на ППЭ | Лист должен быть наклеен на упаковку материалов из ППЭ |
9. | Электронные таблицы с данными об участниках | По 1 файлу на каждое ОУ | Файлы отправляются по электронной почте или передаются на съемных носителях при передаче бумажных комплектов в ЦОИ |
10. | Распечатки таблиц с данными об участниках | В зависимости от количества участников | Распечатки передаются вместе со всеми материалами с ППЭ |
2.4.2 Обработка результатов с использованием бланка №1М
Процедура описана в п. 0.
2.4.3 Импорт сведений об участниках
Импорт сведений об участниках из электронных таблиц (модуль сбора данных), полученных с ППЭ, производится средствами ПК ТОЭ. При импорте данных осуществляется их контроль и запись в базу данных.
Данные из электронных таблиц должны быть импортированы в базу до получения результатов сканирования и верификации бланков, поскольку данные с бланков сверяются с уже имеющимися данными на участников тестирования (в противном случае все ФИО из импортируемых csv попадут на сверку).
Процедура импорта описана в руководстве пользователя ПК ТОЭ (файл INSTR_TOE_USER. doc).
2.4.4 Сканирование и верификация бланков и протоколов
В описываемой технологии предусмотрено сканирование следующих документов:
№ | Наименов. документов | Комментарий |
1. | Бланки №1 | Однократное сканирование при всех альтернативных вариантах технологий |
2. | Бланки №1М | Проверка экспертами формульных ответов и затем сканирование (технология с простым сканированием) Сканирование и перепечатка бланков с измененными кодами участников, затем проверка экспертами формульных ответов, после чего повторное сканирование (технология с двойным сканированием) |
3. | Бланки №2 | Сканирование только в случае варианта технологии со сканированием |
4. | Протоколы проверки | Однократное сканирование при всех альтернативных вариантах технологий |
При этом для обеспечения корректной работы ПК ТОЭ:
o важно сохранять все пакеты до конца обработки. При этом компьютер, на котором расположены пакеты, должен быть доступен по сети компьютеру, на котором происходит импорт полученных csv в ПК ТОЭ
o нельзя сохранять все изображения в один файл tif
2.4.5 Импорт данных сканирования
Импорт данных сканирования производится средствами ПК ТОЭ. Импортируемые файлы должны иметь формат csv. При импорте происходит сверка данных, полученных из электронных таблиц, с данными сканирования.
Важно! Импорт результатов сканирования должен проводиться только ПОСЛЕ импорта данных из электронных таблиц.
При несовпадении можно «привязать» ФИО, полученные после сканирования и распознавания бланков, к ФИО из электронных таблиц (сверка).
2.4.6 Обработка результатов
По окончании сверки, в зависимости от организационной формы использования ПК ТОЭ, возможно два варианта обработки результатов:
1. Экспорт результатов в итоговый файл и отправка итогового файла оператору по обработке данных. Экспорт полученных данных в файл осуществляется с помощью одноименной кнопки в модуле ввода результатов экзамена.
2. Проверка заданий с кратким ответом (обработка вееров ответов) и последующая генерация статистических отчетов с помощью модуля статистики.
