Обзор основных элементов новой платформы тестирования
Общее описание
Электронная платформа, которая позволяет проводить удаленное (он-лайн) тестирование участников (кандидатов) различными видами тестов, обрабатывать и формировать индивидуальные результаты участников, а также сводные результаты группы участников.
Основные интерфейсы платформы:
1. Интерфейс разработчика
Интерфейс служит для того, чтобы добавлять и редактировать тестовые задания и их характеристики (тонкие настройки) для запрограммированных ранее тестов. Также разработчик может создавать новые тесты, которые отличаются от предыдущих по содержанию, однако используют ранее созданную логику.
- Редактирование тонких настроек (характеристик) существующих видов тестов Создание копий текущих тестов с другими модификациями тонких настроек (характеристик) Добавление (расширение библиотеки) тестовых заданий уже существующих тестов Редактирование и/или удаление тестовых заданий уже существующих тестов Экспорт массивов данных результатов тестирования (без персональных данных участников) для дальнейшего статистического анализа Редактирование коэффициентов в формулах подсчета результатов тестирования (для конкретных тестов)
2. Интерфейс системного администратора
Интерфейс служит для администрирования процесса тестирования – управление проектами, пользователями/доступом, создание новых пользователей (логин/пароль)
- Создание уникальных проектов (вакансий) Создание сценариев тестирования для проектов (выбор какие тесты и в какой последовательности применяются для каждого конкретного проекта) Создание координаторов + права доступа к конкретным проектам Создание (импорт) участников тестирования и соотнесение их с проектами и тестами Генерация, рассылка, восстановление логинов/паролей Просмотр/распечатка результатов участников Доступ до ответов участников (просмотр) в особых случаях по каждому вопросу по каждому тесту
3. Интерфейс координатора
Интерфейс координатора служит для того, чтобы распечатывать результаты тестирования, видеть сводную таблицу протестированных (в пределах своего проекта / своих прав).
- Просмотр списка участников (кандидатов) проекта + статус прохождения каждого из тестов + результаты участников Распечатка результатов участников Помощь участникам в логинах/паролях (просмотр) Добавление в сценарий тестирования (для выбранных кандидатов) прохождение личностного опросника
4. Интерфейс пользователя (тестируемого участника)
Интерфейс для прохождения собственно тестирования, просмотра и распечатки результатов тестирования
- Список тестов + статус их прохождения (и дата) + результаты Начать тестирование Распечатать результаты
Предполагаемый порядок работы
Системный администратор создает проект (вакансию) на которую будут тестироваться кандидаты. При создании проекта, системный администратор указывает сценарий тестирования, т. е. какие именно тесты будут проходить кандидаты в пределах этого конкретного проекта. Системный администратор выбирает координаторов (или создает) с правами доступа к данному проекту Системный администратор добавляет и/или импортирует данные кандидатов (ФИО + налоговый номер/номер паспорта) и соотносит кандидатов с проектом, в котором они участвуют. Таким образом кандидату присваивается необходимый сценарий тестирования. Один кандидат может быть участником нескольких проектов. Происходит создание логинов/паролей кандидатов.Важно:
- Для тестов способностей - если кандидат участвует в нескольких проектах – он не может проходить один и тот-же тест чаще, чем один раз в месяц. Если кандидат (по сценарию) должен пройти определенный тест, который он уже проходил в последние 30 дней – система автоматически считает тест пройденным и выдает сохраненные ранее результаты. Если кандидат проходил тест несколько раз – он выбирает тот результат, которым хочет воспользоваться (по идее – самый лучший), Для личностного опросника – система предлагает кандидату либо воспользоваться уже сохраненными результатами (если участник уже проходил такой опросник), либо пройти опросник заново.
Для обеспечения конфиденциальности информации, чтобы кандидаты не могли заполнить опрос не из тестового помещения – все логины кандидатов изначально деактивированы. Когда участник пришел на тестирование, координатор проверяет его паспорт, и активирует логин. После окончания тестирования – логин опять де-активируется.
Тесты
На первом этапе должно быть предусмотрено четыре теста:
• три теста на способности
• один тест на личностные характеристики
Тесты на способности
Тесты на способности - описание
Предполагается (на первом) этапе три теста на способности:
• тест на работу с абстрактной информацией (A-RAT = Abstract Reasoning Ability Test),
• тест на работу с числовой информацией (N-RAT = Numerical Reasoning Ability Test),
• тест на работу с текстовой информацией (V-RAT = Verbal Reasoning Ability Test).
В дальнейшем, количество тестов на способности может увеличиваться.
Формат всех тестов на способности выглядит таким образом:
- Базовый экран – это некая «базовая» информация, например, график, таблица, рисунок – на основании которых будет сформирован вопрос. На каждый базовый экран кандидату задается от одного до пяти заданий / вопросов.
• Задание – собственно задание, на основании базового экрана.
• Варианты ответов – от трех до пяти вариантов ответов на каждое задание.
Образец как может выглядеть экран:
Тесты на способности – порядок тестирования
В начале каждого из тестов – кандидат видит 1-2 страницы инструкций к данному виду тестирования После этого кандидату предлагается пробный базовый экран + последовательно 4 задания и соответствующие варианты ответов. Если кандидат отвечает правильно – он двигается дальше. Если неправильно – система показывает и объясняет правильный ответ. После окончания инструкции и пробных вопросов, начинается собственно тестирование, которые ограничено по времени (от 15 до 30 минут в зависимости от теста). После истечения времени или если кандидат ответил на все вопросы раньше отведенного времени – система выводит информацию о результатах (имя кандидата, название проекта, название теста, дата и время прохождения, количество правильно отвеченных вопросов, общее количество отвеченных вопросов и т. п.). Кандидат распечатывает страницу с результатами. Кандидат либо заканчивает тестирование, либо переходит к следующему тесту (по сценарию).Тесты на способности – логика
В тесте запрограммирована библиотека базовых экранов и заданий к таким базовым экранам. Разработчик может добавлять базовые экраны и/или задания к базовым экранам.
Все базовые экраны разделены на 10 уровней сложности. На каждом уровне сложности есть выбор нескольких базовых экранов. Каждому уровню сложности присвоен коэффициент сложности. Первоначально все коэффициенты равны 1.0.
Под каждый базовый экран разработан набор заданий / вопросов
Порядок теста:
Случайно выбранный базовый экран уровня сложности 1. По данному экрану пользователю последовательно предлагается от 3х до 5ти заданий / вопросов. Случайно выбранный базовый экран уровня сложности 2. По данному экрану пользователю последовательно предлагается от 3х до 5ти заданий / вопросов. и так далее – до уровня сложности 10.Настройки (делает разработчик) могут предполагать использование более одного базового экрана в пределах одного уровня сложности.
Тонкие настройки теста (делает только разработчик):
- Количество базовых экранов, которые предлагаются участнику на каждом уровне Количество заданий/вопросов по каждому базовому экрану Коэффициент сложности (изначально все 1.0) Максимальное время теста (от 15 до 30 минут)
Например:
Уровень сложности | Коэффициент сложности | Количество базовых экранов, которые предлагаются участниками на этом уровне сложности | Количество заданий / вопросов на один базовый экран | |
RAT1 (Стандартная модификация) Всего 10 экранов по 4 задания = 40 заданий | 1 2 3 4 5 6 7 8 9 10 | 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 | 1 1 1 1 1 1 1 1 1 1 | 4 4 4 4 4 4 4 4 4 4 |
RAT2 (Упрощенная модификация / короткий) Всего 5 экранов по 4 задания = 20 заданий | 1 2 3 4 5 6 7 8 9 10 | 1.0 1.2 1.4 1.6 1.8 1.0 1.0 1.0 1.0 1.0 | 1 1 1 1 1 0 0 0 0 0 | 4 4 4 4 4 0 0 0 0 0 |
RAT3 (Усложненная модификация) Всего 15 экранов по 2 задания = 30 задания | 1 2 3 4 5 6 7 8 9 10 | 1.0 1.2 1.4 1.6 1.8 2.0 2.4 2.6 2.8 3.0 | 1 0 1 0 2 0 2 3 3 3 | 2 0 2 0 2 0 2 2 2 2 |
«0» - означает, что в данной модификации теста, с данного уровня сложности - не берется ни одного базового экрана.
Тесты на способности - результаты
Для подсчета суммарного бала количество правильных ответов на каждом уровне сложности умножается на соответствующий коэффициент сложности. Результаты суммируются.
Для оценивания результатов, также подсчитываются следующие коэффициенты:
- Общее количество правильно отвеченных вопросов Общее количество отвеченных вопросов Коэффициент точности: количество правильных ч количество отвеченных Общее количество вопросов/заданий в тесте Время прохождения теста (актуально, если кандидат закончил раньше отведенного времени) Набранный суммарный бал по тесту Бал (для ведомости) (формула конвертации – отдельно)
Личностный опросник
Личностный опросник – описание
Предполагается (на первом) этапе один опросник - опросник мотивации. В дальнейшем, количество опросников может увеличиваться.
Формат всех опросников выглядит следующим образом:
- Блок из трех или четырех утверждений с двумя вариантами ответов (условно ответ 1 и ответ 2).
Образец как может выглядеть экран:
Личностный опросник – порядок
В начале опросника – кандидат видит 1-2 страницы инструкций к данному опроснику. После окончания инструкции, начинается собственно прохождение опросника, которое НЕ ограничено по времени. После окончания опросника - система выводит информацию о результатах (имя кандидата, название проекта, название опросника, дата и время прохождения и т. п.). Кандидат может распечатать страницу с результатами.Личностный опросник – логика
Опросник состоит из заданного набора утверждений, которые выводятся в произвольном порядке. Несмотря на произвольный порядок блоков – все кандидаты оценивают абсолютно одинаковые блоки утверждений.
Личностный опросник - результаты
В каждом блоке утверждений:
- Утверждение, по которому дан первый ответ (наименее) получают 1 бал
• Утверждения, по которым ответ не дан получают 2 балла
• Утверждения, по которым дан второй ответ (наиболее) получают 3 балла
Все утверждения группируются в несколько блоков (предварительно 15 блоков, в каждом блоке 5 утверждений). Подсчитывается общая сумма баллов утверждений, которые входят в данный блок.
После этого полученные балы блока конвертируются согласно заданной формуле в шкалу от 1 до 10. Коэффициенты, которые используются в формуле конвертации могут корректироваться разработчиком.
Отчетом является рейтинг каждого из блоков (от максимального до минимального).
Другие аспекты:
- Платформа должна иметь возможность поддерживать до 500 пользователей одновременно
