Экспериментальное исследование технологии обучения массовых
профессиональных пользователей (МПП)
, доцент кафедры Математического обеспечения вычислительных систем (МОВС), к. т.н.
, программист каф. МОВС
, электроник каф. МОВС, аспирант
Рассмотрим инструментальные средства поддержки технологии обучения массовых профессиональных пользователей, состоящие из системы создания обучающих компонент, самих обучающих компонент, методики обучения с помощью данных обучающих компонент, методики определения показателей достижения целей технологии (качества обучения).
Двухмашинный комплекс создания обучающих компонент
Система создания обучающих компонент информационных систем (ОКИС) состоит из следующих модулей:
- обучающей компоненты системы, которая обеспечивает непосредственное обучение согласно сценарию обучения;
- редактора сценариев обучающей системы, который предназначен для ввода сценариев, на основе которых производится обучение;
- средств перехвата управления на машине с исходной системой и автоматического заполнения сценария, которые функционируют совместно с редактором сценариев.
Обучающая компонента взаимодействует с пользователем (обучаемым) и отображается перед ним конечным интерфейсом обучающей системы. В рамках проекта созданы три варианта обучающих компонент, которые имеют следующие структуры:
1. локальная ОКИС, которая взаимодействует с локальной базой данных (БД) и может распространяться в варианте инсталляционной версии;
2. клиент-серверная ОКИС, включающая 3 компоненты — клиент обучающей системы, сервер БД и сервер статистики (рис. 1);
3. клиент-серверная ОКИС, включающая 2 компоненты — клиент обучения и сервер, организующий доставку данных до клиента и сбор статистики.
Рис. 1. Клиент-серверная организация обучающей компоненты
(с использованием сервера БД)
При решении этих задач были разработаны следующие механизмы автоматизации:
- интерфейс редактора сценариев ОКИС был приближен к интерфейсу самой обучающей компоненты, повторяя его в ключевых элементах. На экране редактора сценариев отображаются такие поля, как текст задания, текст помощи и окно базовой системы, на которых можно непосредственно задать их значения;
- в полях ввода задания и текста добавлена возможность хранения и выбора часто повторяющихся текстов из списков подстановок, в которых тексты сгруппированы по действиям пользователя, что сказывается, прежде всего, на удобстве использования и сокращении количества ошибок;
- переход по заданиям осуществляется при помощи списка, быстрый переход по которому имитирует смену состояний базовой системы в момент обучения и помогает быстро перейти на нужный шаг;
- создано средство двухмашинного, полуавтоматического заполнения сценария, работающее посредством сетевого протокола TCP/IP.
Эффективность разработки обучающих компонент
№ п/п | Используемые средства редактора | Время выполнения 20 шагов | Время выполнения первого шага | Время выполнения последнего шага |
1 | Ручное заполнение текстов задания и помощи | 40 минут | 2 минуты | 2 минуты |
2 | Используется словарь текста заданий | 25 минут | 2 минуты | 1 минута 10 секунд |
3 | Используется словарь текста помощи | 30 минут | 2 минуты | 1 минута 15 секунд |
4 | Используется средство автоматического заполнения текста помощи | 22 минуты | 1 минута 10 секунд | 1 минута 5 секунд |
5 | Используются словарь заданий и словарь текста помощи | 15 минут | 2 минуты | 25 секунд |
Экспериментальная оценка эффективности обучающей компоненты визуального контроля пластиковых карт (ВКПК)
В Московском лицее Сбербанка РФ сотрудниками лаборатории «Электронные технологии в финансах» МИРЭА проводился эксперимент по оценке эффективности обучающей компоненты ВКПК.
Среднее значение количества правильных ответов в Контрольной группе составляет 14.3, а в Экспериментальной – 17.1. Оценка результатов как по Т - критерию, так и по критерию Манна-Уитни равна 0.001, что говорит о высокой статистической значимости результатов. Таким образом, использование обучающей компоненты ВКПК повышает качество обучения. Без учета случайной составляющей это повышение составляет около 20%. Хотелось бы отметить один, очень важный с точки зрения мотивации учащихся, дополнительный результат эксперимента. Это пожелание участников Экспериментальной группы увеличить время обучения, при заявлении участников Контрольной группы о достаточном времени.
Использование обучающих компонент как инструмента исследования интерфейса информационной системы
ОКИС характеризуются набором численных параметров, значения которых измеряются во время пользовательского выполнения тренажерного диалога.
Для представления данных эксперимента строятся матрицы вида:
(1)
(2)
где 
— матрица ошибочных действий, 
— матрица времени прохождения элементарных шагов. Матрицы горизонтально нумеруются по обучаемым, принимавшим участие в испытании — 
, а вертикально — по шагам сценария 
. Для оценки качества сценария вводится матрица выполненных шагов 
:
(3)
На основе данных матриц строятся столбцы частоты возникновения ошибок 
и среднего времени выполнения шага 
вида:
(4)
Диаграмма среднего количества ошибок выполнения элементарных шагов (рис. 2) также является информативным параметром анализа ОК ИС. На ее основе наиболее четко проявляются труднопонимаемые с точки зрения обучаемого места сценария. При этом приближение среднего количества ошибок или превышение порогового значения в 1 ошибку может говорить как о некорректно сформулированном тексте помощи, так и о несоответствии текста помощи или текста задания сценарному алгоритму, заложенному в диалоговую модель ИС.
Рис. 2. Диаграмма среднего количества ошибок выполнения элементарных шагов
диалога ОКИС в рамках однотипной задачи
На представленной на рис. 2. диаграмме прослеживаются сильные колебания, возникшие на 12-м шаге, объясняемые тем, что интуитивно непонятное интерфейсное решение не разъясняется явно в тексте задания, а формулировка текста подсказки вызывает ряд сложностей у обучаемых, либо тем, что интерфейс является неудачным.
Заключение
Система применялась для разработки обучающих компонент для Министерства Природных Ресурсов, ГАС «Выборы», систем автоматизации МИРЭА.
