Реализация контроля знаний в распределенных информационных системах

Реализация контроля знаний в распределенных информационных системах

, ,

В статье рассмотрены методические аспекты создания РАОС, проведен основные принципы РАОС,  предложены трудности тестового задания, которые целесообразно использовать в автоматизированных обучающих системах. Предложен способ программной реализации  вопросов и проверки ответов.

С развитием вычислительных сетей и, в частности, сети Internet обучающие системы получили возможность выхода на новый уровень. При переходе от локальных обучающих систем к распределенным качественно изменяются функциональные возможности (прежде всего за счет объединения сетевых ресурсов для решения стоящих перед системой задач). Использование средств телекоммуникаций позволяет значительно расширить круг пользователей системы. Более того, при организации работы через вычислительную сеть общение между обучаемыми и преподавателем может быть даже более интенсивным, чем при традиционном обучении в высшей школе. Преподаватель получает возможность постоянного контроля состояния процесса обучения (в первую очередь, с использованием средств автоматического контроля), а обучаемый – возможность консультации в режиме on-line или по электронной почте.

Применяемое в настоящее время в системе среднего и высшего образования компьютерное тестирование по сравнению с другими методами контроля показало ряд преимуществ: высокую степень стандартизации, объективность оценки результатов, удоб­ную количественную форму выражения результатов, дающую воз­можность сравнивать уровень достижений различных учащихся и количественно описывать прогресс (или регресс) в качестве обра­зования, высокую степень защиты от фальсификации, высокую скорость обработки результатов, единство требований к учащим­ся и абитуриентам, исключение субъективизма при поступлении в высшее учебное заведение и межсессионном контроле, выдви­жение в ряды профессиональной и управленческой элиты наибо­лее талантливых представителей молодого поколения [3].

В связи с широким внедрением тестовой системы контроля знаний приобрели особую актуальность разработки контролирующие систем, основанных на тестировании. Исследования в данной области ведутся в основном в двух направлениях:

1. Разработка математических моделей составления тестов, обоснование различных подходов к оценке знаний методом тестирования, теоретическое исследование математических моделей тестовой системы контроля знаний и обработки результатов тестирования.

2. Разработка программных комплексов и компьютерных систем, реализующих конкретные алгоритмы и методы тестирования и обработки результатов тестирования.

Использование сетевых технологий и достижений в области искусственного интеллекта дает возможность создания перспективных обучающих систем, которые позволят адаптировать учебный процесс к конкретному обучаемому [1].

Итак, первые два этапа в разработке обучающих систем (60-е и, частично, 70-е годы) характеризовались активной работой по созданию специального программного обеспечения для обучающих систем, причем основное внимание уделялось авторским языкам "пакетного" описания обучающих программ. Для следующих этапов характерно возрастание роли инструментария общего назначения для разработки компонентов компьютерных обучающих программ, а также инструментария для формирования базы предметных знаний, реализации моделей обучения и обучаемого. Появляется понимание того, что будущее обучающих систем связано с использованием возможностей вычислительных сетей и средств телекоммуникации.

Повышение эффективности обучения при использовании обучающих систем было подтверждено рядом исследований. Этомуспособствуют такие факторы, как:

1. Индивидуализация обучения. Наиболее эффективно, но и наименее экономно индивидуальное обучение (один преподаватель и один ученик). Самая экономичная, но и наименее эффективная система – массовое обучение. Внедрение обучающих систем позволит совместить достоинства индивидуального обучения (в смысле эффективности) и массового (в смысле экономичности).

2. Интенсификация обучения. Она достигается за счет индивидуальности обучения (толпа всегда идет медленнее одного человека), а также за счет того, что обучаемый не привязан ко времени занятия и к преподавателю, а может заниматься в удобное для себя время.

3. Использование выразительных средств вычислительной техники (ВТ), таких как наглядность, наличие средств моделирования объектов и процессов и т. п.

4. Возможность организации постоянного контроля степени усвоения знаний, способствующего более прочному закреплению материала [5].

Кроме повышения эффективности обучения внедрение обучающих систем имеет и другие положительные эффекты:

• Работа с обучающей системой развивает умение и навыки самостоятельной работы.

• Обучающие системы разгружают преподавателя от ряда трудоемких и часто повторяющихся операций по представлению учебной информации и контролю знаний; способствуют разработке объективных методов контроля знаний; облегчают накопление передового учебно-методического опыта.

• Применение обучающих систем может упростить переход вузов к обучению по более широкому перечню специализаций, благодаря которому каждый студент получает возможность получить подготовку с индивидуальным профессиональным и образовательным уклоном.

• Возможно применение обучающих систем в системе дополнительного профессионального образования, особенно в тех областях деятельности, в которых имеет место низкая эффективность традиционных способов передачи знаний посредством лекционных занятий [5].

Применение обучающих систем позволяет предоставить образовательные услуги более широкому кругу обучаемых, в т. ч. в рамках дистанционного обучения [5].

С точки зрения внешней структуры организации процесса обучения, контроль - это часть процесса обучения. Известно, что любая полноценная деятельность, в том числе и обучение, состоит из трёх частей: ориентировочной, исполнительной и контрольной.

Использование тестовых форм контроля знаний представляет значительный интерес и в несколько другом аспекте: результаты тестирования легко подвергаются обработке методами математической статистики, что важно, с одной стороны, при изучении уровня подготовки студентов по данному предмету в пределах группы, института, района, области, с другой стороны, для весьма эффективной оценки результатов педагогического эксперимента.

Еще одно преимущество тестов - максимальный учет временных параметров обучения. Как правило, важнейшие проверочные работы студентов  должны выполнить в конце семестра. Для того чтобы контроль за уровнем знаний был всесторонний и полный, важно сформировать определенную систему итоговых тестов.

Таким образом, отдельные задачи, из которых складывается проблема автоматизации обучения, уже имеют решение как в методологическом, так и в программном плане. Использование готовых решений не только упростит стоящую перед нами задачу, но и повысит качество ее решения. Современное развитие средств ВТ и программного обеспечения дает основания говорить о принципиальной возможности создания полнофункциональной РАОС.

Распределенность обучающей системы имеет несколько аспектов:

предоставление удаленного доступа к системе предполагает работу в режиме клиент–сервер; система должна обеспечивать поддержку распределенных данных; создание системы подобного уровня сложности в принципе возможно лишь при использовании вычислительных возможностей, предоставляемых сетью. Если говорить о полнофункциональной АОС, то решение задачи автоматизированного обучения в максимальном варианте включает:

предоставление учебных материалов в различных формах (текст, гипертекст, графика, аудио - и видеоматериалы и т. д.); выполнение практических работ (моделирование, проектирование, решение задач и пр.); организация диалога с обучаемым (т. е. ответы на его вопросы); определение уровня знаний обучаемого; адаптация системы к уровню знаний обучаемого в соответствии с целью обучения.

Размещение отдельных модулей, входящих в состав АОС, на разных узлах сети позволит повысить степень параллелизма работы системы с множеством пользователей.

Выделим основные принципы построения РАОС [2]:

распределенность: функционирование на основе компьютерных сетей; полнофункциональность: предоставление возможности использования практически любых известных к настоящему времени технологий и методов компьютерного обучения; универсальность, т. е. пригодность базового программного обеспечения РАОС для создания произвольных курсов и изучения любых дисциплин (естественнонаучных, технических, гуманитарных); открытость, т. е. предоставление возможности использования готового программного и информационного обеспечения; стандартизация: использование стандартных сетевых и программных решений и построение системы на основе универсальной интегрированной базы данных, что позволит легко и практически неограниченно наращивать, переносить и масштабировать ее.

Для программы  RTest были определены следующие требования:

Информационная система должна функционировать практически на любом компьютере и с любой ОС. Информационная система должна иметь простой, понятный и удобный интерфейс. Информационная система должна работать стабильно, гарантировать сохранность результатов тестирования. Информационная система должна быть легко настраиваема, должна иметь установщик системы. Информационная система должна использовать общую базу для хранения всех настроек системы. Информационная система должна обеспечивать возможность масштабирования и инвариантности тестов. В информационной системе должны быть реализованы механизмы визуализации результатов тестирования. Информационная система должна быть защищена от возможности несанкционированного доступа. Информационная система должна содержать простой механизм регистрации новых участников. Информационная система должна иметь возможность демонстрации ошибок для участников тестов. В информационной системе должна быть возможность размещения дополнительных учебных материалов. В информационной системе должен быть электронный журнал с регистрацией имени, дня и времени посещения. Также в журнале должно быть записано время прохождения теста

Для работы разработанной программе RTest необходим следующий набор входных данных. В самом начале работы программе требуется информация о местонахождении базы данных вопросов тестирования и название таблицы теста, эта информация предназначена для формирования, шифрования и последующей отправке клиентской программе RTest. При определении базы данных вопросов для тестирования автоматически, без ведома пользователя в программу поступают данные о количестве вопросов которые содержатся в базе данных.

Механизмы составления  уникальных сообщений будут подробно описаны ниже. Также параллельно с  получением информации о размещении базы данных вопросов, программа получает информацию о размещении базы данных отчетов о проведенном тестировании, данная информация используется непосредственно самим сервером. После получения данных о размещении баз данных, в программу необходимо ввести информацию о количестве вопросов в тесте и времени тестирования, в программе предусмотрено три вида тестов на 25, 36 и 120 вопросов, данная информация подлежит кодированию с последующей отправкой клиентской части программы т. е. программе RTest.

После получения выше перечисленных данных программа полностью готова к работе и ожидает подключения учащихся для проведения тестирования, т. е. ожидает информации от тестируемых, информация представляет собой регистрационные данные тестируемых. При поступлении таких данных информация отображается в специальном поле Memo в программе RTest, при отправке теста данная информация подлежит уничтожению.

Заключительной входной информацией в программе RTest является информация полученная от программы RTest информация передается в зашифрованном виде и понятна только программе RTest. Данная информация содержит полный отчет о проведенном тестировании студентом, информация подлежит расшифровке после чего она записывается в выбранную базу данных отчетов.

Рисунок 1 - Схем взаимодействия входных и выходных данных

К выходным данным программы RTest относится информация содержащая всю входную информацию поступившую в программу, выходная информация передается в виде шифрованного сообщения. Шифрованное сообщение является уникальным и понятно только клиентской части т. е. программе. Так же к выходной информации можно отнести данные записываемые в базу данных отчетов, содержащие информацию о результатах тестирования.

Для организации работы программе RTest необходимы входные данные такие как количество вопросов в таблице данных, количество вопросов в тесте, время тестирования, полный путь к удаленной базе данных содержащей таблицу тестов, предназначенную для тестирования, а также данные регистрации тестируемого. Данные для регистрации тестируемого вносятся непосредственно в саму программу. Остальные данные программа получает при расшифровке оригинального сообщения полученного от сервера. После расшифровки сообщения программа устанавливает соединение с удаленной базой данных и продолжает дальнейшую работу самостоятельно. С помощью SQL запроса на выборку, программа обращается к нужной таблице базы данных вопросов и получает нужный вопрос, данная операция продолжается во время проведения всего тестирования, после окончания которого соединение с базой данных  разрушается.

Выходные данные программы RTest  представляют собой информацию о регистрации предаваемые серверу, данная информация информирует сервер о готовности к получению оригинального сообщения т. е. к началу теста. Так же к выходным данным относится посылаемое, уникальное, шифрованное сообщение которое несет в себе информацию о результатах пройденного тестирования определенным тестируемым, по определенному предмету тестирования.

Программа RTest содержит в себе два абсолютно независимых модуля, Модуль RTest-редактор тестов и Модуль RTest-редактор отчетов. Рассмотрим подробнее организацию входных и выходных данных в этих  модулях.

К входным данным модуля относится информация о размещении базы данных вопросов тестирования и название существующих таблиц в базе.

К выходным данным относится информация поступающая в базу данных например  новые вопросы тестов, а также SQL запрос позволяющий создать в базе данных вопросов, новую таблицу. Схема организации входных и выходных данных представлена на рисунке 2.

Рисунок 2 -  Модуль редактора тестов

Организация входных и выходных данных модуля Модуль RTest-редактор отчетов, имеет довольно интересную схему, схема изображена на рис. В этом модуле происходит передача данных из модуля в текстовый процессор MS Word, причем данные формируются автоматически в виде таблицы. К входным данным относится информация о размещении базы данных отчетов и наименование таблиц содержащихся в  данной базе. Выходная информация представляется в виде запросов на выборку и как уже было сказано в виде передачи данных в MS Word.

Рисунок 3 - Модуль редактора отчетов

Комплекс программ RTest  предназначен для проведения тестирования учащихся школ по математике. Программа является универсальной, универсальность программы заключается в том, что программный комплекс не требует установки специфического программного обеспечения. Для правильной работы программному комплексу необходимо две вещи это установленная локальная сеть в кабинете в котором будет проходить тестирование учащихся и установленный пакет Microsoft Office.  Программа является полностью интегрированной с  MS Office. Результаты отчетов о тестировании с помощью комплекса программ тестирования переносятся в текстовый процессор  MS Word.

Трудность тестового задания определяется совокупностью наличия факторов, на нее влияющих. С этой точки зрения трудность конкретного тестового задания будет тем выше, чем выше будет степень значимости фактора, который ему присущ. Таким образом, максимальная оценка трудности тестового задания будет равна единице (что соответствует гипотезе, что на это задание не ответит никто, или 0% от общего числа тестируемых), и минимальная оценка трудности тестового задания равна нулю (что соответствует гипотезе, что на это задание ответят все, или 100% от общего числа тестируемых).

Пусть Х={х1,..хn} -  система факторов, влияющих на труд­ность тестового  задания, разработанная экспертами;

Т(хl) -  установленный экспериментально весовой коэффициент фактора xj;

Xi -  система факторов, влияющих на труд­ность тестового задания, которым удов­летворяет тестовое задание i,.

Определим функцию:

                          (1)

Тогда математическая модель для оценки трудности тестово­го задания будет представлена соотношением:

                          (2)

где, Ta -  априорная трудность тестового задания i;

Xi - система факторов, влияющих на трудность тестового задания, которым  удовлетворяет тестовое задание i,

X={x1,..xn} - система требований к тестовым заданиям, разработанная экспертами;

- функция, определяемая соотношением (1);

T(xj) - установленный экспериментально весовой коэффициент фактора xj.

Комплекс программ для проведения комплексного тестирования  RTest. Программа RTest - является сервером,  который управляет работой клиентской частью программы т. е. программой RTest, а именно программа  RTest формирует путь к  базе данных вопросов, после чего рассылает его подключенным клиентам. Так же программа RTest обрабатывает отчеты от клиентов о проведенном тестировании сохраняет их в определенной базе данных. Программы  RTest не имеет ограничений к  подключению и одновременной работе клиентских программ RTest. Так же программа  RTest предоставляет возможность  составления новых и дополнения существующих тестовых заданий.

Программа RTest является клиентской частью комплекса программ для проведения тестирования и предназначена для проведения непосредственно самого теста. После получения уникального сообщения от сервера программа подключается к удаленной базе данных вопросов теста, дальнейшая работа производится без вмешательств серверной части программы. После завершения тестируемым заданий, программа отправляет уникальное сообщение содержащее полный отчет о проведенном тестировании.

Рассмотрим  виды уникальных, шифрованных сообщений  с помощью которых клиентская и серверная части программы общаются на протяжении всего тестирования. Все сообщения, с помощь которых обеспечивается совместная работа комплекса программ, условно можно разделить на два вида: управляющие и информационные.

Информационные сообщения предназначены для информирован как клиента, так и сервера о состоянии друг друга. Допустим клиент может находится в трех состояниях нерабочем, когда на сервере нет ни каких сообщений, в ожидающем, когда на сервере отображаются регистрационные данные и в закончившем тестирование тогда на сервер поступает информация о том что компьютер тестируемого покинул, закрыл программу.

Литература

, , Система управления сложным техническом объектом на основе распределенной операционной системы реального времени // Датчики и системы, 2001, №2 , Сетевые технологии как эффективное средство поддержки дистанционном обучения // Материалы конференции "Информационные технологии в образовании", 2001. , . Экспертная система оценки знаний методом тестирования Омск 2001. Применение компьютеров для целей непрерывного образования // Перспективы, 1991, № 2. – с. 72-89. Шампанер Г., бучающие компьютерные системы // Высшее образование в России, 1998, № 3. – с. 97-99. Distance Learning Studio. Система создания мультимедийных дистанционных курсов: Документация // Составители: , – С.-Петербург, 2000. – 272 с. Haan B, Kahn Р. IRIS Hypermedia Services // Communications of ACM, 1992, v.35, № 1. – p. 36-51.