Разработка средств дистанционного тестирования

,

РАЗРАБОТКА СРЕДСТВ ДИСТАНЦИОННОГО ТЕСТИРОВАНИЯ

*****@***net

Киевский национальный университет имени Тараса Шевченко

Факультет кибернетики

Киев

1  Введение

В наше время в отрасли образования происходят значительные изменения – это связано, прежде всего, с переходом общества от индустриального к информационному. Информационное общество характеризуется огромным количеством и интенсивностью обмена информацией, глобализацией доступа к данным и значительной части общества занятого в переработке информации. Поэтому возникает потребность пересмотра старых взглядов на образовательный процесс и внедрение современных компьютерных технологий, которые могут принципиально изменить учебный процесс в целом.[1,3]

“Дистанционное обучение” использует средства телекоммуникации для обмена знаниями и базируется на глубокой самостоятельной подготовке студента. Преимуществами дистанционного обучения является, безусловно, удобство во времени, открытость процесса обучения. Из недостатков необходимо отметить высокие требования по самоорганизации для студента [2].Технологии, используемые сегодня для дистанционного обучения можно разделить на такие категории: не интерактивные; средства компьютерного обучения – электронные учебники, базы данных, библиотеки, электронные журналы и высоко интерактивные – видеоконференции, white-boards, chat[1,5]. С помощью этих технологий реализуются основные типы дистанционного обучения. На данном этапе уже четко определены те цели и задачи, которые должно решать дистанционное образование, и некоторые из них уже успешно решаются, но к интегрированной системе еще далеко. Еще одна проблема, не связанна непосредственно с созданием системы дистанционного обучения, – это проблема создания материалов для наполнения такой системы. [6].

Дистанционное обучение достаточно сложный процесс, который требует решения многих иногда принципиально разных задач. Любое обучение, в том числе и дистанционное, ставит своей целью гарантировано передать студенту объем знаний, достаточный для того, чтобы выпускник был специалистом в выбранной области. На более высоком уровне требуется, чтобы после завершении обучения студент был эрудированным, мог самостоятельно анализировать ситуацию, ставить и решать задачи, умел выражать свои мысли. Методы достижения отмеченных целей остаются такими же как и в классической теории – информационно-рецептивный, репродуктивный, проблемное изложение, эвристический и исследовательский методы[4]. Во всех этих методах обязательно присутствует элемент контроля знаний студента преподавателем. В зависимости от характера контроля, технических средств, которые используются, а также этапа обучения, существует много типов такой проверки. Из всех типов тестирования, если брать классификацию по техническим средствам, непонятно лишь, как проводить оценивание знаний через электронную систему тестирования (методику проведения всех других проверок можно заимствовать из классического образования). Именно из-за того, что эта тема открыта для исследования и еще достаточно не сформированная теоретическая и практическая база для проведения электронного тестирования вдохновило нас на разработку системы дистанционного тестирования на примере нормативного курса «Вычислительная геометрия и компьютерная графика» для студентов факультета кибернетики Киевского университета имени Тараса Шевченко.

Чтобы выделить и описать элементы системы обучения, необходимо исследовать процессы, происходящие при проведении оценки знаний:

·  процесс создания заданий – выполняется человеком, который составляет тесты, а результатом процесса являются, задания, которые должны сохраняться в безопасном месте;

·  процесс инициации тестирования – проводится человеком, который проводит тестирование, в процессе принимают участие студенты (здесь и дальше роли в процессах те же самые); процесс заключается в оповещении студентов о дате тестирования и его характере;

·  процесс выдачи заданий – заключается в выдаче заданий студентам из безопасного хранилища, исходя из их предыдущих ответов; необходим алгоритм выбора задания;

·  процесс обдумывания задания;

·  процесс выдачи ответа – результатом является ответ; для процесса необходимый документ, в котором фиксируется ответ;

·  процесс оценки ответа – результатом является промежуточная оценка; для процесса необходимый открытый, понятный, справедливый алгоритм оценки ответа;

·  процесс оценки знаний студента исходя из всех его ответов – результатом является запись в соответствующем документе о результате тестирования; для процесса необходим алгоритм выведения конечной оценки, исходя из промежуточных.

Основные группы элементов системы тестирования

Рассмотрев процессы, которые происходят при оценивании знаний, мы можем сделать последний шаг декомпозиции проблемы и выделить элементы системы тестирования. Их сразу можно разделить на три группы:

·  Интерфейсы, которые обеспечивают возможность осуществления актерами перечисленных процессов.

·  Документы, в которых сохраняются задания, ответы и результаты тестирования.

·  Тестирующий, который выполняет алгоритмы выбора заданий, оценивания промежуточных ответов и конечного выставления оценки.

Целью нашей работы была разработка и внедрение дистанционной системы обучения на факультете кибернетики Киевского национального университета имени Тараса Шевченко.

Основне требования

После анализа основных свойств системы дистанционного обучения, было определенно для нее основные требования:

- выполнение дистанционных функций, независимо от времени и расстояния тестирования;

- универсальность – применение для разных учебных дисциплин;

- платформно-независима;

- защищенность от несанкционированного доступа;

- простота и удобство использования;

- гибкость к масштабированию;

- разносторонность тестирования;

- контроль и статистика тестирования;

- использования стандартных интерфейсов обмена и открытые типы данных.

В идеале такая система полностью должна автоматизировать процесс тестирования в тех случаях, когда оценивание знаний поддается формализации. В таком случае процесс выставления оценок проходил бы таким образом: преподаватель (посредством системы) описывает алгоритм выставления оценки за каждый тип вопроса (этот шаг нужно сделать только одноразово, например, когда создан алгоритм оценки решения одного типа задания из алгебры, все другие преподаватели могут использовать его для создания своих тестов); преподаватель создает нужное количество вариантов заданий (это не требует больших усилий, ведь нужно ввести только условия задач); проводится тестирование; преподаватель делает свои выводы, выходя из статистики результатов. Следовательно, подводя итог, цель работы – создание программных средств, которые бы реализовывали на практике концепции дистанционного обучения, автоматизировали бы процесс обучения в целом и удовлетворяли перечисленным выше условиям.

2 Модель оценивания

В предыдущем разделе мы познакомились с общими принципами работы системы дистанционного обучения. В этой части описывается модель работы предложенной системы. Безусловно, главным элементом системы обучения, есть задание и алгоритм его оценки. Формализируем основные элементы модели.

Задание (тест) – это математический объект, который можно представить таким образом:

, ,

Где: - все возможные вопросы, Q – множество вопросов задания, Qi – класс вопросов одного типа, Wі – внешние параметры вопроса (текст, рисунки, правильный ответ);gi – функция оценки правильности ответа, C – множество критериев оценивания, v – функция привязки вопроса к критериям, z – функция конечного оценивания, f – функция выбора вопроса.

Таким образом, тест - это множество вопросов, каждый из которых отвечает определенному типу и оценивает соответствие знаний студента определенному критерию, а также алгоритм, согласно которого выбираются вопрос и процедура определения общей оценки студента за весь тест. Каждый тип вопросов инкапсулирует в себе алгоритм оценки ответа на него. Входными данными для алгоритма является ответ студента - тот “правильный ответ", который задается на этапе создания задания. Следовательно, “основная работа” по оцениванию возлагается на алгоритмы, заложенные в разные типы вопросов. Важно отметить, что алгоритм оценивания жестко связан с каждым типом вопроса, что налагает ограничение на использование вопросов. Проведя анализ вопросов, которые возникают при проведении разных тестирований, можно разбить их на классы: понятийные, обобщающие, исследовательские и творческие.

Понятийные вопросы – это самые легкие вопросы. Ответ на них не нуждается в серьезном анализе, его нужно просто знать. Эти вопросы используются в начале тестирования для определения основных понятий и определений дисциплины.

Обобщающие вопросы – этот вопросы, ответ на которые нуждается в незначительном анализе и обобщении знаний предмета.

Исследовательские вопросы – вопросы, ответ на которые требует от студента свободного владения предметом, и умение мыслить для того, чтобы анализировать знание.

Творческие вопросы – это вопросы, которые требуют от студента наличия творческого мышления, умение ставить и решать задачи, последовательно излагать мысли, и вообще, умение творчески подходить к предмету. Такие вопросы не рассматриваются в рассматриваемой системе электронного тестирования, их обработка возлагается на другие средства дистанционного оценивания знаний, уже с использованием человека.

При формализации этих типов вопросов существуют ограничения, которые налагаются возможностями пользователя с общением с машиной. Исходя из приведенной классификации и возможностей системы, создано иерархическую систему вопросов.

Следовательно, мы видим, что представляет собой множество Q – вопросов теста. Функция оценивания g и множество входных параметров вопроса W жестко привязана к типу вопроса. Нам остается рассмотреть еще множество критериев С, функции общей оценки теста z, функции выбора вопроса f, и функций привязки вопроса к критериям v.

Множество критериев с точки зрения системы – это просто совокупность текстовых строк. Для тестирующего, каждый критерий отвечает определенной стороне знаний, которыми должен владеть студент. Этими сторонами знаний могут быть как темы предмета, так и степени знаний (например, степень ориентации в предмете, практические навыки, дополнительные знания, умение мыслить.). Каждый вопрос связан с несколькими критериями (вопрос может проверять как знание так и умения мыслить), эта связь задается функцией v, которая задается створювачем тесту и представляется, обычно, в матричной форме.

Функции z и f используют как параметр оценки по каждому критерию за предыдущие вопросы. На основе оценок, функция выбора следующего вопроса f принимает решение, какой из вопросов еще нужно задать, чтобы уточнить оценку, или сигнализирует об окончании теста. Функция z на основе набранных баллов из каждого критерия выставляет финальную оценку. В нашей модели – это просто взвешенная сумма оценок из каждого критерия, умноженная на норму.

3 Архитектура системы “Ревизор” и ее принципы работы

Пакет разработанных программ можно разделить на три логические части:

·  Серверная часть – комплекс средств, с помощью которых проводится тестирование, а также происходит редактирование списков студентов, списков тестов и пересмотр статистических данных о результатах тестирования.

·  Редактор тестов.

·  Модули генерации тестов.

Рассмотрим, как именно, эти части взаимодействуют между собой и какой информацией происходит обмен между ними на структурной схеме.

3.1 Структурная схема системы “Ревизор”

Ключевая роль в функционировании системы предоставляется администратору системы. Следует заметить, что администраторов системы может быть несколько и ограничений на их общее количество нет так же, как и на количество пользователей системы и количество тестов. В первую очередь, администратором системы создается база данных пользователей, которые будут проходить тестирование. Пользователи системы могут быть объединены в группы за определенными признаками, например, академические группы студентов учебных заведений. Редактирование этой базы данных происходит с помощью инструментария серверной части системы. Пользователи, внесенные базу данных системы, проходят тестирование, а результаты тестирования записываются в эту базу. Заметим, что по каждой теме может быть несколько вариантов тестов и пользователь получает вариант произвольным образом. Каждый пользователь имеет возможность пересматривать свои результаты тестирования, а администраторы системы могут пересматривать результаты по всем пользователям, при этом существует возможность отбирать результаты за определенным признаком, например, результаты прохождения тестирования определенной группой пользователей. С помощью редактора тестов администратор создает новые тесты, при этом он может использовать модули, подключенные к редактору. Модули содержат алгоритмы генерации вопросов по отдельной теме в зависимости от входных данных и значительно упрощают процесс создания тестов, особенно в тех случаях, когда по определенной теме необходимо создать несколько вариантов. Созданные в редакторе тесты сохраняются в файле, потом записываются на сервер. Администратор системы редактирует список тестов, добавляя к созданным раньше новые и (или) изымая старые.

3 .2 Редактор тестов системы “Ревизор”

Редактор тестов для системы “Ревизор” создан для автоматизации процесса создания заданий. Результатом ее работы является файл, в котором сохраняется задание. Редактор создан на основе, выше упомянутой, модели оценивания знаний. Согласно этой модели, составляющими теста было множество вопросов Q (каждый вопрос принадлежит одному из нескольких типов Qi и содержит входные данные W и алгоритм оценки g). В задании должно быть задано множество критериев теста C, соответствие вопросов критериям v, алгоритм выбора порядка задавания вопросов f и алгоритм выставления конечной оценки z на основе оценок по каждому из критериев. Редактирование всех параметров теста является необходимым функциональным минимумом системы создания тестов. Для большего удобства, к этому минимуму добавляются еще специальные возможности, которые облегчают некоторые этапы создания тестовых заданий.

Перечислим функциональные возможности, которые на сегодняшний день обеспечивает программа редактирования тестов: добавление вопроса одного из типов, добавления альтернатив ответов, добавления элементов ввода, редактирования элементов теста, изменение свойств теста, удаление элементов теста, подключение рисунков к тесту, экспорт задания в формате XML, подключение модулей автоматизации, выдача вспомогательной информации.

3.3 Характеристики

Среди всех качеств представленной системы хотелось бы выделить ее простоту. Редактор тестов – небольшой по объему и легко инсталлируется на компьютер, интерфейс выполнен в лучших традициях программ под ОС Windows. Для пользователя система не нуждается в установлении никаких дополнительных компонент. Более того, система не требует много усилий для ее освоения, поскольку интерфейс пользователя разработан посредством инструментария, что используется в Internet, с которым знакомый каждый пользователь.

Система в целом не имеет ограничений на направления предметов, за которыми можно проводить тестирование и имеет защиту от неавторизованного доступа. По сравнению с другими, похожими по замыслу, программными средствами система поддерживает большее количество типов вопросов и для каждого типа вопроса существует отдельный алгоритм обработки ответа и проверки ее на правильность. Кроме этого, система позволяет использовать в вопросе рисунки.

Характерной чертой системы является то, что тестирование происходит, непосредственно используя XML-файл теста с вопросами, который может быть создан и без редактора тестов. Но такой процесс создания тестов есть очень трудоемким и не гарантирует корректности файла, поэтому и был создан редактор тестов.

Другой характерной чертой системы является решение проблемы создания похожих тестов по одной теме (вариантов). В что же заключается эта проблема? Известно, что, даже, за помощью редактору тестов создания по существу одинаковых вопросов является трудоемкой задачей и может привести к “механическим ошибкам”. С этой целью были разработаны модули создания тестов. Эти модули могут быть разработаны посторонними производителями и использоваться вместе с разработанными на данный момент. Заметим, что многовариантность заданий уменьшает вероятность их повторения.

Система бального оценивания дает возможность анализа и выбора оптимальных характеристик тестов, то есть определение часовых ограничений на вопросы и весы каждого вопроса. При установленных оптимальных ограничениях по времени исключается возможность использования пользователями системы вспомогательных материалов.

4 Выводы

Результатом работы являются созданные программные средства, что на практике реализуют концепции дистанционного обучения и помогают автоматизировать учебный процесс в целом. Разработанная система отвечает следующим требованиям:

·  система является полностью дистанционной, то есть она выполняет все свои функции независимо от времени и расстояния тестирования

·  система является универсальной – то есть позволяет создавать тесты для разных дисциплин

·  система есть платформно-независима, это позволяет использовать систему широкому кругу пользователей

·  система является защищенной от несанкционированного доступа

·  система простая и понятна для пользователей

·  система легкая для расширения и масштабирования

·  тестирование через систему является разноплановым – тесты содержат вопрос разных типов

·  система максимально облегчает создание тестов и проведения тестирования

·  система ведет статистику о результатах тестирования

·  система использует стандартные интерфейсы обмена и открытые типы данных

Очень важным есть то, что разработанная система, на данный момент уже используется и имеет позитивные отзывы.

Литература

1.  Гейтс Бы. “Бизнес со скоростью мысли Изд”. 2-е,– М.:Изд-во Эксмо-Пресс, 2001 – 480 с.: ил.

2.  “Принципы дистанционного творческого обучения” // EIDOS-LIST 1998. Вып. 2. – http://www. eidos. *****/list/serv. htm

3.  “Проблемы образования в канун ХХІ века” // EIDOS-LIST. – 1998. – Вып. 4. – http://www. eidos. *****/list/serv. htm

4.  “Дидактическая система дистанционного обучения http”://www. iet. *****/dis/13o. htm

5.  “Концепция индивидуального обучения в телекоммуникационной компьютерной образовательной среде” http://www. ospu. /univer/dist/html/articles/dl-bulach. htm

6.  Kevin McMahan “Distance Educators’ Desk Guide” (online version http://www. /learning/de_deskguide. html)