Особенности контроля знаний в дистанционном обучении

ОСОБЕННОСТИ КОНТРОЛЯ ЗНАНИЙ

В ДИСТАНЦИОННОМ ОБУЧЕНИИ

,

Контроль знаний является одним из самых важных компонентов процесса образования, приобретающим особый смысл в дистанционной форме обучения, когда отсутствует непосредственный контакт преподавателя и обучающегося. Именно отсутствие такого контакта на стадии контроля знаний и является основным аргументом противников дистанционной формы обучения. В связи с этим создание надежной и релевантной системы контроля, объективно отражающей содержание полученных обучающимся знаний, представляется весьма актуальным.

Наиболее распространенными видами бесконтактного контроля знаний являются проекты, индивидуальные контрольные задания, а также тестирование. Последний вид в современных условиях является предпочтительным в силу организационной и технической простоты реализации с использованием компьютерных технологий, позволяющих автоматизировать как процесс тестирования и передачи ответов на тестовые вопросы, так и процесс проверки и оценивания результатов тестирования.

Компьютерная система контроля профессиональных знаний может решать комплекс задач:

входной тематический контроль знаний обучающегося для выявления исходного уровня знаний и определения наиболее необходимой тематики, включаемой в процесс обучения для получения требуемых профессиональных знаний;

периодический экспресс-контроль знаний для плановых промежуточных аттестаций в течение срока обучения (по конкретной теме или комплексу тем);

самоподготовка и самоконтроль обучающихся при подготовке к итоговому контролю;

итоговый контроль по различным областям профессиональных знаний для интегрального определения соответствия уровня полученных знаний квалификационным требованиям.

Анализ существующих систем тестирования

Среди методических типов тестов по способу формирования испытуемым ответа различают тесты первого, второго и третьего уровней (рис.1).

В тестах первого уровня испытуемый выбирает из предложенных ему альтернативных (обычно не менее трех) вариантов ответа один, который представляется ему правильным. Приведем пример из дисциплины «Культурология»:

Рис.1. Сравнительный анализ существующих систем тестирования

 

Назовите автора "Сикстинской мадонны". Выбор предлагается из четырех альтернативных вариантов, а именно:

1) Рафаэль

2) Тициан

3) Микеланджело

4) Леонардо да Винчи

Студент, выбрав вариант, который представляется ему правильным, должен в отведенном поле экрана монитора компьютера ввести с клавиатуры соответствующий порядковый номер выбранного варианта (1, 2, 3 или 4).

По способу оценивания ответа студента различают жесткий и мягкий рейтинг. При жестком рейтинге только один из предложенных вариантов ответа признается правильным и заслуживает высшей оценки в принятой системе оценок (1, 5 или 10 и т. д.). В приведенном примере таким, естественно, единственно правильным ответом является вариант 1). При мягком рейтинге различные ответы признаются правильными в той или иной степени и, соответственно этой степени "правильности" (или полноты), оцениваются различными оценками: наиболее полный (или точный) -– 5, менее точный (или менее полный) – 4 и т. д.

Приведем пример мягкого рейтинга в тестах первого уровня, заимствованный из системы тестирования GOSTEST Государственной академии управления (г. Москва).

Вопрос: Какая формула характеризует методологическое содержание процесса управления?

Альтернативные варианты ответов:

1. Последовательность этапов получения информации, ее обработки и передачи

2. Этапы планирования, организации, контроля и координации работы

3. Последовательность этапов целеполагания, оценки ситуации, определения проблемы, управленческого решения

4. Последовательность этапов интеллектуальной работы, организационной деятельности, контроля исполнения, оценки работы

5. Последовательность этапов разработки мероприятий, составления приказа или распоряжения, доведения его до исполнителя, проверки хода исполнения

6. Последовательность этапов разработки решения, определения целей его реализации, установление условий его реализации, оценка выполнения решения.

Разработчик теста оценивает каждый из вариантов ответа соответствующей оценкой, которую и получает испытуемый, выбравший один из шести предложенных вариантов ответа.

Достоинством тестов первого уровня является предельная простота программной реализации – существует множество различных программных оболочек для систем тестов

Вместе с тем, тесты первого уровня обладают целым рядом принципиально непреодолимых недостатков. Основной недостаток, который может быть признан методическим пороком тестов первого уровня, – это высокая вероятность запоминания испытуемым неправильного ответа, органически входящего в число альтернативных вариантов тестов первого уровня. Это запоминание зачастую происходит на уровне работы подсознания при острой адреналиновой реакции испытуемого в условиях естественного стресса в процессе тестирования.

Кроме того, при использовании жесткого рейтинга возникают методические сложности составления альтернативных вариантов ответов, так как неверные варианты не должны быть «очевидно неверными» (пропадает сам смысл тестирования) и в то же время не должны быть «опасно близкими» к верному ответу (именно здесь и возникает опасность запоминания неверного ответа).

При использовании же мягкого рейтинга высока вероятность получения положительной оценки при произвольном (случайном) выборе испытуемым какого-либо варианта. Понизить эту вероятность можно увеличением числа альтернативных вариантов (включая и совершенно неправильные), но это не только увеличивает объем работ при изготовлении тестов, но и повышает уровень недостатков, которые упоминались выше.

Сущность тестов второго уровня состоит в синтезе испытуемым решения на основе предлагаемых образцов. Это может быть, например, образец какого-либо документа, на основе которого испытуемый составляет свой документ в соответствии с заданием теста. Это может быть и образец решения какой-либо конкретной ситуационной задачи – на базе этого образца испытуемый решает предложенную ему в тесте ситуационную задачу. В рамках понятийного аппарата (например, глоссария) в тесте второго уровня испытуемым может осуществляться синтез термина по приведенному в задании его определению (образцу).

Сама сущность тестов второго уровня лишает их главного методического порока, присущего тестам первого уровня. Достоинством тестов второго уровня является возможность обеспечить такой контроль знаний испытуемого, который оптимально сочетает проверку репродуктивных и креативных способностей сотрудника, подвергаемого тестированию.

К недостатку тестов второго уровня можно, в определенной степени, отнести громоздкость формализации и программной реализации при многозначности верных ответов.

Предлагаемые методические компоненты тестов второго уровня с соответствующими примерами описаны ниже.

В тестах третьего уровня испытуемый должен произвести синтез верного решения только на основе имеющихся у него знаний. Это наиболее высокий ранг тестирования, выявляющий способности испытуемого к творческому использованию полученных знаний.

Недостатком тестов третьего уровня является объективная трудность формализации оценивания для возможности компьютерной реализации, что особенно сложно в слабо формализуемых задачах.

Примером теста третьего уровня может быть такая задача.

Фирма производит растворитель особого состава в двух вариантах, отличающихся по чистоте. Растворитель в обоих вариантах продается в упаковке вместимостью 1 литр. Чистота растворителя А выше, чем В, прибыль по А составляет 40 цент./литр, по менее чистому продукту В - 30 цент./литр.

Время производства продукта А в два раза превышает время производства продукта В. При условии выпуска одного продукта В фирма может производить его в количестве 1000 литров в день. По техническим условиям при выпуске обоих продуктов общее производство не превышает 800 литров в день. Контракт предусматривает, что каждый день должно производиться не менее 200 литров продукта В.

Найти оптимальные объемы выпуска продуктов А и В при условии, что всю производимую продукцию можно реализовать.

Здесь испытуемый должен уметь составить операционную математическую модель описанного бизнес-проекта, грамотно формализовать задачу для решения ее на компьютере, выбрать соответствующее программное средство и, наконец, получить на компьютере оптимальное решение.

Описанные методические типы тестов, их сущность, достоинства и недостатки сведены в таблицу, представленную на рис.1.

Методические компоненты тестов второго уровня

В соответствии с описанными особенностями тестов второго уровня можно предложить для программной реализации следующие методические компоненты (рис.2).

Синтез термина по его определению

Здесь в качестве "образца" выступает определение какого-либо понятия. По приведенному в тесте определению испытуемый должен верно синтезировать термин, который соответствует этому определению. При этом для испытуемого не приводится никаких альтернативных вариантов для выбора (как в тестах первого уровня) – он должен самостоятельно набрать на клавиатуре компьютера правильный ответ в специально отведенном диалоговом окне системы тестирования. Поскольку методической и программной основой тестов второго уровня является установление полного семантического соответствия правильного ответа и ответа, предложенного испытуемым, студент должен привести ответ, не только верный по существу, но и грамотный с точки зрения русского языка.

При формулировке вопроса разработчик теста, если считает нужным, может сопроводить собственно определение вспомогательными словами типа «назовите», «как называется», «приведите название» и т. п.

В ситуациях, когда возникает неоднозначность ответа, и различные варианты ответа могут быть признаны одинаково правильными, разработчик теста, должен привести все варианты правильного ответа, включая и возможные различные (но только правильные!) варианты написания термина. Это обстоятельство связано с отмеченным ранее принципом установления полного семантического соответствия правильного ответа (ответов) и ответа, предложенного испытуемым.

Синтез ключевых слов термина

Этот методический компонент тестов второго уровня предусматривает контроль знания испытуемым определения какого-либо термина по приведенным (синтезированным) им ключевым словам.

Например, понятие «База данных», определяемое как «систематизированное хранилище информации», может быть описано тремя ключевыми словами: «систематизация», «хранение», «информация». Здесь есть определенные трудности, так как даже в простых случаях возникает существенная многозначность правильных ответов.

Синтез структурной схемы

Эти тесты могут быть с успехом использованы в таких дисциплинах как «Менеджмент», «Управление персоналом» и других, где требуется проверить умение испытуемого составлять различные структурные схемы. Сформированный в компьютере тест в таком случае должен обладать средствами представления структурных схем и их идентификации.

Выполнение расчета

Это один самых простых методических компонентов тестирования и может быть использован во всех областях знаний, где применяются всевозможные расчеты: «математика», «математика в экономике», «информатика» «экономика», «финансы», «бухучет» и т. д.

Здесь тестируемый по каким-то заданным исходным данным (могут быть заданы в избытке, если преподаватель считает это целесообразным) должен выполнить расчет (на компьютере, используя калькулятор или вручную) и записать числовой результат, сопоставляемый с правильным.

Структура системы тестирования должна предусматривать различные структурные уровни тестов (часть дисциплины, все разделы дисциплины, междисциплинарный тест в конкретном блоке дисциплин и междисциплинарный тест по всем блокам дисциплин), а также различные уровни тестов по сложности.

Минимальным структурным уровнем системы тестов целесообразно считать определенную тему конкретной дисциплины. Такой подход обеспечивает выполнение всего комплекса целевых задач тестирования, перечисленных выше.

Что касается уровня сложности, то на первом этапе представляется целесообразным обеспечить нужный уровень сложности варьированием двух параметров: количество вопросов в тесте и общее время, отведенное испытуемому для ответов. При этом должно быть обеспечено случайное генерирование выборки вопросов для тестов.