Министерство образования и науки Российской Федерации
Федеральное агентство по образованию
Нижнетагильская государственная социально-педагогическая академия
Ушакова М. А.
ПОДГОТОВКА ЗАДАНИЙ
ДЛЯ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ
МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ
Нижний Тагил
2008
Содержание
1. Общие вопросы
1.1. Основные понятия и дефиниции
1.2. Виды компьютерного тестирования, применяемые в НТГСПА
2. Разработка контрольных заданий для компьютерного тестирования
2.1. Принципы разработки тестовых материалов
2.2. Требования, предъявляемые к контролирующим заданиям
2.3. Формы представления тестовых заданий
2.4. Требования к содержательной части ТЗ
2.5. Рекомендации по назначению нормы трудности
3. Оформление заданий для системы компьютерного тестирования
3.1. Документальное сопровождение тестовых заданий
3.2. Требования к документальному сопровождению тестовых материалов
4. Рекомендуемая литература
Приложение. Образец оформления материалов
1. Общие вопросы
Данные методические рекомендации разработаны в целях осуществления единого подхода к конструированию контролирующих заданий и формированию фонда контрольных заданий для проведения контроля и получения объективных оценок уровня знаний и умений (учебных достижений) студентов.
Выработка единых требований способствует унификации компьютерных дидактических материалов.
В основу предлагаемых требований для создания контролирующих материалов для компьютерного контроля положены работы многих исследователей и авторских групп, в том числе:
– центра тестирования профессионального образования при Московском государственном университете печати (директор центра доктор технических наук В. И. Васильев);
– управления информатизации Уральского государственного педагогического университета (Б. Е. Стариченко);
– управления современных информационных технологий ОГУ (научный руководитель управления В. А. Красильникова).
Использованы выработанные на практике принципы и требования к постановке контролирующих заданий, полученные при разработке и внедрении в учебный процесс контролирующих и обучающих программ.
Проведение компьютерного контроля знаний студентов является основой получения объективной независимой оценки уровня учебных достижений (знаний, интеллектуальных умений и практических умений) студентов, а также предоставления органам управления академии достоверных и своевременных результатов оценки уровня подготовленности студентов по образовательным программам, составленным в соответствии с Государственным образовательным стандартом (ГОС). Анализ результатов компьютерного контроля знаний и умений студентов позволяет выработать рекомендации прогностического характера по совершенствованию преподавания проверяемых учебных дисциплин.
1.1. Основные понятия и дефиниции
Тестирование – аттестационная процедура, позволяющая максимально объективно оценивать соответствие личностной модели знаний студента экспертной модели знаний. Главная цель тестирования – обнаружение несоответствия этих моделей, оценка уровня их несоответствия в количественной форме. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий, в равных для всех испытуемых условиях.
Тест – это инструмент, состоящий из статистически выверенной системы заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенных для измерения качеств и свойств личности, изменение которых возможно в результате систематического обучения.
Тестовое задание (ТЗ) – это четкое и ясное задание по предметной области, представленное по определенным правилам и требующее однозначного ответа или выполнения определенного алгоритма действий.
Компьютерное тестирование – разновидность компьютерного контроля. Методом компьютерного тестирования можно получить объективную, оперативную, достоверную информацию о знаниях и умениях, полученных в процессе обучения и о готовности обучаемых к восприятию нового материала.
1.2. Виды компьютерного тестирования, применяемые в НТГСПА
1. Федеральный Интернет-экзамен, проводимый по материалам Национального аккредитационного агентства в сфере образования (проводится два раза в год).
2. Внутривузовское компьютерное тестирование:
– промежуточное (для проведения промежуточной аттестации);
– итоговое (по оценке соответствия полученных в процессе обучения знаний и умений по конкретной дисциплине требованиям ГОСа);
– остаточных знаний и умений.
3. Аттестационное тестирование (при прохождении вузом процедуры государственной аккредитации).
2. Разработка контрольных заданий для компьютерного тестирования
Разработка тестовых материалов для любой формы контроля (бланкового или компьютерного) должна удовлетворять определенным принципам, выработанным требованиям, правилам оформления и удовлетворять требованиям экспертов по оценке тестовых заданий.
2.1. Принципы разработки тестовых материалов
1. Соответствие содержания целям проверки.
2. Соответствие содержания заданий материалу, представленному в ГОСе.
3. Полнота и значимость.
4. Научность.
5. Достоверность тестирования.
6. Вариативность содержания теста.
7. Объективности оценки результатов тестирования.
8. Доступность компьютерного тестирования.
9. Технологичность тестирования.
2.2. Требования, предъявляемые к контролирующим заданиям
К основным требованиям, предъявляемым к любым контролирующим заданиям, в том числе и для компьютерного тестирования, обычно относят следующие:
1. Валидность теста – это адекватность. Различают содержательную и функциональную валидность: первая – это соответствие теста содержанию контролируемого учебного материала, вторая – соответствие теста оцениваемому уровню деятельности.
2. Требование определенности теста необходимо для однозначного понимания студентом того, что он должен выполнить.
3. Однозначность следует рассматривать в двух аспектах:
– однозначность содержательная, что необходимо для понимания теста всеми участниками процесса тестирования именно только так, как написано;
– однозначность оценки качества выполнения теста, т. е. единство правил оценки ответов в рамках принятой формы.
4. Понятный язык изложения. Тестовое задание должно иметь ясный смысл, исключающий какие-либо другие толкования или интерпретации. Должны исключаться малопонятные и редко употребляемые слова, а также неизвестные символы, иностранные слова, затрудняющие восприятие смысла.
5. Требование простоты теста означает, что тест должен проверять знания и умений по всей дисциплине (разделу, теме).
6. Краткость заданий должна обеспечиваться тщательным анализом содержания каждого слова, символа, их толкования в словарях русского языка и иностранных слов, в различных энциклопедиях и т. д.
7. Обоснованность эталона ответа на тестовое задание. Эталон ответа на ТЗ разрабатывается заранее опытным преподавателем и согласовывается с научно-методической комиссией при кафедре (факультете). Эталон ответа – это краткое суждение, связанное как по содержанию, так и по форме с содержанием задания.
8. Понятие надежности тестирования определяют как, вероятность правильного измерения величины. Требование надежности заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. Надежность теста или батареи тестов растет с увеличением количества осуществляемых операций.
При организации тестирования ни одному испытуемому не дается никаких преимуществ перед другими испытуемыми. Все отвечают на задания, которые охватывают учебные элементы, составляющие основу структуры содержания обучения данной специальности, всем дается одинаковое время. Правила оценки выполнения задания определяются заранее и абсолютно одинаково должны применяться ко всем испытуемым.
2.3. Формы представления тестовых заданий
Тестовые задания (ТЗ) могут быть представлены в четырех формах: закрытые, открытые, на упорядочение, на соответствие.
Закрытая форма
Предполагает выбор тестируемым правильного заключения из предложенных вариантов. Такое тестовое суждение состоит из неполного утверждения с одной вакансией и совокупности элементов, один или несколько из которых являются истинными. Тестируемый должен выбирать корректные выводы из предложенного множества. В ТЗ этой формы должно быть 4–6 вариантов ответов, из которых правильных ответов должно быть 2–3 (для снижения вероятности угадывания), хотя в некоторых случаях допускается и один правильный вариант ответа.
Пример:
Овощи
+ капуста
– малина
+ огурец
– вишня
– груша
Открытая форма
Требует сформулированного самим тестируемым корректного заключения. Имеет вид неполного суждения, в котором отсутствует один элемент.
Пример:
Первый в мире космонавт… (Ответ – Гагарин).
Можно использовать несколько ключевых слов:
… и … – элементы мужского костюма. (Ответ – пиджак, брюки).
Следует строго следить за тем, чтобы сохранилась однозначность ТЗ. Если важен порядок ключевых слов, лучше изменить форму ТЗ на упорядочение.
ТЗ на установление правильной последовательности (порядка)
Требует от тестируемого определения порядка следования предложенных объектов (символов, слов, формул, рисунков). Дано множество неупорядоченных элементов, необходимо установить заданный в посылках порядок между ними.
Общее количество элементов в ТЗ такого типа должно быть равно пяти или шести.
Пример:
Последовательность дней рабочей недели
четверг (4)
понедельник (1)
вторник (2)
среда (3)
пятница (5)
ТЗ на установление соответствия
Предполагает необходимость определения тестируемым истинных пар из двух приведенных множеств объектов (элементов, терминов и т. п.), расположенных в двух столбцах. Общее количество элементов в левом столбце: 3–5, общее количество элементов в правом столбце: 4–6, т. е. на 1–2 больше, чем в левом. Однако при организации компьютерного тестирования количество элементов в обоих столбцах должно быть одинаковым (это связано с возможностями имеющихся тестовых оболочек).
Пример:
Соответствие между приложением Microsoft Office и ярлыком этого приложения.
Табличный процессор |
|
Программа для работы с электронной почтой |
|
Текстовый редактор |
|
Редактор электронных презентаций |
2.4. Требования к содержательной части ТЗ
Многие понятия, встречающиеся в задачах, вопросах, определениях и т. п., нечетки, многозначны, их точный смысл чаще всего обнаруживается лишь в результате языкового общения. ТЗ должно как можно более четко и однозначно фиксировать свои понятия, смысл, значение и требование, характеризоваться системностью, обоснованностью содержания и формы его представления. Для формулировки ТЗ хорошо подходят высказывания и суждения. Элементы ТЗ могут содержать текст, формулы, графические изображения, мультимедийные компоненты.
1. ТЗ должно быть представлено в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования ТЗ.
2. В качестве ТЗ не могут быть использованы вопросы, задачи, словосочетания, афоризмы и пословицы, определения и доказательства.
3. ТЗ должно быть однозначным и самообъясняющим. Корректное заключение на требование ТЗ должно, во-первых, детерминироваться достаточно точным и однозначным пониманием смысла тестовой ситуации и, во-вторых, обеспечивать достаточно четкий вывод тестируемого именно на данное требование и только на него.
4. ТЗ не должно содержать не только лишнего слова, но даже и знака, кроме одного специфического (существенного) признака.
5. Ни в формулировке ТЗ, ни в ответах не должно быть подсказок.
6. В формулировке ТЗ не должно быть повторов, двойных отрицаний и сленга. ТЗ не допускает формы альтернативного высказывания.
7. Формулировка ТЗ должна быть выражена в повествовательной форме (вопрос исключается). В ТЗ следует старательно избегать применения слов – вопросов («как», «почему», «какой» и т. д.).
8. По возможности, текст ТЗ не должен содержать сложноподчиненные конструкции.
9. В формулировке ТЗ не должно быть повелительного наклонения («выберите», «вычислите», «укажите» и т. д.). Повелительное наклонение допускается только в инструкции к ТЗ.
10. ТЗ должны иметь различную меру трудности.
11. Формулировка ТЗ должна быть минимальна (рекомендуется 10–15 слов).
12. По возможности специфический признак, ключевое слово выносится в начало ТЗ. Нельзя начинать ТЗ с предлога, союза, частицы.
13. Среднее время решения ТЗ – не более 2–3 минут.
14. Желательно использование рисунков, формул и других поясняющих объектов. При конструировании ТЗ можно применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.
15. Все варианты ответов (дистракторы) должны быть сопоставимы по длине, и не превышать одной строки.
16. Запрещается наличие повторяющихся фраз в дистракторах. Лучше «длинный» вопрос и «короткие» ответы, чем наоборот.
17. Ответ на ТЗ должен быть однозначным. Недопустимы ответы типа: «все выше перечисленное верно», «все указанные ответы – неверны» и т. п. Каждое ТЗ должно иметь хотя бы один ответ, помеченный как правильный.
18. Количество дистракторов в ТЗ должно быть больше трех, но меньше семи.
19. В заданиях закрытого типа не должно быть заведомо ложных ответов, ответов, содержащих подсказку, а также явно выделяющихся, обособленных ответов.
20. В задании не использовать слова, которые понимаются у различных людей по-разному: иногда, часто, всегда, все, никогда и т. п.
21. При постановке задания нужно учитывать, что все задание должно размещаться на экране без прокрутки.
22. При конструировании задания не следует оценивать регистрозависимость символов в ответе, т. е. в эталонном ответе не должны различаться прописные и строчные буквы.
23. Следует избегать заданий, которые требуют от испытуемых развернутых заключений.
24. ТЗ должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов.
25. Не следует при подготовке ТЗ использовать задания составного характера, при ответе на которые правильность выполнения одного задания зависела бы от правильности выполнения другого задания этого же теста.
26. В ТЗ не должно отображаться субъективное мнение или понимание отдельного автора.
2.5. Рекомендации по назначению нормы трудности
Для каждого ТЗ следует определить норму трудности. При этом необходимо учитывать следующее:
1. При установлении нормы трудности ТЗ важно уметь сопоставлять приведенные факторы для различных случаев и учитывать все особенности предметной области.
2. Норма трудности определяется разработчиком ТЗ и указывает субъективную величину того, насколько тяжело будет решить данное ТЗ испытуемому с минимальным уровнем подготовки.
3. Норма трудности зависит от следующих факторов:
а) количество концептов, необходимых для решения ТЗ;
б) образ мышления, на который направлено ТЗ;
в) форма ТЗ;
г) уровень значимости ТЗ;
д) глубина расположения ТЗ в спецификации;
е) количество дистракторов.
Норма трудности ТЗ может оцениваться с учетом количества используемых концептов, необходимых для поиска правильного решения. Под концептом понимается некоторое умозаключение (формула, правило, аксиома и т. д.), позволяющее приблизить правильное решение ТЗ. Чем больше шагов нужно выполнить для получения правильного ответа, тем выше норма трудности, тем сложнее считается ТЗ.
Норма трудности ТЗ зависит от образа мышления, на который направлено ТЗ. Здесь можно сформулировать следующие правила:
1. Если ТЗ направлено на «опознание» какого-то объекта или на проверку «знания-знакомства», то такое ТЗ следует считать простым.
2. Если ТЗ направлено на выбор одного варианта ответа из многих с помощью знания всего одного концепта, то такое ТЗ следует считать простым.
3. Если ТЗ открытого типа направлено на выявление знания определения односложного базового термина, то такое ТЗ следует считать простым.
4. Если ТЗ направлено на применение усвоенных ранее знаний в типовых ситуациях (т. е. в тех ситуациях, с которыми знаком испытуемый) или на проверку «знаний воспроизведения копии», то такое ТЗ следует считать ТЗ среднего уровня сложности. В некоторых случаях к ТЗ такого уровня сложности могут быть отнесены ТЗ на соответствие и порядок.
5. Если ТЗ направлено на применение усвоенных знаний и умений в нестандартных условиях (т. е. в условиях, ранее не знакомых испытуемому) или на проверку «знаний, умения и применения», то такое ТЗ следует считать сложным. К ТЗ такого уровня сложности относятся задания, сформулированные в виде утверждений импликативного типа. Такие задания требуют применения рассуждений в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа необходима некоторая последовательность умозаключения (несколько концептов).
Назначение нормы трудности можно производить с учетом формы ТЗ. При этом наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ – на упорядочение и на соответствие. Открытая форма довольно часто бывает у ТЗ со средним уровнем сложности.
Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Очевидно, что для каждой дисциплины есть определенный набор базовых понятий, например, прописанных в ГОСе, а есть понятия, относящиеся к дополнительному материалу, т. е. материалу, который дается лишь наиболее успешно обучающимся группам студентов. Поэтому, если ТЗ раскрывает базовое понятие, то такое задание можно считать простым, если же ТЗ принадлежит к дополнительному материалу, то его можно считать сложным.
Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ уровню «глубины» спецификации теста. Если ТЗ раскрывает самый нижний уровень иерархии спецификации теста (например, некоторое «Понятие»), то такое задание будет легким. Принадлежность ТЗ средним уровням иерархии спецификации теста (например, некоторой «Теме» или «Подтеме») повышает норму трудности – средний уровень сложности. Наконец, ТЗ, относящееся к верхнему уровню, корню дерева иерархии (например, к «Разделу», «Главе»), можно считать сложным.
Увеличение количества дистракторов также влияет на увеличение нормы трудности ТЗ.
Тестовые оценки, как правило, следует переводить в пятибалльную систему. Обычно перевод осуществляется по следующей схеме:
– оценка «5» («отлично») выставляется испытуемым за верные ответы, которые составляют 91 % от общего количества вопросов;
– оценка «4» соответствует работе, которая содержит от 71 % до 90 % правильных ответов;
– оценка «3» соответственно от 70 % до 50 % правильных ответов;
– работа, содержащая менее 50 % правильных ответов, оценивается как неудовлетворительная.
Психолого-педагогическим вопросам создания и оценивания контрольных заданий, в том числе и для компьютерного тестирования, посвящена работа Г. А. Епанчинцевой, которой введено понятие интеллектуального индекса трудности задания.
3. Оформление заданий для системы компьютерного тестирования
3.1. Документальное сопровождение тестовых заданий
В спецификациях каждого теста, формируемого на основе представленного блока, содержащего не менее 100[1] ТЗ, должна быть следующая информация (см. Приложение):
– название дисциплины;
– специальность, для которой разрабатывается тест;
– автор разработки (координаты для связи);
– содержательная структура банка тестовых заданий;
– шкала оценивания результатов тестирования;
– количество ТЗ, включаемых в тест;
– время, отводимое студентам для прохождения теста;
– дата сдача теста в лабораторию компьютерного обеспечения образовательного процесса для подготовки электронной версии;
– пароль для тестирования;
– предварительная дата «прогонки» подготовленных тестов.
Предоставляемые материалы обязательно рецензируются и подписываются заведующим кафедрой, необходима также подпись автора.
3.2. Требования к документальному сопровождению тестовых материлов
В лабораторию тестовые материалы предоставляются в электронном виде (файл Word) с документальным сопровождением (на бумажном носителе).
Содержательная структура теста представляется в форме таблицы, приведенной ниже.
№ ТЗ | ДЕ | a | Тип ТЗ |
1 | 1 | 1 | ОВ |
2 | 1 | 1 | ОВ |
3 | 1 | 1 | ОВ |
4 | 1 | 2 | О |
… | … | … | … |
99 | 4 | 3 | С |
100 | 4 | 3 | П |
Обозначения типов ТЗ:
– ОВ – одиночный выбор;
– МВ – множественный выбор;
– О – открытый тип;
– С – установление соответствия;
– П – установление последовательности.
Сами тестовые задания оформляются в текстовом процессоре Word в соответствии со следующими требованиями.
Задания на выбор одного верного ответа из представленных – сначала приводится инструкция к заданию (если это необходимо), затем идет формулировка самого задания, после чего перечисляются дистракторы, верный помечается знаком «+». Например:
Метод познания, который ограничивается регистрацией выявленных фактов в психолого-педагогических исследованиях
+наблюдение
формирующий эксперимент
констатирующий эксперимент
квазиэксперимент
Задания на выбор нескольких верных ответов из представленных – сначала приводится инструкция к заданию (если это необходимо), затем идет формулировка самого задания, после чего перечисляются дистракторы, верные помечаются знаком «+». Например:
Верные идентификаторы
+_1_2_3_4
my-Program
1_2_3
+myFirstProgram
Задания на установление соответствия – сначала приводится инструкция к заданию (если это необходимо), затем идет формулировка самого задания, после чего перечисляются дистракторы из первого столбца, а затем по порядку соответствующие им дистракторы из второго. В силу ограничений тестовой системы количество дистракторов в обоих столбцах должно совпадать. Например:
Соответствие между авторами и произведениями
«Ода на рабство»
«На взятие Измаила»
«Вольность»
Капнист
Державин
Радищев
Задания на восстановление порядка – сначала приводится инструкция к заданию (если это необходимо), затем идет формулировка самого задания, после чего перечисляются дистракторы в правильном порядке. Например:
Последовательность этапов развития игры дошкольников (по )
ознакомительная
отобразительная
сюжетно-отобразительная
собственно ролевая
Задания открытого типа – сначала приводится инструкция к заданию (если это необходимо), затем идет формулировка самого задания, после чего в следующей строке пишется образец правильного ответа. Обратите внимание, что при проведении компьютерного тестирования образец может состоять только из одного–двух слов. Важно учесть возможность склонения тестируемым правильного ответа. Составитель теста должен перечислить все варианты ответа, которые можно зачесть как правильные (отделять один верный вариант от другого следует знаком «;»). Например:
Последовательность букв, цифр и знаков подчеркивания, которая начинается с буквы или символа подчеркивания и не содержит пробелов называется
Идентификатор; идентификатором
3.3. Образцы отображения заданий различного типа в тестовой системе
1. Одиночный выбор (ОВ):
2. Множественный выбор (МВ):
3. Открытое задание (О):
4. Соответствие (С):
5. Порядок (П):
4. Рекомендуемая литература
1. Аванесов B. C. Композиция тестовых заданий. М., 2002.
2. Амонашвили Ш. А. Воспитательная и образовательная функции оценки учения школьников. М., 1984.
3. Ананьев Б. Г. Психология педагогической оценки // Избранные педагогические труды. М., 1982.
4. Анастази А., Урбина С. Психологическое тестирование. СПб., 2002.
5. Беспалько В. П. Критерии оценки знаний учащихся и пути оптимизации процесса обучения // Теория поэтапного формирования умственных действий и управление процессом обучения. М., 1960.
6. Гласе Дж., Стенли Дж. Статистические методы в педагогике и психологии / Пер. с англ. Л. И. Хайрусовой. М., Прогресс, 1976.
7. Майоров А. Н. Теория и практика создания тестов для системы образования. М., 2000.
8. Мельникова М. Б. Теория и практика конструирования педагогических тестов. М., 2002.
9. Нардюжев В. И., Нардюжев И. В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. М., 2000.
10. Родионов Б. У., Татур А. О. Стандарты и тесты в образовании. М., 1995.
Приложение. Образец оформления материалов
Министерство образования и науки Российской Федерации
Государственное образовательное учреждение высшего профессионального образования
«Нижнетагильская государственная социально-педагогическая академия»
Кафедра информатики и методики обучения информатике
«УТВЕРЖДАЮ»
Проректор по УМР
__________Л. П. Филатова
«___»___________2008 г.
Фонд
тестовых заданий
по дисциплине
«Языки и методы программирования»
Нижний Тагил
2008
Фонд тестовых заданий предназначен для контроля знаний и умений студентов направления «Педагогика», профиль: начальное образование (со специализацией «Информатика»), код: 540600 по дисциплине «Языки и методы программирования»
Составитель _________________ М. А. Ушакова (тел. , каф. ИиМОИ)
«___»______________2008 г.
Фонд тестовых заданий обсужден на заседании кафедры информатики и методики обучения информатике «___» ________ 2008 г. протокол № ____.
Зав. кафедрой ________________________ Л. Е. Гуторова
Дисциплина: ___________________________________________
Специальности (профили): _________________________________________
№ п\п | Контролируемые темы (в соответствии с ГОС ВПО) | Количество ТЗ | Количество ТЗ, предъявляемых студенту |
1 | |||
2 | |||
3 | |||
N | |||
Всего: |
Содержательная структура банка тестовых заданий
№ ТЗ | ДЕ | a | Тип ТЗ |
Методика проведения контроля
При проведении теста студенту предъявляется: Х – тестовых заданий, которые он должен выполнить за ___ минут, max время выполнения одного задания ___ минут.
Шкала оценок:
– «отлично» – ** % – **% правильных ответов;
– «хорошо» – **% – **% правильных ответов;
– «удовлетворительно» – ** % – **% правильных ответов;
– «неудовлетворительно» – менее **% правильных ответов.
Пароль на тестирование __________________________.
Далее приводится банк тестовых заданий.
[1] Количество заданий для банка ТЗ (не менее 100) определено с учетом необходимости обеспечения вариативности.
