, Тягунова культуры адаптивного тестирования. – M.: Национальный институт бизнеса, 2003. – 370c (стр. 10 )

1-ая комбинация

1-ый пример.

Данная комбинация соответствует общепринятой закрытой форме задания с одним правильным выводом. Для формирования истинного высказывания тестируемому доста­точно пометить щелчком левой кнопки мыши окошечко рядом с правильным вариантом заключения. При разработке тестового задания с выбором одного или нескольких пра­вильных следствий следует помнить, что: задания с двумя и более правильными заключе­ниями целесообразно применять в процессе входного контроля для проверки исходного уровня обученности объектов. Главное достоинство в этом случае состоит в быстрой классификации тестируемых.

Для противодействия попытке угадывания тестируемым правильного вывода число строк в представляемой тестовой ситуации рекомендуется выбирать равным 5 или 6. Дальнейшее увеличение числа вариантов приводит к возрастанию громоздкости задания и затрудняет его четкое расположение на экране дисплея. Для снижения вероятности уга­дывания правильного заключения следует конструировать ЭФТК таким образом, чтобы испытуемый выбирал два или три правильных заключения из пяти (или шести) предло­женных. Эти задания применяются для проверки классификационных или актуальных учебных достижений.

2–й пример.

3–й пример.

Повышение эффективности компьютерного тестирования и уменьшение вероятности угадывания испытуемыми правильных заключений в предъявляемых ПДТЗ достигается за счет применения конструктивно-выборочной формы представления суждений, когда тестируемый определяет свой вывод из предлагаемых элементов (символов, графических объектов), являющихся допустимыми содержательными единицами. Для выполнения та­кого задания индивид должен «перетащить» из верхней части поля экрана дисплея при помощи мыши элементы, входящие в структуру (например формулу), обрамленную в рамку из пунктирной линии, на соответствующие места, обозначенные кружками. Задания на конструирование правильного заключения являются традиционными для математических и естественных наук. Обычно ПДТЗ этого вида ставятся как требования на построе­ние из заданных в условиях элементов с помощью электронной мыши некоторой геомет­рической фигуры, схемы или выражения. Во всяком ПДТЗ на конструирование условия задания, представленные на экране дисплея, должны обязательно содержать элементы формирования однозначного заключения.

2-ая комбинация

1 – й пример.

В данной форме задания «обязательными» являются элементы: «сегодня», «пасмур­но», «на», «небе», «тучки», «,». Порядок есть правильная последовательность слов (нали­чие в строке «лишнего» слова нарушает порядок). «Лишние» элементы – это слова, иска­жающие смысл истинного высказывания – «нет», «ни».

Задание такой формы и содержания может быть использовано при проверке общего понимания смысла текста на русском языке иностранцами. В программных средах реали­зация заключения тестируемого предполагает пометку (двойное нажатие кнопкой мыши на изображении) всех «лишних» элементов с последующей сменой их окраски или исчез­новения.

2-ой пример.

3-ая комбинация

В задании важна последовательность операций вычеркивания. Это и есть содержание метода, следовательно, и смысл ПДТЗ. В результате выполнения данного задания тести­руемый должен не только отметить составные числа, но и показать истинный порядок их вычеркивания. В программной среде это может быть реализовано путем последователь­ной пометки элементов задания с последующим их высвечиванием в контрольной строке.

4-ая комбинация

Данная комбинация соответствует истинному высказыванию.

5-ая комбинация

Соответствием (отношением) между множествами А и В называется тройка Г = (A,B,C), в которой A,B – произвольные множества, а является подмножеством прямого произведения А × В. В тестологии получил распространение графический спо­соб задания соответствий, как наиболее наглядный. Графически отношения между множе­ствами представляются с помощью рисунка, на котором все элементы из области отправ­ления aiA изображаются в левой части экрана, элементы bj В – в правой части экрана, а каждая пара кортежа < аj, bj >С – цифрой внутри соответствующего элемента bj.

Соответствие Г = (A,B,C) называется биективным (взаимно-однозначным), если оно обладает свойствами функциональности, инъективности, определенности и сюръективности. Пример биективного соответствия приведен ниже.

В данном задании частичный порядок обусловлен разбиением элементов на две груп­пы. «Лишние» элементы отсутствуют. Тестируемый должен установить истинные отно­шения между элементами первой и второй группы. В ACT респондент щелкает левой кнопкой мыши на кружке элемента из помеченной группы, затем – на кружке соответст­вующего элемента другой группы (круг меняет цвет и автоматически высвечивается но­мер его пары). Таким образом помечаются все пары. Обязательным условием является возможность автоматической перегруппировки множеств до перехода к следующему за­данию.

Предложенная комбинация соответствует общепринятой форме задания на установле­ние соответствия, когда количество элементов в обеих группах совпадает, т. е. отсутству­ют элементы, не имеющие своей пары. Здесь условия ПДТЗ – два множества, между кото­рыми необходимо установить соответствие; объект – соответствия функций и точек ми­нимума; характеристика – отношения между парами элементов множеств; требование – необходимость однозначного установления этих отношений.

5-ая комбинация

Шестая комбинация соответствует общепринятой форме задания на установление правильной последовательности.

1-й пример.

Задание, в котором представлены все основные элементы, отсутствуют «лишние» и не определен порядок, может быть реализовано следующим образом:

Эта свернутая тестовая ситуация, когда путь к сущности ЭФТК идет от наглядного представления его содержания. Для определения порядка в данной форме тестового зада­ния необходимо перетащить символы, расположенные слева от окна рисунка, на соответ­ствующие места, отмеченные кружками. В среде ACT эта операция осуществляется сле­дующим образом: испытуемый устанавливает указатель мыши на символ, нажимает левую кнопку мыши, перемещает указатель на соответствующий кружок и поднимает левую кнопку.

2-й пример.

Для формирования истинного суждения тестируемый в среде ACT последовательно, по предполагаемому им порядку, щелкает левой кнопкой мыши по сигнальному кружку элемен­та. При этом меняется цвет кружка и автоматически проставляется номер по порядку щелчка. После пометки всех элементов существует возможность перестановки посылок в заданном тестируемым порядке. Объект имеет возможность изменить выбранную им последователь­ность до ввода в программу заключения и перехода к следующему заданию.

7-ая комбинация

Заметим, что данное ПДТЗ не несет проблемной ситуации, так как испытуемый не ставится заданием в новое условие деятельности. Другой пример.

Испытуемому достаточно ввести недостающий элемент. Такая форма задания предпо­лагает текстовое содержание недостающих «обязательных» элементов.

8-ая комбинация

Испытуемый, выполняя задание, должен определить недостающий «обязательный» элемент и его место расположение. В результате правильной будет фраза:

George Washington was a president of USA; he was president since 1980 to 1982.

Данная комбинация соответствует классическому варианту открытой формы тестово­го утверждения. Множество «обязательных» элементов (слов в утверждении) представле­но не полностью. Так как слова в предложении установлены в правильном порядке, а ме­сторасположение недостающего элемента не указано, то можно говорить о том, что поря­док слов в предложении задан частично. «Лишние» элементы отсутствуют.

10-ая комбинация

Объект, выполняя данное задание, должен: во-первых, выбрать из предложенного списка подходящее слово, во-вторых, ввести его, изменяя в соответствии с грамматиче­скими правилами. Можно сказать, что данная форма является комбинированной и содер­жит элементы открытой и закрытой форм тестового задания.

Повышение качества дидактического оценивания достигается применением ЭФТК от­крытой формы. Испытуемые должны самостоятельно вписать в установленном месте пра­вильный вывод, который превращает тестовое утверждение в истинное суждение. Заклю­чение чаще всего состоит из одного слова и располагается ближе к концу ПДТЗ.

15-ая комбинация

Проблемно – эвристические ПДТЗ включают обязательное выполнение деятельности, при которой устраняются противоречия между содержанием задания и разрешением тес­товой ситуации испытуемым. Проблемная тестовая ситуация предполагает выяснение то­го, что неизвестно и должно быть раскрыто, а также действие, направленное на выявление сути неизвестного. Такие задания требуют от испытуемого критического мышления для формирования прагматически корректного вывода и всегда формулируются в виде нераз­решенного явного противоречия. Например:

В данной форме задания объекту не представлены ни «обязательные» элементы, ни их порядок, также не даны лишние элементы. Тестируемый должен ввести с клавиатуры «not to say a single word», т. е. определить слова, входящие в корректное суждение и их порядок.

Данной комбинации также соответствует форма задания «эссе».

Категории содержания и формы (соответствие формы содержанию и возможность многообразия структур при одном и том же содержании для представления конкретного ПДТЗ), позволяют обоснованно представить методологическое следствие о зависимости различающей способности ПДТЗ от их смысла при вариантности строений. Так, напри­мер, развивающие ЭФТК отличаются тем, что в них тестируемому предлагается найти но­вый путь для формирования вывода на ПДТЗ. Например: .

Действуя по индукции, индивид может составить на бумаге следующую таблицу:

Сопоставляя между собой результаты сложения чисел, тестируемый способен ясно осознать смысл предположения и записать результат:

ЧЕТНОЕ ЧИСЛО, БОЛЬШЕЕ, ЧЕМ 4, ПРЕДСТАВИМО В ВИДЕ СУММЫ ДВУХ ПРОСТЫХ НЕЧЕТНЫХ ЧИСЕЛ.

Как видно, в ситуации развивающих ПДТЗ респонднент вынужден формировать ис­тинные заключения, когда оказываются недостаточными уже имеющиеся у него дедук­тивные знания, где не срабатывают автоматизмы приобретенных навыков, но необходим активный поиск нового подхода для разрешения тестовой ситуации. Это предполагает мо­билизацию всех психических ресурсов отражения накопленного опыта, активного поиска ориентировки и интуиции объекта нечисловой природы.

Авторами также предлагается многоуровневая классификация рациональных форм ЭФТК, учитывающая современные возможности программных средств, обеспечивающие возможность отображения заданий, восприятия, анализа и визуализации заключения ис­пытуемого. Данная классификация, основанная на анализе внешнего отображения диалога испытуемого и компьютера, определяет требования к структуре ЭФТК, технологии тести­рования и может служить руководством для разработчиков интерактивных систем ком­пьютерного тестирования. Рассмотрим формы тестовых заданий с точки зрения их реали­зации в компьютерном варианте.

Подытожим для ясности результаты данного раздела. Разработчик ЭФТК из ограни­ченного разнообразия тестовых форм совершает редуцирование, то есть выбирает ту структуру ПДТЗ, которая наиболее адекватно отражает содержание конкретного фрагмен­та учебного материала. Ясно, что наблюдение тестируемым сложной и необычайной фор­мы несет для него высокую степень неопределенности, требует необоснованных затрат времени. Отсюда появляется потребность ограничения разнообразия строений ЭФТК на основе применения стандартов. Особую важность приобретает при этом наглядное выра­жение тестовых ситуаций. ЭФТК будет значительно короче и яснее выглядеть, если вме­сто описательной формы оно будет представлено в подлинной. Более того, при формиро­вании заключения на тестовую ситуацию в описательной форме тестируемому приходит­ся находить соответствующую этой ситуации вспомогательную модель. Наглядные знако­вые модели позволяют, во-первых, конкретизировать исходные условия, придать тестово­му суждению явный и ясный смысл, а во-вторых, представить условие задачи в легко обо­зримой узнаваемой для тестируемого форме. Единство духовной и материальной ком­понент ПДТЗ в сочетании со стандартизированным представлением последних обра­зуют сущность проектирования ЭФТК, являющихся единицами дидактической оценки достижений. Подчеркнем, что цель конструирования профессиональных ЭФТК двоякая – материально фиксировать содержание задания, передавать понимание его смысла и значения тестируемым.

Исходя из необходимости сделать содержания ПДТЗ и процедуру формирования вы­вода понятными для тестируемых, представляется обоснованным создание инструкции по выполнению действий с целью разрешения тестовых ситуаций, представленных раз­личными формами. Инструкция должна содержать указания на то, что испытуемый дол­жен предпринять в конкретной ситуации, каким образом выполнить требования задания, где и как отметить заключения и как его ввести в компьютер. Респондент должен знать, что до тех пор, пока он не нажал клавишу готовности ввода заключений, у него есть возможность либо изменить ранее введенное заключение или пропустить данное задания и перейти к следующему. Все пропущенные тестируемым ПДТЗ будут предъявлены ему тестирующей программой в конце сеанса проверок (например, в среде ACT). Для трени­ровки испытуемых работе с различными формами ЭФТК, целесообразно предоставить им возможность проверить усвоение положений инструкции на 8-10 примерах (по 2 задания различной формы, отличающихся способом ввода заключений) непосредственно перед началом сеанса компьютерного тестирования.

Располагая ПДТЗ на экране дисплея, необходимо помнить, что:

·  тестовое утверждение должно полностью отображаться на экране дисплея;

·  место для ввода заключения должно выделяться однообразно для каждой их форм;

·  размер шрифта текста и полиграфическое оформление должны соответствовать рекомендациям санитарных служб;

·  посылки тестовой ситуации желательно выделять шрифтом.

Каждое ПДТЗ включает в себя:

·  инструкцию по выполнению требований задания (в явном виде – в тексте зада­ния, или неявно – как следствие конкретной формы задания);

·  посылки задания (содержательную часть) и требования;

Каждый ЭФТК характеризуется:

·  логичностью и содержательностью суждения для испытуемого с фиксированной степенью обученности;

·  конкретной формой представления содержания;

·  уникальным идентификатором (или авторским именем) задания;

·  мерой трудности проблемной тестовой ситуации;

·  средним временем формирования вывода испытуемым на требование тестового задания;

·  ограничением по времени на формирование следствия (при необходимости);

·  краткостью, наглядностью и ясностью.

Культура формирования ПДТЗ предполагает:

·  возможность формулировки тестируемым однозначного заключения;

·  анализ содержания тестового утверждения в строгом соответствии с правилами его проектирования;

·  воспроизведение тестовой ситуации с учетом методологических правил и требо­ваний стандарта с целью корректного представления ЭФТК и узнаваемости формы любого задания испытуемым;

·  максимальную степень приближения смысла и значения задания к содержанию исходного фрагмента учебного материала;

·  соответствие каждого задания требованиям эстетических и эргономических по­казателей, когда его элементы не содержат ничего лишнего, а подчеркивают яс­ность и четкость смысла тестового утверждения;

·  учет разработчиками всех возможных форм, которые им предоставляются инструментальными средствами;

·  проникновение разработчика, эксперта и тестируемого в сущность и значимость требований задания.

Содержание ЭФТК должно быть ясным и кратким. Количество слов в задании не должно превышать 10. Среднее время, затрачиваемое испытуемым на формиро­вание и ввод заключения на требование одного ПДТЗ, должно составлять 1,5 минуты.

Рассматривая структуры представления свернутых кратких тестовых суждений как феномены культуры, можно утверждать, что качественная определенность их строений отображает относительную устойчивость форм на определенном этапе развития инстру­ментальных средств. Существенным здесь является то, что форма всегда выступает как единство связи элементов содержания ПДТЗ и восприятия его внешнего строения тес­тируемым с целью установления операций, выполняемых им в процессе формирования концептов и заключения. В основе этой целостности лежат четыре подхода: материаль­ный, структурный, функциональный и культурологический. Материальный подход определят возможности инструментальных средств отображать тестовые ситуации из раз­личных областей знаний в конкретных стандартизированных формах.

В свете структурного подхода качество выступает как категория описания совокуп­ности относительно устойчивых связей, обеспечивающих целостность и узнаваемость той или иной формы выражения ЭФТК. Структура тестовой ситуации определяет способ раз­мещения элементов ПДТЗ на экране дисплея и характеризует отношение между его по­сылками.

Функциональный подход устанавливает характер взаимодействия тестируемых с формой ПДТЗ, поясняет логику и последовательность операций, которые необходимо вы­полнить респонденту в процессе анализа содержания исходных посылок, коррекции соб­ственных выводов (при необходимости), ввода заключений в тестирующую систему, про­пуска недоступных (на данный момент времени) для формирования корректного вывода тестовых ситуаций и перехода к выполнению следующих ЭФТК. Культурологический подход к изучению форм тестовых ситуаций рассматривает эти три подхода как целостную характеристику ЭФТК. Дальнейшее развитие качественно но­вых форм представления ПДТЗ предполагает привлечение генетических методов, что имеет важное значение для развития тестологии и для создания перспективных программ­но-аппаратных средств, которые будут работать с новыми строениями тестовых утвер­ждений.

Используемая форма тестового задания определяется содержанием фрагмента учебно­го материала. Форма T3 должна быть легко узнаваемой и не требовать дополнительных пояснений по способу ввода тестируемым заключения. Инструкции по вводу тестируе­мым заключения на требования ПДТЗ должны визуализироваться только при специаль­ном вызове (нажатии одной или комбинации нескольких клавиш) и соответствовать ото­бражаемой в данный момент времени на экране дисплея форме задания.

Элементы тестового задания могут содержать текст, формулы, графические изобра­жения, мультимедийные компоненты. Аудиокомпоненты и видеофрагменты при визуали­зации тестового задания должны представляться в виде условного общепринятого и по­нятного тестируемому графического символа и активизироваться тестируемым (например, щелчком мыши). Количество активаций аудио и видеофрагментов может быть ограниче­но.

Обязательно соблюдение единого стиля оформления заданий, входящих в один тест. На экране во время предъявления заданий из теста не должно присутствовать никаких графических и мультимедийных элементов, не имеющих прямого отношения к понима­нию содержания тестового задания.

Тестовые задания закрытой формы

Состоит из неполного тестового утверждения с одним ключевым элементом и множе­ством допустимых заключений, одно или несколько из которых являются правильными. Тестируемый определяет правильные заключения из данного множества. Рекомендуется предлагать пять или шесть вариантов заключений, из которых два или три являются пра­вильными.

Недопустима ситуация, когда все перечисленные заключения являются либо правиль­ными, либо неверными.

При компьютерном тестировании отметка верных заключений осуществляется тести­руемым с помощью мыши.

Предлагается использовать два варианта представления на экране дисплея закрытой формы тестового суждения. Первый вариант (А) не предполагает обязательной фиксации взаимного расположения элементов множества допустимых вариантов заключений тести­руемого. Во втором варианте (В) расположение элементов из множества допустимых зна­чений фиксировано по условию тестового суждения.

Вариант А закрытого тестового задания

На месте ключевого элемента в содержании задания необходимо поставить прочерк или многоточие. При каждом предъявлении тестового задания порядок расположения элементов из множества допустимых заключений должен изменяться. Элементы группы не маркируются.

С левой стороны каждого элемента располагается графическое изображение логиче­ского идентификатора, состояние которого тестируемый изменяет при выборе корректно­го заключения. Пометка верных заключений осуществляется испытуемым с помощью мыши.

Допустимо использование двух вариантов заданий данного типа:

допускающих выбор только одного элемента из множества (одно правильное за­ключение)

позволяющих выбрать одновременно несколько элементов (несколько правильных заключений)

Вариант В закрытого тестового суждения

В ПДТЗ данного варианта взаимное расположение элементов из множества допусти­мых значений фиксировано по условию задания.

Индикация выбора одного или нескольких элементов из множества заключений может осуществляться изменением состояния логических идентификаторов:

а) допускающих выбор только одного элемента из множества допустимых за­ключений

б) позволяющих выбрать одновременно несколько элементов из множества до­пустимых заключений

Фиксация правильного вывода может осуществляться также путем изменения окраски от­меченных объектов:

Тестовые задания открытой формы

Требует сформулированного самим тестируемым заключения на требования ПДТЗ. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве ключевых элементов могут быть: число, буква, слово или словосо­четание. При формулировке задания на месте ключевого элемента, необходимо поставить прочерк или многоточие. Отсутствующий элемент (правильный вывод) в задании откры­той формы вводит тестируемый, при этом вводимое заключение отображается на экране монитора на месте прочерка и/или в специальном поле, хорошо видимом испытуемым.

до ввода тестируемым заключения	после ввода тестируемым заключения
Россия подписала мир с Францией в Тильзите в... году.	Россия подписала мир с Францией в Тильзите в 1 807 году. |

В том случае, когда количество ключевых элементов более одного, а вводимые тести­руемым значения отображаются не на месте их реального расположения, а во вспомога­тельном, специальном поле, необходимо исключить возможность неоднозначной трактов­ки действий тестируемого. Для этого следует маркировать место расположения ключевых элементов и соответствующих им полей ввода.

Требования к системе оценки правильности вводимых значений (результату заключе­ния тестируемого на требования тестового задания) очень жёсткие, поскольку отклонения вывода от эталона (правильного варианта) фиксируются системой как неверные.

Тестовые задания на установление правильной последовательности

Состоит из однородных элементов некоторой группы и четкой формулировки крите­рия упорядочения этих элементов.

Допустимы два варианта компьютерной реализации задания на установление пра­вильной последовательности. В варианте А не предполагается обязательной фиксации взаимного расположения элементов группы. Вариант В предполагает фиксированное ус­ловием ПДТЗ взаимное расположение элементов группы.

Вариант А

При каждом предъявлении тестового задания порядок расположения элементов груп­пы должен изменяться. Элементы группы не маркируются, могут располагаться верти­кально, горизонтально или хаотично в специальном поле, но обязательно полностью ото­бражаться на экране монитора. При этом тестирующая программа должна иметь возмож­ность расставить элементы в порядке, указанном тестируемым.

Для ввода заключения могут быть использованы следующие технологии:

а) последовательной пометки щелчком мыши каждого элемента, при этом у элемен­та автоматически визуализируется номер, соответствующий порядку пометки.

б) «подхватил и тащи» («drag and drop»), когда тестируемый щелкает мышью на каждый элемент и перемещает его в нужную позицию

до ввода тестируемым заключения	после ввода тестируемым заключения
Порядок смены времен года Зима	Порядок смены времен года Осень

Вариант В

Для ввода заключения используется технология последовательной пометки элементов группы щелчком мыши. Отображение действий тестируемого может выполняться сле­дующими способами:

а) автоматической маркировкой последовательно помечаемых тестируемым элементов группы порядковым номером

б) последовательным соединением помечаемых тестируемым элементов группы линией

в) последовательным соединением линией и автоматической маркировкой порядко­вым номером помечаемых тестируемым элементов группы.

Тестовые задания на установление соответствия

Состоит из двух групп элементов и четкой формулировки критерия выбора соответст­вия между ними.

Соответствие устанавливается по принципу 1:1 (одному элементу первой группы со­ответствует только один элемент второй группы) или 1:M (одному элементу первой груп­пы соответствует M элементов второй группы). Внутри каждой группы элементы должны быть однородными. Количество элементов во второй группе должно превышать количе­ство элементов первой группы, но не более чем в 1,5 раза. Максимально допустимое ко­личество элементов во второй группе не должно превышать 10. Количество элементов в первой группе должно быть не менее двух.

Допустимы три варианта компьютерной реализации задания на установление соответствия:

·  содержание ПДТЗ не предполагает обязательной фиксации взаимного располо­жения элементов обеих групп (вариант А);

·  взаимное расположение элементов одной из групп фиксировано по условию ПДТЗ (вариант В);

·  взаимное расположение элементов обеих групп фиксировано по условию ПДТЗ (вариант С).

Вариант А

При каждом предъявлении тестового задания порядок расположения элементов в обе­их групп должен изменяться. Элементы первой группы маркируются в порядке их представления. Маркировка элементов второй группы осуществляется тестирующей программой при определении тестируемым пар из двух приведенных множеств.

Вариант В

Для ввода заключения могут быть использованы технологии: а) «подхватил и тащи» («drag and drop»)

Тестируемый последовательно щелкает мышью на каждый элемент из одной группы и перемещает его в нужную позицию изображения другой группы.

б) последовательной пометки

Элементы первой группы маркируются. Маркировка второй группы осуществляется тестирующей программой при определении тестируемым пар из двух приведенных множеств элементов.

Задания на конструирование

Задание должно состоять из элементов некоторой группы и четкой формулировки критерия создания некоторого объекта (формулы, фразы, изображения и т. п.). Из элемен­тов группы по технологии «подхватил и потащил» («drag and drop») формируется объект в соответствии с заданием. Предъявляемая тестируемому группа исходных данных должна также содержать элементы, не входящие в объект.

При предъявлении задания на экране дисплея должны быть четко выделены две об­ласти: «поле конструирования» и «поле исходных элементов»

В процессе конструирования ЭФТК исходное суждение должно приобрести конкрет­ную знаковую форму, получить смысл и значение. Форма выступает здесь как фактор внутренней организации контента. Категории содержания и формы выражают разные, но связанные аспекты одного и того же ПДТЗ. Корректно созданный ЭФТК характеризу­ется единством содержания и конкретной формы – заданным строением тестовых посылок и ясного требования. Поиск рационального способа существования и выраже­ния содержания ПДТЗ, позволяющего в одном суждении сконцентрировать смысл (или значение и требование на заключение задания, является предметом тестологии.

ЭФТК определяется «языком» представления некоторой проблемной тестовой ситуа­ции, требующей от респондента адекватной деятельности для ее разрешения. Это затруд­нение основано на необходимости выполнения индивидом последовательности общих по­ложений (теорем, правил, фактов, законов, вычислений, построений и т. п.), применяя ко­торые к требованиям тестовых заданий или к их концептам (промежуточным результа­там), он получает то, что необходимо выполнить в ЭФТК, т. е. заключение. При этом лю­бая тестовая ситуация, облеченная в конкретную форму, предполагает наличие некоторых знаний, умений или навыков тестируемого из заданной предметной области, когда одно или несколько неизвестных следует найти или требуется установить соответствие, или правильную последовательность между посылками задания.

В заключении еще раз следует отметить, что формы ПДТЗ – это не просто описание взаимосвязей и отношений между посылкам, а скорее каркасы представления тестовых ситуаций, реализующих на компьютерах проверки таких компонентов степени обученно­сти как знания, интеллектуальные умения или практические навыки тестируемых. Так, например, ЭФТК закрытой формы ориентированы на оценку качества знаний, в то время как тестовые утверждения открытого типа – на анализ качества интеллектуальных уме­ний. Рациональное сочетание различных строений ПДТЗ при формировании КФТ – важ­ная составляющая в процессе композиции ПДТ с заданной валидностью.

Идеализированное конструктивное представление ЭФТК обеспечивает стандарт, если он содержит ясное изложение условий и операций, при которых и с помощью которых должны быть разрешены вопросы, относящиеся к проектированию форм тестовых ситуа­ций. Стандарт может быть совершенным только относительно современного состояния наших знаний о возможностях· инструментальных средств КТ. Мы не вправе рассчитывать на то, что они вызовут полезные дискуссии, которые приведут к их быстрому совершен­ствованию.

VI. ФОРМИРОВАНИЕ БТЗ

Культура разработки программно-дидактических тестовых материалов (ЭФТК, KCT3 и КФТ) характеризует уровень развития тестологии, выраженный в формах организации и деятельности проектантов БТЗ, а также в создаваемых ими социальных и духовных цен­ностях. В современных исследованиях по тестологии обнаруживается некоторое разнооб­разие определений теста. Для иллюстрации сказанного приведем некоторые примеры.

«Тест – это стандартизированные задания, по результатам выполнения которых судят о знаниях, умениях и навыках испытуемого» (Советский энциклопедический словарь, 1987).

«Тест – это объективное и стандартизированное измерение, легко поддающееся коли­чественной оценке, статистической обработке и сравнительному анализу»;

«Тест – это система знаний, позволяющих измерить уровень определенного свойства личности».

«Тест – это специфический инструмент, состоящий из совокупности заданий или во­просов и проводимый в стандартных условиях, позволяющий выявить уровень владения какими-либо видами деятельности».

«Тест состоит из заданий, правил их применения, оценок за выполнение каждого за­дания и рекомендаций по интерпретации тестовых результатов» (B. C. Аванесов).

«Педагогический тест – это комплекс заданий, измеряющих уровень учебных дости­жений, обученности, прогресс в учебной деятельности, эффективность учебного процес­са» (T. M. Балыхина, 2000).

«Тест – это инструмент, состоящий из квалиметрически выверенной системы тесто­вых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, измерение которых возможно в процессе систематического обучения» (,2001).

«Дидактические тесты – метод (средство) проверки результатов обучения – представ­ляет собой совокупность стандартизированных заданий по определенному материалу, ус­танавливающему степень усвоения его учащимися» (Основы открытого образования, т. I, 2002).

Рассмотренные дефиниции термина «тест» дают представление о взглядах авторов на это понятие. Смысловые оттенки, вносимые каждым новым определением, позволяют лучше понять сущность данного феномена, более полно осветить определенные стороны исследуемого явления. Такой подход к установлению понятий Д. Келли (1963) назвал конструктивным альтернатизмом. Однако ни одно из приведенных определений не может дать исчерпывающего представления о понятии «программно-дидактический тест».

Мы будем исходить из того, что дефиниция понятия (термина) «ПДТ» есть процесс фиксирования с помощью слов специфических признаков, отображаемых опреде­ляющие термины, смысл которых уже известен. Тогда определение термина «про­граммно-дидактический тест» будет процессом придания ему смысла и значения, когда определяющие понятия несут новую информацию об определяемом термине. С этой точ­ки зрения дадим реальное определение исследуемого понятия.

Программно-дидактический тест (КФТ – выборка) – это целостная система стандартизированных по форме программно-дидактических тестовых заданий опреде­ленного смысла и заданной меры трудности, ориентированная на конкретный ре­зультат, позволяющая с требуемой верностью и объективностью оценить степень обученности тестируемого путем обработки качества его заключений в течение ограниченного интервала времени.

Из этого определения видны специфические признаки КФТ:

·  наличие в тесте ПДТЗ – свернутых кратких суждений – с заданными смыслами и известными значениями меры трудности;

·  нацеленность теста на требуемый результат, определяемый спецификацией ис­ходного учебного материала и композицией выборки;

·  ориентация теста на спроектированную априорно компьютерную технологию проверок УУД объектов нечисловой природы;

·  отработанная система анализа качества заключений тестируемых на требования ПДТЗ, позволяющая установить степень обученности индивида с заданными показателями качества.

Единство этих признаков и составляет основу генерации качественных выборок – КФТ – из KCT3. Если такая система ЭФТК отвечает требованиям стандартов по конст­руированию профессиональных компьютерных тестов, выполнена по правилам и записана в банк тестовых заданий, то она образует культурную систему программно-дидактических тестовых заданий (KCT3).

Термин «дидактический» говорит о том, что тесты используются для оценки (но не измерения, так как у нас нет эталона) степени обученности объекта/образа. Тем самым сужается область применения КФТ только оценкой знаний, интеллектуальных умений и практических навыков (уровень воспитания, развития и т. д. остаются за пределами анали­за). Кроме того, речь идет о дидактических тестах, а не о медицинских, психологических, вычислительных и т. п. Термин «программно» означает специфический признак отличия ПДТ от тестов, представленных на бумажном носителе. Понятие «обработка» говорит о том, что данные о ходе тестовых испытаний подвергаются статистическому анализу. Ори­ентация на оценку УУД предполагает, что в рассматриваемом случае ПДТ включает в се­бя ограниченное количество стандартизированных заданий, по результатам выполнения которых судят о степени обученности целеустремленных объектов нечисловой природы.

По видам предполагается разделение тестов на гомогенные, гетерогенные, моноформ­ные и полиформные. Гомогенный ПДТ – это система ЭФТК, позволяющая объективно установить УУД тестируемых по одной учебной дисциплине. Гомогенная культура созда­ния ПДТ характеризуется тем, что при наличии в сфере КАТ различных подходов к тех­нологии и организации тестовых испытаний большинство разработчиков проектируют компьютерные тесты достижений по конкретным областям знаний, соблюдают общезна­чимые нормы деятельности и методологические правила конструирования ПДТЗ, при­держиваются одних и тех же стандартов и ценностей, признают незыблемость основных принципов дидактической компьютерной оценки.

Гетерогенный ПДТ – это система ПДТЗ для объективной оценки УУД индивидов по нескольким учебным дисциплинам. Фрагментированная (по Г. Алмонду) культура фор­мирования гетерогенных КФТ отличается существованием среди тестологов различных представлений о содержании, нормах и ценностях таких тестов. Гетерогенные тесты мо­гут применяться в процессе промежуточной аттестации учебных заведений с целью оцен­ки уровня достижений тестируемых по фундаментальным наукам. Отсутствие единых правил конструирования подобного рода ПДТ, разногласие между представителями раз­личных школ приводит к тому, что разработка профессиональных гетерогенных КФТ в настоящее время затруднена.

Моноформный ПДТ состоит из ЭФТК одной формы, а полиформный ПДТ – из ЭФТК двух и более форм. В настоящее время широкое распространение получили моно­формные тесты. Современные компьютерные средства, например, версии инструменталь­ной среды ACT, позволяют конструировать и использовать все существующие стандарти­зированные формы представления содержания ПДТЗ. Поэтому в дальнейшем изложении рассматриваются полиформные ПДТ, обеспечивающие адекватное отображение содержа­ния различных фрагментов учебных дисциплин.

Тест всегда ориентирован на конкретный результат (отбор – трудные задания, отсев — легкие задания, классификация — задания разной меры трудности и т. п.), а качество за­ключений на требования ЭФТК, образующих данную выборку, – на применяемую в сис­теме КАТ программу вычисления оценки. В зависимости от объема выборки, алгоритма тестирования и метода шкалирования результат установления латентного параметра обу­ченности индивида может отображаться с различной степенью верности и объективности (доверия).

Время проведения тестовых испытаний – важный фактор, определяющий значения качественных показателей оценки УУД. При фиксированной степени обученности тести­руемого коэффициент доверия к результату полученной оценки напрямую зависит от объ­ема выборки, т. е. от продолжительности сеанса КАТ. В инструкции организации NEAB подчеркивается: «Единство требований к тестируемым не может быть осуществлено, если сама схема оценки может толковаться специалистами по-разному».

В исследуемой ситуации KCT3 представляет собой рабочую дидактическую модель, отражающую системное содержание учебной дисциплины, предназначенную для объек­тивной проверки степени обученности тестируемых. Первым признаком валидного ПДТ является то, что он субъективно правилен, т. е. дидактически рационален. Совокупность ПДТЗ в выборке есть некая целостная пространственно-временная сущность. Целостность содержания КФТ является отправной точкой всех представлений о качественных показа­телях БТЗ. В этом смысле каждое ПДТЗ должно рассматриваться в своем единстве по принципу соразмерности с валидностью выборки – КФТ.

КФТ рассматривают как случайную выборку из конечной совокупности ЭФТК, хра­нящихся в KCT3. Эта выборка формируется тестирующей системой таким образом, что любой из хранящихся в БТЗ ЭФТК имеет известную вероятность быть представленным в ПДТ. Для корректного суждения о свойствах конечной совокупности ПДТЗ необходимо, чтобы КФТ достаточно точно отражала эти свойства, т. е. была репрезентативной.

Отличие характеристик, полученных путем обработки выборки, от тех, которые свой­ственны конкретной совокупности (валидной по содержанию и значимости исходному учебному материалу), может быть вызвано неопределенностями:

·  типичности – отбором несвойственных для исходного набора спецификаций фрагментов учебного материала;

·  представительности, когда в КФТ включены ЭФТК, недостаточно строго от­вечающие значимости тестовых ситуаций из конкретного набора ПДТЗ.

ПДТ, формируемый из БТЗ, должен обладать целостностью относительно содержа­ния учебной дисциплины, раздела или темы, которая предполагает взаимную связь и обу­словленность составляющих выборку ЭФТК. В противном случае, т. е. если для проверки усвоения содержания учебной дисциплины предъявляются задания, не охватывающие со­держание данного предмета, это не будет КФТ. ПДТ – не исчерпывается только суммой своих ПДТЗ, а, наоборот, каждое задание отражает в себе силу этой целостности, а их ра­зумный набор включает в себя заранее обусловленные понятия и темы из разделов кон­кретной области знания. Следовательно, в целом (валидном) ПДТ задания воспринимают­ся, а заключения тестируемого на них оцениваются не такими и не так, какими и как они существуют порознь.

Культура формирования БТЗ заключается в том, что конечные наборы ПДТ представ­ляют собой упорядоченные системные образования. Конечно, любое беспорядочное мно­жество ПДТЗ можно систематизировать (хотя бы по разделам), но целостность БТЗ этим не достигается. Искусственно упорядоченные множества ЭФТК образуют абстрактные, а не реальные системы ПДТ. Если совокупность разнокачественных элементарных фе­номенов культуры в организации БТЗ есть лишь комбинация разнородных и плохо согласованных друг с другом ПДТЗ, собранных вместе более или менее случайно, то никакая систематизация их не образует закономерных внутренних связей, скреп­ляющих эти задания в целостные ПДТ, и не превратит этот набор в реальную КСТЗ. Только логически упорядоченные конструкции структурированных и специфициро­ванных ЭФТК с определенной валидностью и установленной мерой трудности, в ко­торых отдельные задания, входящие в состав генерируемых КФТ, логически взаи­мосвязаны, образуют культурные системы тестовых заданий.

В КСТЗ реализуется культурный принцип неразличимости части и целого. Парадигма «часть меньше целого» уступает в культурной форме или системе место парадигме «ПДТЗ репрезентует ПДТ или КСТЗ», когда валидность каждого ПДТ обусловлена ана­логичными показателями ЭФТК. При этом культурные тестовые материалы включают в себя проблемные ситуации, отображающие статическую (знания) и динамическую (уме­ния, навыки) компоненты учебного материала.

Неоднозначность содержания и форм тестовых заданий, разработанных различными проектантами по конкретной учебной дисциплине, очевидна. Но как бы много их не было, КСТЗ и КФТ дополняют друг друга, и, вместе с тем, эти тесты не могут отразить все бо­гатство содержания оригинала. Оригинал (содержание предметной области знаний) не эк­вивалентен ни этим КФТ, ни их комментариям. Можно лишь стремиться к этой эквива­лентности за счет вариации количества ЭФТК и применения различных форм заданий, никогда, однако, ее не достигая. Объединение ПДТЗ в КСТЗ не просто их заданная после­довательность, а нечто большее, содержательное. Синтез ПДТЗ в целостные БТЗ и ПДТ предполагает представление в системно-структурных характеристиках последних основ­ного содержания учебного материала, качество усвоения которого должно быть установ­лено в процессе тестовых испытаний.

Трудный ПДТ имеет вогнутую характеристическую кривую и может применяться для проведения отборочных проверок. Если КФТ содержит легкие задания, то он обладает выпуклой характеристической кривой и пригоден только для отсева тестируемых с недо­пустимо низкой степенью обученности. Для классификации поведения целеустремленных объектов в процессе компьютерного адаптивного тестирования применяется КФТ с зада­ниями различной меры трудности. Характеристическая кривая такого теста располагается между аналогичными зависимостями для легкого и трудного ПДТ (рис.1)

Учебные типовые ситуации должны выбираться по категориям трудности только с учетом результата предварительных тестовых проверок (на стадии планирования экспе­римента). Кроме того, ПДТ валиден относительно своего содержания только в том случае, когда он формируется с учетом заданного результата тестовых испытаний. Содержатель­ная валидность теста проверяется экспертами на этапе сертификации КСТЗ.

Рис.1. Характеристические кривые ПДТ

Зависимости распределения реальных баллов тестируемого от характеристической кривой теста приведены ниже, где представлены распределения частот баллов в зависи­мости от характеристик теста (предполагается, что способности тестируемых в группе распределены по нормальному закону).

Основные этапы формирования KCT3 отражаются в перечислении требований, на ко­торые необходимо обратить особое внимание при описании атрибутов ПДТ. Сюда отно­сятся:

·  наименование специальности, название учебной дисциплины и объем часов по ней;

·  выбор результата проверки;

·  постановка целей;

·  указание фамилий, имени, отчества коллектива разработчиков, времени созда­ния и сертификации ПДТ;

·  отбор и структурирование содержания учебной дисциплины;

·  составление спецификации KCT3;

·  выбор структуры банка ПДТЗ;

·  проведение порядковой нумерации ЭФТК;

·  декомпозиция ЭФТК по мерам трудности;

·  указание количества форм ЭФТК в банке данных;

·  установление среднего времени выполнения каждого задания;

·  подготовка ПДТЗ и заключений на них для ввода в банк тестовых заданий;

·  проведение экспертизы KCT3 на полноту и валидность;

·  установление числа заданий в одном тесте, а также показателей верности и объ­ективности;

·  разработка инструкций для испытуемых, преподавателей и администратора тестирующей системы;

·  установление соотношения ПДТЗ по разделам учебной дисциплины;

·  ввод ЭФТК в банк тестовых заданий;

·  корректировка ПДТЗ, эстетических и эргономических характеристик заданий;

·  выбор алгоритма шкалирования;

·  описание технологии и организации тестовых проверок;

·  проведение предварительного компьютерного тестирования, сбор эмпириче­ских данных по результатам репрезентативного отбора тестируемых, констата­ция показателей качества классификации и аттестации;

·  анализ результатов предварительного компьютерного тестирования, модифика­ция ЭФТК и процедуры оценки;

·  формирование банка ПДТЗ по конкретной учебной дисциплине;

·  распечатка содержания KCT3, утверждение состава и содержания БТЗ компе­тентным лицом;

·  подготовка протокола испытаний и инструкций для участников процесса тести­рования;

·  сертификация KCT3 и установка ее на сервер вычислительной сети.

Характер проектирования KCT3 таков, что прежде чем формировать тест из KCT3, на­до иметь некоторый результат, т. е. тот итог, который должен быть достигнут в процессе испытаний. В частности, если результатом выбора ПДТ является утверждение относи­тельно исходного балла – классификации объектов, то правильно отобранный программ­но-дидактический тест должен содержать ЭФТК разной меры трудности и различной раз­личающей способности. Такой ПДТ способен разделить поведение телеологических объ­ектов на классы по уровню их достижений. Например: КФТ «Управление персоналом» – классификация.

Во втором случае, когда речь идет о выборе ПДТ, ориентированного на результат оценки реального УУД испытуемых, тест должен содержать задания, категория трудности которых строго соответствует исходному уровню обученности испытуемых внутри каж­дого класса (образа).

Например: KCT3 «Управление персоналом» – оценка реальной степени обученности.

П16: Наименование KCT3 должно представлять собой предложение, отражающее ожидаемый результат.

Отсюда следует, что при создании (или выборе наименования) KCT3 необходимо:

·  сформировать основной результат;

·  желаемый результат облечь в предложение.

Существующие подходы к формированию тестов разделяются на две группы. Сторон­ники первого подхода используют «пороговые тесты», включающие в себя тестовые зада­ния, мера трудности которых составляет 50%. Такие тесты непосильны по степени труд­ности для слабо подготовленных испытуемых и, следовательно, могут служить для оцен­ки уровня достижений только хорошо обученных индивидов. Сторонники второго подхо­да рекомендуют применять беспороговые тесты, содержащие задания различной катего­рии трудности. При этом подчеркивается, что «... у мотивационных беспороговых тестов нет альтернативы: они имеют все достоинства пороговых и лишены их недостатка – спо­собности отучивать от учебы слабых» [34, c.37].

На наш взгляд оба подхода являются неправомерными для формирования программ­но-дидактических тестов. Безотносительно к результату, поставленному субъектом тести­рования, ничего нельзя говорить о рациональном формировании ПДТ. Если результатом СКДО является разбиение качества заключений целеустремленных объектов на классы обученности (самотестирование), то тест должен содержать ПДТЗ различной предпочти­тельности. Адаптивный алгоритм тестового контроля обеспечит по результатам анализа поведения объектов генерацию заданий определенной меры трудности и принятия реше­ния об отнесении их к тому или иному классу. В этом случае каждый тестируемый полу­чит свою оценку, которая однозначно определяет его исходный УУД. Классификацион­ный ПДТ нацелен на дифференциацию объектов по степени их обученности.

Если результатом СКДО является установление реальной оценки поведения испы­туемых, то ПДТ должен включать ЭФТК, категория трудности которых строго соответст­вует уровню их исходных учебных достижений. Это значит, что мера трудности ЭФТК при промежуточной аттестации должна однозначно определяться классом обученности образов. ПДТЗ повышенной трудности бессодержательны для образов с низкой степенью обученности, в то время как ПДТЗ с низкой мерой трудности бессодержательны для ис­пытуемых с высокой степенью обученности. Промежуточная аттестация выступает здесь как характеристика разумности поведения испытуемого, его возможности действовать в заданной предметной области (с фиксированной мерой трудности ЭФТК). В этой связи рациональная технология компьютерного тестового контроля может быть реализована только в адаптивных тестирующих системах, формирующих в памяти дидактическую модель поведения каждого конкретного испытуемого. При этом тестирующая система обеспечивает не только предъявление ЭФТК, соответствующих его текущему поведению (структурная адаптация), но и автоматическую корректировку значений (веса) ПДТЗ на основании анализа выводов испытуемых (параметрическая адаптация) (рис.1).

Рис. 1. Разделение тестов достижений

Цели ПДТ отражают мысленное предвосхищение ожидаемого результата компьютер­ных тестовых проверок и представляют собой краткую формулировку тех задач, которые должны быть решены благодаря достижению заданного итога. Цели должны конкретизи­ровать задачи, сделать их явными и ясными. Такая конкретизация производится на основе правила П17.

Π17: Цели выборки отражают сведение достижимого результата к вспомогатель­ным концептам ближайшего к основному вопросу (наименованию теста) уровня.

Из П17 видно, что относительно вопроса «Какие задачи решают с применением ПДТ?» подвопросами являются: разделение объектов на классы в соответствии с уровнем их достижений; оценка реального УУД каждого образа внутри его класса обученности.

Структуризация и спецификация бтз

Важной характеристикой KCT3 является её валидность, которая означает, что при спецификации теста ничего существенного из исходного учебного материала не упущено. Понятие валидности КФТ интуитивно ясное и содержательно важное, поскольку она в значительной степени определяет показатели качества результатов дидактической оценки

Здесь Рпр – вероятность правильной оценки степени обученности тестируемого;

Рвал – вероятность валидности ПДТ;

Роц – вероятность верности оценки.

Содержательная валидность ПДТ определяется величиной процента охвата ПДТЗ контента конкретной области знания. Содержание КФТ предполагает рациональное ото­бражение семантики фрагментов учебного материала в систему ЭФТК с различными ме­рами трудности. Эта система должна охватывать основное содержание конкретной учеб­ной дисциплины и обеспечивать понятийную валидность КФТ относительно проверок уровня знаний, умений и навыков. Рациональность рассматривается здесь в двух направ­лениях. Первое направление связано с проверкой усвоения объектами нечисловой приро­ды устойчивого ядра знаний по конкретной учебной дисциплине, а второе – характеризу­ется отражением в содержании выборок результатов развития науки и применение ее ме­тодов в практической деятельности.

Содержание учебного материала представлено в его описании с помощью тезауруса, специальным образом организованного и контролируемого словаря ключевых терминов. Соответствие ключевых слов отдельной выборки с контентом тезауруса служит одним из оснований для определения валидности теста. Синхронный срез смысла учебной дисцип­лины может рассматриваться в качестве своего рода информационного отражения, в организации проверки усвоения которого оценивается телеологическое состояние обученно­сти индивида.

Структурирование содержания учебной дисциплины требует от преподавателя-разработчика учета большого числа понятий заданной области, знания и выявления функ­циональных зависимостей между её элементами. Первую попытку поставить и решить дидактическую проблему отбора содержания образования сделал (1745 – 1827).

Структурирование исходной области знания – это конкретно – научная методологи­ческая процедура, выдвигающая в качестве задачи научного исследования выявление единства устойчивых взаимосвязанных между собой элементов содержания учебной дис­циплины [1]. Эта процедура является неотъемлемым атрибутом при конструировании KCT3, для которой характерны (рис.2):

·  фрагментарное (грубое) внимание к описанию состояния декомпозируемой об­ласти знания;

·  стремление к четкому и наглядному представлению фрагментов учебного мате­риала;

·  фиксирование отношений между разделами и темами предметной области;

·  установление иерархии между элементами знания

Рис.2 Структура формирования совокупности ЭФТК

Центральной идеей структуризации предметной области является рациональное раз­деление последней на разделы и темы с целью возможности их дальнейшего соединения и комбинирования нужными способами, поскольку известно, что «хорошее соединение (синтез) требует качественного разделения (анализа)». Этот прием представляет собой пе­реход от модели конкретной предметной области к структурированной модели содержа­ния знания (рис.3).

Рис. 3. Переход к понятийной и технологической средам спецификации

Наиболее часто организация содержания учебной дисциплины представляется в виде дерева – связного графа, не содержащего циклов. Описание смысловой структуры учебной информации с помощью дерева позволяет компактно и наглядно отобразить разделы, те­мы и понятия по конкретной области знаний. При таком моделировании структуры учеб­ного материала вершины графа и связи между ними располагаются по соответствующим уровням иерархии. Учебно-информационные элементы каждого раздела, темы и понятия представляются в виде вершин дерева, а логические связи – ребрами графа. На нулевой горизонтали помещаются разделы, подвергающиеся декомпозиции, на первой горизонта­ли – учебно-информационные элементы, которые служат опорными только для разделов; на второй горизонтали – учебно-информационные элементы, являющиеся опорными для элементов первого уровня и т. д. Декомпозиция завершается, когда в дереве образуются базовые вершины (первичные понятия), не имеющие исходящих ребер. Термин «базо­вый» подразумевает минимум входящих в него смысловых единиц минимальной трудности. Например, для учебной дисциплины «Теория вероятностей» к таким элемен­тарным семантическим единицам относятся: случайное событие, опыт, исход опыта, слу­чайная величина и т. п.

При создании систем КАТ для хранения, модификации и обработки информации важ­ное значение имеет решение теоретических и практических вопросов применения концеп­ции использования банков программно-дидактических тестовых заданий для динамиче­ского (в процессе тестирования) формирования тестов. Создание БТЗ – культурной систе­мы тестовых заданий (КСТЗ) – проектная задача, решение которой связано с корректной организацией работ при переходе от информационного обеспечения систем тестирования в форме файлового построения к проектированию систем адаптивных тестовых проверок, ориентированных на использование современных средств баз данных.

Принципиальное отличие КСТЗ, основанное на концепции применения банков тесто­вых ситуаций состоит в том, что она формирует ресурс коллективного пользования, не­обходимый для принятия решений позиционерами различной категории. Очевидно, что у этого информационного ресурса должен быть администратор, умеющий организовать ра­циональное взаимодействие между пользователями и способный принимать обоснован­ные решения с целью достижения максимальной эффективности функционирования сис­темы КАТ.

В широком смысле слова КСТЗ радикально отличается от традиционного подхода в определении того, что образует БТЗ, и в управлении последним. Концептуально система КАТ содержит информацию о поведении тестируемых, категории трудности ПДТЗ, спе­цификации тестовых материалов, механизмах адаптации и оценки, атрибутах тестируе­мых и т. п. БТЗ образует совокупность данных:

·  интегрированных: при малой или отсутствующей избыточности;

·  семантически связанных в той степени, в какой может быть обеспечена полная и непротиворечивая информация о функционировании системы КАТ;

·  информационно ориентированных;

·  независимых от процессов, которые они поддерживают.

Более того, для образования КСТЗ эти данные должны быть построены с применением методологических правил и стандартов, а также подвергнуты структуризации и специфи­кации. Управление БТЗ призвано обеспечить разделение данных, сохранение их незави­симости, доступность и уменьшение избыточности в прикладном программировании. Системы управления КСТЗ предоставляют общие описания данных и их интегрированное хранение.

Под независимостью данных понимают условия, при которых модификации в фор­матах данных и методах доступа, не влекут за собой изменений в прикладных программах использующих эти данных. Это достигается путем удаления из прикладных программ элементов низкоуровневого программирования процессов управления ими. Управление осуществляется командами манипулирования данными, которые выполняют универсаль­ные элементы управления (как локальными, так и удаленными), что позволяет изолиро­вать прикладные программы от влияния большинства изменений в структуре БТЗ, а также в процессе его развития или модификации. Обобщенное интегрированное описание КСТЗ обеспечивает доступность данных, а обобщенные команды манипулирования последними упрощают разработку прикладных программ, которым требуется доступ к БТЗ. Системы, реализующие запросы КСТЗ и языки генерации протоколов результатов тестовых испы­таний предоставляют доступ к инструментальным средствам тестирования пользовате­лям-непрограммистам для ввода ПДТЗ и распечатки выходных документов. Для успеш­ной реализации этих принципов необходима координация деятельности позиционеров, а также централизация управления целостностью и защитой БТЗ от несанкционированного доступа.

Дидактическая организация БТЗ представляет основание, на котором в процессе взаи­модействия тестируемого и квазисубъекта формируется траектория поведения каждого объекта нечисловой природы. Дидактическая организация системы выступает при этом как идеализированная объективность, обеспечивающая заданный уровень коммуникации. Культура дидактической организации БТЗ основана на регуляризации знаний, представ­ляющей собой систему процедур, позволяющих путем сравнения выводов тестируемого с образцами ПДТЗ и принятыми в системе КАТ алгоритмами обработки результатов этого сопоставления представить отдельные знания в виде модели поведения тестируемого. По­этому такая организация БТЗ приводит к созданию адекватных алгоритмов, тестирующих программ, последовательности взаимосвязанных правил и, наконец, технологии КАТ, реализующей эти закономерности и правила.

Модели в человеко-компьютерных системах включают поведенческие переменные. Поэтому с такими переменными следует обращаться телеологически. Тем самым дости­гается понимание содержания процесса КАТ и появляются дополнительные возможности для управления им. Недостаточно только предсказывать поведение – его надо уметь объяснять. И в этом смысле цифры, определяющие категории трудности, хранящиеся в банке данных ЭФТК, необходимо понимать как числа, но не как символы.

Модель тестируемого выполняет ряд дидактических функций. Прежде всего она слу­жит мерой дидактической спецификации БТЗ. Во-вторых, она выполняет роль средства обмена данными в ходе адаптивного тестирования. В-третьих, дидактическая модель яв­ляется средством накопления знаний о качестве образцовых ПДТЗ из БТЗ. В-четвертых, она способствует формированию валидно-содержательного БТЗ по каждой учебной дис­циплине. Логико-дидактическая структура поведения тестируемого выступает здесь как траектория, которая задает направление процесса тестовых испытаний для каждого кон­кретного индивида, устраняя противоречия между его поведением и мерой трудности предъявляемых заданий. Главным при этом является то, что характеристика приобретаемых системой КАТ знаний о содержании БТЗ является формой выражения дидактической организации массива ПДТЗ. Отсюда качество дидактической оценки во многом определя­ется качеством логико-дидактической структуры БТЗ – спецификацией.

Спецификации БТЗ – это исходное детальное описание смысла и значения совокуп­ности ПДТЗ, отражающих содержание исходной предметной области с заданной валидностью. Спецификации как вид деятельности представляют собой декомпозицию кон­кретного знания, осуществляемую разработчиком KCT3, а как результат – компози­цию множества тематических единиц учебного материала, которые должны быть представлены в виде упорядоченной совокупности ЭФТК. Эта композиция обращена к проектанту, ориентирована на знание им содержательной стороны проблемы, результата и целей СКДО УУД тестируемых. Культура обращения с основными атрибутами содержания структурированного материала и знание возможностей инструментальной среды КАТ применимы к разработке понятийной или технологической спецификаций в большей ме­ре, чем в создании KCT3 с учетом методологических правил и стандартов [1].

Цель спецификации – отобразить, систематизировать и организовать сведения, отно­сящиеся к гипотезам, методам и средствам из конкретных разделов и тем конкретной учебной дисциплины, установить количество форм ЭФТК и их категории трудности, до­биться требуемой степени валидности KCT3.

Спецификации KCT3 – это документы, которые служат основой для разработки ПДТ с заданными показателями качества. Их качественная разработка значи­тельно уменьшает вероятность того, что будет создана БТЗ с низкими показате­лями валидности КФТ.

Полнота спецификации духовной компоненты знания характеризует глубину охва­та содержания исходного материала, применения стандартизированных форм пред­ставления ЭФТК в нужной пропорции, наличие в KCT3 тестовых ситуаций с различ­ными мерой трудности и различающей способностью. В инструкции no построению тестов Northen Examination and Assesment Board рекомендуется, чтобы весь учебный материал был «охвачен предлагаемыми вопросами. Содержание предмета должно пол­ностью покрываться матрицей по всем темам». При такой постановке проблемы не­возможно создать тесты с высокими показателями полноты и валидности даже для хо­рошо структурируемых учебных дисциплин. На наш взгляд содержание теста должно строго соответствовать результату (отбор, отсев, классификация, аттестация) и требо­ваниям образовательных стандартов. Так, например, при составлении композиций тес­тов по высшей математике спецификации и план теста для студентов всех факультетов (кроме математических, где математика – будущая специальность обучаемых) тесто­вые задания не должны включать в себя доказательства теорем, вывод формул и реше­ние сложных задач. Отсюда следует, что композиция КФТ обусловлена его содержани­ем и назначением, в то время как формы ПДТЗ, образующие данный тест, являются важнейшими, организующими элементами, придающими тесту заданную валидность, соподчиняющий его компоненты друг другу и целому.

Валидность определяет степень соответствия контента KCT3 содержанию исход­ного учебного материала. Результативность – означает возможность применения со­вокупности ПДТЗ для формирования из нее множества выборок (КФТ), нацеленных на достижение ожидаемого итога.

Чем детальнее проведена операция декомпозиции, тем большей будет валидность KCT3, а чем больше количество заданий (в разумных пределах) будет включено в КФТ, тем больше выше вероятность правильной оценки степени обученности индиви­да. Основополагающая идея при этом весьма тривиальна: за повышение правильности отображения значения латентного параметра тестируемого приходится больше «пла­тить». В контексте параметризации модели поведения целеустремленного объекта это означает тратить силы проектантов и тестируемых на генерацию требуемой информа­ции. Поэтому от преподавателя (экзаменатора) требуется найти некоторый компромисс между числом заданий в ПДТ и требуемой верностью оценки результатов тестовых проверок.

Однако процедуры представления содержания ЭФТК, отражающие конечную со­вокупность тестовых суждений, столь сложны, что требуют участия в процессе оценки валидности БТЗ экспертов, которые хорошо осведомлены о методах принятия реше­ний, приемлемых для разных типов критериев, способах оценки качества ПДТЗ и ПДТ в целом, возможностях конкретных инструментальных средств, стандартизированных формах представления ПДТЗ и методологических правилах конструирования профес­сиональных компьютерных тестов.

Возникает вопрос: «Каким образом построить исходные спецификации КФТ?» По­скольку качество понятийной (содержательной) спецификации непосредственно влия­ет на валидность теста, весьма важен способ ее получения. Однако универсальных ме­тодов построения правильных спецификаций ПДТ не существует (по крайней мере, пока они еще не найдены). Следовательно, такая модель может быть только результа­том высокоуровневых выводов человека. Но даже профессиональному тестологу трудно сразу же отыскать подробные спецификации на основе одних только умозак­лючений, одними только умозрительными методами. Метод, который принимается в действительности, представляет собой процесс последовательного приближения к та­кой спецификации, в которой сначала составляется приближенная (грубая) модель, за­тем, исходя из этой структуризации, на основе результатов анализа проводятся подоб­ные спецификации. В этом процессе трудно отделить анализ от синтеза. Очевидно, правилен такой подход, при котором система обработки знаний объединяет задачи анализа и синтеза и принимает форму системы поддержки процесса спецификации (рис.4.).

В спецификациях от содержательных средств требуется выразительность и гиб­кость стандартизированных форм представления исходного материала. Степень и спо­соб декомпозиции на этом этапе должны облегчать ее написание и понимание, служить инструментом объяснения, детализации и валидизации контента и значения тестовых заданий. Пример спецификации теста «Математика-2» читатель может найти в [14].

В практической деятельности спецификации не всегда могут быть заданы в полной форме, позволяющей определить структуру модели KCT3. В частности, в таких задачах синтеза как проектирование несложных тестовых ситуаций, так или иначе, отсутству­ют творческие элементы. Однако если проблема становится сложнее, то с самого нача­ла требования к проектированию спецификации не ясны. Любые получаемые результа­ты декомпозиции учебного материала служат некоторым промежуточным, временным целям, носят локальный характер и подвержены влиянию последующих уточнений. Следовательно, роль экспертов заключается в том, чтобы эффективно помогать дея­тельности проектантов и в конечном итоге получать спецификации на KCT3 в их окончательном виде. Стиль работы, координирующий действия разработчика и эксперта, состоит в том, что проектант выдает эксперту идеи, на основе которых осуществляется интерактивное построение спецификации БТЗ. Эксперт изучает построенную модель, оценивает результаты анализа и выдает их разработчику. Последний, рассматривая по­лученные результаты, выносит суждение о том, насколько точно они соответствуют его собственным представлениям, является ли модель KCT3 верной и вносит частич­ные коррективы в спецификации (рис.4).

Рис.26 Процесс формирования спецификации

В идеале весь процесс решения проблемы разделяется на ту часть, где спецификации определяются проектантом – в первой половине этого процесса, и ту часть, где проводится оценка экспертом-тестологом – во второй его половине. Моделью проблемы условимся называть завершенные спецификации KCT3, детализированные настолько, что они содер­жат всю необходимую для достижения требуемого результата информацию. Из приведен­ного объяснения может показаться, что построение спецификации – это выбор в группе всех завершенных моделей той из них, которая отвечает намерениям исследователя. Од­нако если быть более точным, следует сказать, что построение БТЗ есть лишь выбор одно­го пути, которым достигаются правильные завершенные спецификации.

Следовательно, результаты оценки завершенной спецификации – не более чем некото­рые предположения о конечных результатах решения проблемы. О том, сохранится или не сохранится это предположение в течение всего последующего процесса детализации, мо­гут сказать только очень опытные тестологи. Это объясняется тем, что вывод о заданной валидности БТЗ превышает возможности разработчика KCT3. По этой же причине первая половина процесса решения проблемы не может быть полностью автоматизирована. С другой стороны, чрезвычайно важно обратить внимание на уровень возможной автомати­зации второй половины процесса анализа при разделении работ между проектантом и экспертом как на необходимое условие реализации системы поддержки решения проблем с использованием обработки промежуточных результатов декомпозиции.

Привлекаемые к процессу принятия решения о качестве спецификации учебного ма­териала специалисты помогают разработчикам выявить наиболее обоснованный вариант наилучшего с точки зрения валидности решения из множества допустимых альтернатив. Сбор и обработку информации от нескольких экспертов необходимо производить при помощи специальных вычислительных процедур на персональных компьютерах. Тем самым обеспечивается конфиденциальность сведений, учет качества экспертизы каждого спе­циалиста, хранение и возможность коррекции экспертной информации.

В основе умения составления спецификаций лежит принцип иерархической декомпо­зиции сложных понятий. Разбивая эти понятия на части, следует руководствоваться пра­вилом: частей должно быть «не слишком много и не слишком мало, но не больше шести» [1]. Декомпозиция проводится до тех пор, пока на каждом ярусе иерархии не поя­вятся ЭФТК оптимальной энтропии для испытуемых с фиксированными степенями обученности. В этом случае смысл и значение ПДТЗ будут логичными, содержательными, понятными и мотивированными для испытуемых.

Удобное описание спецификации дают графы, называемые деревьями. Дерево – это система описания узлов и связывающих их ребер. Различным ребрам, выходящим из од­ного узла, соотносятся различные заглавия (разделы, темы, понятия). На рис.5, приведен лес спецификаций, состоящий из двух деревьев. Узлы дерева, отстоящие от корня на i ре­бер, образуют ярус порядка i. Порядком узла называют номер его яруса. Порядком де­рева называют максимальный из порядков его узлов. Узел, из которого не выходит ни од­но ребро, – нулевой.

Рис.5. Лес из двух деревьев

Для предоставления возможности формирования корректного заключения на требова­ние ПДТЗ корневое заглавие подвергается декомпозиции. Номер яруса группировки ЭФТК свидетельствует о мере их трудности. По этому основанию ПДТЗ разделяются на доступные и недоступные для корректных заключений на них испытуемых. Принципи­ально доступными для правильного заключения будем считать ПДТЗ, расположенные на данном ярусе, когда тестируемые из конкретного класса обученности могут формировать истинные выводы с вероятностью, равной 0,5.Такие ЭФТК будем называть заданиями оптимальной энтропии для испытуемых с фиксированной степенью обученности. Чем выше уровень узла яруса, тем меньше предпочтительность ПДТЗ.

Для перехода ко второму узлу яруса необходимо применять операцию деления (груп­пировки) исходного заглавия. При этом будут образованы вспомогательные, более дос­тупные для правильного заключения темы или понятия. Проводя дальнейшую группиров­ку из узлов 2-го яруса, образуем соответствующие понятия третьего (еще более низкой по мере трудности) яруса сведения. В результате деления ПДТЗ на ярусы мы получим спе­цификации KCT3 принципиально доступные для испытуемых из различных классов обу­ченности.

Деление учебного материала базируется на применении следующих правил:

·  подмножества разбиения должны быть непересекающимися;

·  деление на каждом этапе должно производиться по одному основанию;

·  объем делимого должен быть равен объединению объемов подмножеств.

Например, корректные и ошибочные спецификации понятия «Натуральные числа» имеет вид:

Спецификации позволяют создавать последовательности логически связанных и орга­низованных в банк ПДТЗ, начиная от корневых узлов и кончая вспомогательными ЭФТК низшего яруса сведения. Однако следует помнить, что эта процедура не является форма­лизованной. Спецификации всегда содержательны, а поэтому не могут претендовать на формализацию конструирования проблемных тестовых ситуаций. В этой связи уме­ние проектировать рациональные спецификации в значительной степени зависит от уров­ня культуры логичного мышления разработчика и глубины знания им соответствующей предметной области.

Степень разнообразия KCT3 выражается в диверсификации культуры, когда созда­ются ареалы, отличающиеся друг от друга содержательным наполнением и значениями качественных показателей композиций КФТ. Такие распределенные БТЗ рассредоточены в пространстве, работают сравнительно автономно с использованием средств типового банка данных и имеют специальную информационную структуру сетевого вида, верши­нами которой на нижнем уровне являются описания технологий тестовых проверок, а на остальных уровнях – описания укрупненных процессов с набором характеризующих их показателей.

Разделение учебного материала на ярусы составляет основу культурной дифферен­циации тестируемых. Последнее достигается применением к объектам нормативно – ори­ентированного ПДТ, в котором генерируемые в композиции теста ЭФТК имеют различ­ную предпочтительность по трудности. Благодаря структурной адаптации, тестируемые разбиваются КФТ на классы, что и отражает разделение их по степеням обученности. Ес­ли образам из заданного класса предъявляется личностно-ориентированный ПДТ, в кото­ром тестовые ситуации имеют близкие со степенями обученности испытуемых категории трудности, то появляется возможность социальной дифференциации каждого испытуемо­го внутри конкретного образа.

При выполнении спецификации KCT3 разработчик выражает свой взгляд на то, что он считает важным проверить в результате КАТ. Здесь важна глубина проникновения проек­танта в содержание конкретной области знания, умение отобразить смысл и значение ка­ждого раздела, темы и понятия в адекватные им формы ЭФТК. Но людям свойственны субъективные взгляды на предметные области, поэтому неопределенности и ошибки в спецификациях неизбежны. Об этом говорил еще Д. Парнас: «Без человеческих ошибок можно обойтись только тогда, когда можно обойтись без человека». Поэтому надо преду­смотреть обсуждение спецификаций KCT3 в группах специалистов, проверить синтакси­ческую и логическую правильность декомпозиции учебного материала, обеспечить их сертификацию.

Конечным элементом спецификации KCT3 является ее композиция, придающая БТЗ единство и целостность, соподчиненность ее компонентов друг другу и результату тести­рования. Компонентом (единицей композиции) KCT3 являются КФТ, где ПДТЗ сведены к ситуациям, постановки которых детерминируются результатами КАТ. Качественные ком­позиции КФТ являются следствием логически правильной спецификации БТЗ. В принципе может быть составлено множество вариантов композиций ПДТ. Выбор необходимой композиции зависит от результата тестовых испытаний и заданного качества оценки.

Требования к банку тестовых заданий (БТЗ).

Тематическое содержание БТЗ определяется Государственным образовательным стан­дартом (ГОС).БТЗ должен быть структурирован по разделам, темам и понятиям. Каждое тестовое задание может иметь маркировку только одного элемента каждого уровня струк­туры.

Спецификации БТЗ должны строго соответствовать своему назначению и отвечать за­данной величине содержательной валидности. Тестовые задания в БТЗ должны быть представлены в различных формах и ранжированы по трем категориям трудности.

БТЗ должен пройти экспериментальную проверку, на основании которой будут опре­делены показатели валидности и верности оценки, зафиксированные в сопроводительной к тесту документации.

Количество заданий в БТЗ должно превышать длину формируемого на его основе тес­та не менее, чем в 10 раз. Каждый БТЗ должен сопровождаться спецификацией с инфор­мацией о содержательной части, его качественных показателей и физических характери­стик:

·  цели применения теста,

·  предметная область,

·  авторский коллектив,

·  структура и спецификации теста,

·  дата сертификации и утверждения БТЗ,

·  содержательная валидность,

·  уровни интервалов обученности,

·  наименование и размер тестов (файлов) необходимых для проведения тестиро­вания.

На БТЗ должны быть представлены документы об авторских правах его разработчиков

Требования к технологии компьютерного тестирования

Тестируемый до начала проверки должен быть уведомлен о количестве заданий в тес­те и временных ограничениях. При адаптивном тестировании количество заданий в тесте заранее не оговаривается. У тестируемого должна быть возможность перед началом офи­циального тестирования выполнить по крайней мере один раз демонстрационный тест для ознакомления с интерфейсом тестирующей программы и способами ввода заключений. Демонстрационный тест должен быть небольшим, содержащим не более чем по два зада­ния различных форм и способов ввода заключений, встречающихся в данном тесте. Со­держание демонстрационного теста должно быть отвлеченным, простым и понятным тес­тируемым с различной степенью обученности.

Во время тестирования на экране монитора должно располагаться только одно тесто­вое задание. Все элементы ПДТЗ должны отображаться на экране монитора. Для отобра­жения элементов группы не должны использоваться раскрывающиеся списки.

Способ ввода заключения должен быть прост и удобен. Введенное тестируемым за­ключение должно отображаться на экране монитора и быть понятно тестируемому.

Тестируемый должен иметь возможность:

·  подтвердить окончание ввода заключения на задание; после подтверждения окончания ввода заключения, тестовое задание вновь не предъявляется и ис­править введенное заключение невозможно;

·  исправить введенное заключение до момента подтверждения окончания ввода его заключения;

·  неоднократно пропускать задания; пропущенные задания должны быть обяза­тельно вновь предъявлены тестируемому; если время, отведенное на выполне­ние теста, закончилось, то все пропущенные задания засчитываются как тесто­вые с неверными выводами;

·  самостоятельно устанавливать параметры информационного освещения про­цесса тестирования: отображение длительности (или оставшегося времени) тес­тирования, количества предъявленных (или оставшихся для предъявления) за­даний;

·  по окончании тестирования немедленно просмотреть результат: полученную оценку, длительность сеанса тестирования, общее количество заданий в тесте (для неадаптивного режима), число предъявленных заданий, количество зада­ний с верными и неверными заключениями;

·  в любой момент времени вызвать на экран монитора инструкцию по способу ввода заключения. Инструкция должна отображать информацию о способе вво­да заключения на задание только той формы, которая представлена в данный момент времени на экране дисплея.

Механизм оценки поведения тестируемого должен обеспечивать заданную верность тестовых испытаний и требуемую величину объективности.

Инструментальная среда компьютерного тестирования должна обеспечивать:

·  ввод, хранение, модификацию и распечатку тестовых заданий;

·  возможность возврата тестируемого к ранее пропущенным им тестовым ситуа­циям;

·  возможность самостоятельного регулирования испытуемым темпа тестирова­ния;

·  дружественный интерфейс к разработчику БТЗ и тестируемому;

·  возможность формирования БТЗ для любых областей знаний с заданной специ­фикацией;

·  генерацию множества тестов из банка тестовых заданий в соответствии с за­данной спецификацией теста;

·  приспособление меры трудности тестовых ситуаций к качеству заключений респондентов на требования тестовых утверждений;

·  автоматическую обработку заключений тестируемого и предъявление протоко­ла сеанса тестового испытания в реальном времени;

·  возможность изменения шкалы оценки результатов тестирования,

·  совместимость программного обеспечения со стандартами ISO и POSIX; гармонизацию форм представления тестовых материалов со стандартом IMS.

Приведем несколько фрагментов спецификаций БТЗ на примере дисциплин экономи­ческого направления, отличающихся уровнем детализации.

Спецификации учебной дисциплины обладают четко выраженной целостностью. По­следняя обнаруживает себя, с одной стороны, в наличии свойств и закономерностей, ко­торые, характеризуя, конкретную область знания в целом, отсутствуют у отдельно взятых связей целого, а с другой стороны, в сложности и иерархичности строения учебного зна­ния, в наличии нескольких уровней его организации, находящихся в многогранных взаи­мозависимостях – причинных, структурных, функциональных, включая циклы взаимодей­ствий по принципу обратной связи.

Композиции пдт

Умение, составлять или выбирать КФТ, ориентированные на заданный результат, весьма важно при подготовке испытаний. Некорректно (т. е. с нарушением правил практи­ческой логики) составленные ПДТ – явление массовое. Недостатками здесь являются: не­согласованность содержания теста с результатом (задание различной трудности использу­ется для оценки реальной степени обученности); ориентация только на задания в закрытой форме (моноформные тесты); малый объем выборки ПДТЗ; низкая разрешающая способ­ность теста; отсутствие предварительных параметров качественных показателей теста и интервалов качества оценки в тестирующей системе (верности, валидности и эффективно­сти). Содержание таких ПДТ логически не связано и не упорядочено, т. е. тесты являются нелогично построенными. B. C. Аванесов называет подобные ПДТ псевдотестами и ука­зывает, что «...практика создания так называемых тестов по множеству учебных дисцип­лин и, комплексных междисциплинарных тестов вне культуры дидактических измерений бесперспективны, они способствуют профанации как самой идеи комплексной оценки, так и тестового метода». Псевдотесты не могут использоваться для СКДО УУД испытуемых и их применение в системе образования приносит только вред.

Композиция ПДТ — синтез структуры КФТ на основе рационального объединения ЭФТК (из БТЗ) в единое целое, исходя из достижимого результат и требуемой верности оценки УУД тестируемых.

В культурной форме все тестовые ситуации должны быть согласованы. Вместе они составляют логично связанное, целостное образование, определяемое спецификацией ПДТ. При композиции КФТ принимают во внимание определенные критерии в зависимо­сти от принятой таксономии целей тестовых испытаний. Сюда относятся:

·  знание фактов, понятий, закономерностей, законов, теорий, принципов, правил и взаимозависимости между ними;

·  умение выполнять мыслительные действия;

·  умения давать критические оценки;

·  умения применять знания в новой (конкретной) ситуации;

·  навыки выполнения конкретных операций.

Цели применения полиформного ПДТ определяют его содержание – обоснование же­лаемого ответа на его основной вопрос, выраженного наименованием и назначением дан­ного теста.

Содержание теста представляет собой сведение его целей к выбору (или построе­нию) системы тестовых заданий специальной формы, различного уровня трудно­сти и получение из анализа выводов объектов/образов на последние ожидаемого результата.

Отсюда следует правило организации ПДТ

Π15: Для композиции КФТ необходимо: ·  указать требуемый результат; ·  в соответствии с этим результатом уточнить цели теста; ·  исходя из выбранных целей сформировать на основе банка тестовых заданий про­граммно-дидактические тесты, обеспечивающие достижение заданного результата; ·  проверить качественные показатели выборки.

Из формулировки правила Π15 видно, что первые две позиции достаточно подробно рассмотрены ранее. Оставшиеся ситуации Π15 требуют дополнительного рассуждения.

В процессе анализа качества КФТ возникает вопрос об оценке различающей способ­ности тестов. Чтобы уяснить сущность этой задачи, рассмотрим следующий гипотетиче­ский пример. Пусть даны результаты оценки качества заключений пяти испытуемых по трем тестам (табл.1) [25].

Таблица 1

Испытуемые	ПДТ
	1	2	3
1	4	5	4
2	5	3	4
3 _	4	4	4
4	2	4	4
5	5	4	4
Средние оценки по тестам
	4	4	4

Средние оценки по тестам оказались одинаковыми. Можно сделать вывод о том, что все ПДТ, в среднем, дают одинаковые результаты по анализу УУД тестируемых. Однако из табл. 1. даже визуально видно, что этот вывод является ошибочным.

Чтобы убедиться в этом, воспользуемся формулой К. Шеннона

и найдем степень разброса оценок, полученных тестируемыми для каждого из трех ПДТ. В этой формуле рi – вероятность i-ой оценки в j-м тесте. Значения энтропии для ПДТ будут равны:

Несмотря на то, что средние оценки испытуемых по различным ПДТ одинаковы, эти тесты отличаются друг от друга различающей способностью:

·  первый тест обладает высокой различающей способностью;

·  второй текст позволяет различать степень обученности индивидов;

·  третий тест не дает возможности различить поведение респондентов.

Как система проверки уровня учебных достижений, ПДТ характеризуется назначени­ем, составом, системностью и структурой. Назначение компьютерного дидактического теста определяется результатом проверки (классификация объектов или аттестация обра­зов). Спецификации ПДТ по каждой учебной дисциплине включает наименование теста, цели, содержание ПДТЗ по темам и разделам, среднее время выполнения отдельных зада­ний и теста в целом, меру трудности теста, количество ЭФТК и многообразие их форм. Системность ПДТ означает соответствие содержания ПДТ поставленным целям и воз­можностям СКДО телеологического состояния обученности объекта с заданной верно­стью. Гомогенность ПДТ – важное проявление его системного качества. Существенным отличием ПДТ от дидактических тестов на бумажном носителе является то, что порядок предъявления ПДТЗ и мера их трудности зависят от качества выводов каждого кон­кретного объекта или образа на предыдущие задания.

Структура выборки определяется алгоритмом компьютерного адаптивного тестиро­вания и устанавливает порядок предъявления заданий объекту на экране дисплея. Суще­ственным здесь является то, что при детерминированном или случайном предъявлении тестовых заданий, ПДТ должен с заданной валидностью охватывать требуемую глубину содержания учебной дисциплины.

Исходными посылками при формировании полиформного ПДТ является наличие бан­ка ПДТЗ по рассматриваемой области знаний, которые являются правильными и доступ­ными (в принципе) для формирования выводов тестируемых с различными уровнями достижений. Это означает, что тестовые задания отображают не только содержание раз­делов, тем и понятий конкретной учебной дисциплины, но группируются в банке данных по категориям трудности. Поскольку ПДТЗ представляются истинными утверждениями, остается корректно выбрать из банка ЭФТК задания, которые в своей совокупности обра­зуют полиформный ПДТ, пригодный для обеспечения заданного результата. Чем полнее ЭФТК отражают содержание учебной дисциплины, тем выше уровень валидности ПДТ. Валидность компьютерного теста зависит не только от глубины охвата содержания кон­кретной учебной дисциплины, но и от числа заданий, предъявляемых объекту или образу в процессе сеанса тестовых испытаний.

Предположим, что целью выбора (или разработки) ПДТ является разбиение поведения телеологических объектов на классы. В этой ситуации формирование структуры испыта­тельного модуля (КФТ) организуется следующим образом. Прежде всего, преподаватель осуществляет выбор тех разделов, содержание которых соответствует заданной области знаний. В соответствии с ожидаемым результатом ПДТЗ подбираются из массива тесто­вых заданий различной меры трудности. Такой подбор КФТ является основой для организации технологии адаптивного тестирования, призванной обеспечить выделение образов с заданными УУД.

Для изучения состояния обученности целеустремленного объекта следует задать закон изменения тестирующих воздействий в соответствии с поведением каждого индивида. При этом наблюдения учитываются с различными весовыми множителями, которые зави­сят от меры трудности ПДТЗ и качества выводов респондентов. По такой ситуационной модели, включающей в себя описание предыстории действий системы КАТ, прогноз по­ведения тестируемого можно составить для некоторого последующего момента времени. Необходимо иметь в виду, что все факторы, влияющие на состояние обученности тести­руемого в исследуемом периоде должны быть неизменными.

Уточнение прогноза производится по принципу обратной связи – новые прогнозы поведения индивида корректируются на основе учета качества его заключений в предше­ствующих периодах наблюдений. Существенным является то, что в каждом тренде на­блюдений целесообразно использовать последовательность коэффициентов, придающую более высокий вес более поздней информации и позволяющую относительно просто стро­ить дидактическую модель поведения объекта нечисловой природы.

Адаптивная система тестового контроля оценивает выводы тестируемого и при необ­ходимости (если число неверных заключений превышает допустимую величину) произво­дит подключение модели объекта к массиву заданий с меньшей мерой трудности (струк­турная адаптация). Если объект снова допускает долю неверных заключений выше до­пустимой, то происходит автоматическое переключение к банку тестовых заданий с еще более низкой мерой трудности. Положительные выводы, полученные ранее объектом, со­храняются программой и используются при вычислении оценки за весь период испыта­ний.

Количество ЭФТК в полиформном тесте должно обеспечить качественную оценку уровня достижений. Объекты с близкими степенями обученности одинаково классифици­руются различными нормативно-ориентированными тестами, выбранными из банка ПДТЗ. Только в этом случае KCT3 будет считаться объективной. ПДТ относится к про­фессионально составленному, если его показатели валидности, верности и объективности оценки не ниже заданных. Если нормативно-ориентированный тест предполагается ис­пользовать в процессе самостоятельного адаптивного тестирования, то количество ЭФТК должно быть достаточно большим.

Так, например, при формировании выборок в области математических и естественно­научных учебных дисциплин, число ПДТЗ может колебаться от 80 до 100 заданий. Тест, предназначенный для разбиения тестируемых на классы в области гуманитарных учебных дисциплин, должен содержать не менее 130-150 заданий. Отсюда следует, что общее чис­ло ПДТЗ различного уровня трудности, хранящихся в банке данных, должно быть в 10 раз больше, чем количество тестовых заданий в компьютерном тесте. Это позволит генериро­вать различные по содержанию, но эквивалентные по мере трудности КФТ при неодно­кратном самотестировании объектов. Если респондента устраивает результат классифика­ции (исходный балл), то первый этап (самотестирование) считается завершенным. В про­тивном случае, объект может продолжить дальнейшее изучение учебного материала с це­лью повторного самотестирования для перехода в более высокий класс обученности.

Второй этап компьютерного адаптивного тестирования (КАТ) связан с параметриче­ской адаптацией и состоит в предъявлении образу теста, соответствующего его уровню достижений (классу). При этом удается избежать аномальных эффектов, когда θi ≠ βj. ПДТЗ, категория трудности которых не соответствует образу с фиксированным уровнем обученности, не должны предъявляться испытуемому. Динамический ряд у1,y2,...,уn из n последовательных наблюдений рассматривается при промежуточной аттестации испы­туемого как выборочная реализация из конечной совокупности ЭФТК заданной меры трудности. Для постоянного уровня обученности испытуемого (в течение сеанса тестирования) выполнение условия θi ≈ βj обеспечивает заданную верность оценки его достиже­ний.

Результатом тестирования в данном случае является определение реального УУД ис­пытуемого. При этом системой формируется личностно-ориентированные ЭФТК из банка тестовых заданий, что требует от тестируемого максимального напряжения критического мышления при формировании прагматически корректных выводов. Личностно-ориентированные выборки повышают интерес образов к деятельности, увеличивают мо­тивацию их в процессе всего сеанса тестирования, стимулируют саморазвитие и самосо­вершенствование испытуемых. Более того, требование обеспечения оптимальной энтро­пии предъявляемых заданий гарантирует получение реального балла для каждого испы­туемого с фиксированной степенью обученности.