, Тягунова культуры адаптивного тестирования. – M.: Национальный институт бизнеса, 2003. – 370c (стр. 2 )

Почему поведение и состояние элементов эмпирической системы носят нечисловой характер? Ответ на этот вопрос состоит в том, что проверяемые, экзаменаторы и разра­ботчики тестовых материалов не мыслят цифрами. В логичном мышлении позиционера используются слова, образы, но не количественные величины. Это видно из условных ат­рибутов оценки поведения тестируемых (отличник, почти отличник, хорошист и т. п.) и категории трудности ЭФТК (трудное, средней трудности, легкое). Никто не возьмет на се­бя ответственность утверждать, во сколько раз или насколько отличник лучше хорошиста.

Заключения тестируемого на требования ПДТЗ различной меры трудности, установ­ленные в порядковой шкале, являются ранжировками, результатами парных сравнений, но не числами. Распространенное заблуждение состоит в том, что отдельные акты поведения респондента изучают как числа – баллы, которые обрабатывают с помощью методов коли­чественной статистики как результаты обычных физических измерений [40].

В случае произвольности оцифровки полученные таким способом результаты обра­ботки данных могут не иметь отношения к реальности. Это утверждение иллюстрируется на примере «неадекватного данным усреднения отношения школьников к профессиям» [26].

Структура СКДО уровня достижений объектов нечисловой природы весьма сложна, но может быть сведена к двум взаимодействующим между собой компонентам. Во-первых, в науку о дидактической оценке УУД входят эмпирические знания, причем не только заимствованные из логичного мышления и представленные в виде методологиче­ских правил, инструкций и требований, но и специально обобщаемые результаты научных наблюдений за качеством заключений тестируемых, выраженные определенным языком. Данные научных наблюдений являются тем эмпирическим базисом, из которого форми­руются значения о моментах переключения меры трудности ПДТЗ или об отнесении по­ведения целеустремленного объекта к одному из априорно заданных своими образцами классов обученности. Эмпирики лежат, например, в основе создания концептуальной мо­дели поведения объекта и разработки методологических правил проектирования тестовых материалов, выборе стратегии управления процессом КАТ и качественных уровней-интервалов обученности тестируемых. Оценки качества ЭФТК и КФТ, неподдаюшиеся непосредственному измерению, также базируются на субъективных суждениях экспер­тов.

Во-вторых, тестология и тестометрия – это области эмпирического и теоретического знания, которые призваны вносить не только новые формально-логические методы в опи­сание процессов СКДО УУД, но и открывать в эмпирическом материале действие зако­нов, сводить эти законы в целостную систему. Здесь на первое место выходит обобщение научных наблюдений за поведением тестируемых, когда из данных и фактов образуется система знаний. Это положение особенно важно для тестометрии, когда в качестве эмпи­рического объекта исследования выступает латентный параметр феномена нечисловой природы. Синтез эмпирических и теоретических знаний определяет структуру процессов управления (алгоритмов адаптации и шкалирования) и составляет основу теории СКДО УУД респондентов.

Здесь мы не согласны с аргументами антииндуктивиста К. Поппера, который противо­поставляет дедукцию индукции и, более того, отрицает само существование последней: «Индукция, то есть вывод, опирающийся на множество наблюдений, представляет собой миф. Она не является ни психологическим фактором, ни фактом обыденной жизни, ни фактом научной практики». Это суждение Поппер делает на основании того, что первона­чальное предположение «все лебеди белые» было опровергнуто открытием австралийских черных лебедей. Однако Поппер умалчивает о том, что цвет лебедей не является специ­фическим признаком для данного вида птиц. Отрыв современной теории тестов (тестологии) от мировоззренческого отражения объективной реальности привел к тому, что эта область естествознания ассоциируется с классической теорией измерения. Так, например, на XIV Международном философском конгрессе в Вене (1968) неопозитивист А. Айер и неотомист Й. Мойрерс отстаивали идею, что естествознание может «только измерять величины». Подобный подход обедняет есте­ственные науки и ограничивает область их приложения в теории тестологии и тестомет­рии.

В России это положение усугублялось тем, что в конце 30-х годов прошлого века при­зыв «Овладеем культурой» сменился новым лозунгом – «Овладеем большевизмом». Внешние атрибуты культурности подверглись осуждению и порицанию, на первый план вышли «твердые убеждения и партийная сознательность».

Следуя философскому принципу историзма, необходимо помнить, что для создания культурного пространства адаптивного тестирования требуется учет опыта классической и современной теории тестов. Простым комбинированием эмпирических элементов до­биться этого невозможно. А это означает, что единственной альтернативой для эволюции теории тестов является «наследственный» путь усложнения структур, когда использует­ся опыт предшествующих, обработанных и проверенных методов тестовых испытаний.

Осуществляя движение в этом направлении, заметим, что процессы, которые изучают классическая и современная теории тестов, составляют основу педагогических измерений. Но каждое измерение дает только количественные закономерности исследуемых при­знаков, а потому качественные признаки затушевываются. Для этого случая справедливы слова английского физика Э. Розерфорда: «Качество есть плохое количество». Это выска­зывание в известной степени справедливо в физических исследованиях, но когда объекта­ми математического описания являются сложные развивающиеся системы социологии, психологии, образования и т. п., ценность качественных методов резко возрастает. Лишь после того, когда построена концептуальная (содержательная, качественная) модель описания того или иного объекта эмпирической системы, можно принять во внимание «количественную сторону дела».

При анализе поведения телеологических объектов (тестируемых) фундаментальной проблемой становится правдоподобное описание задач широкого диапазона. Более того, возникает необходимость наличия такой формы представления знаний, которая гаранти­рует, что обработка их содержимого формальными правилами и методами будет осущест­вляться правильно. Поэтому особую ценность в процессе оценки функционирования эм­пирических систем имеют те концептуальные и математические модели, которые качест­венно инвариантны, т. е. не изменяют своих свойств при использовании их для описания объектов произвольной природы.

Объектом изучения тестологов и разработчиков системы КАТ являются эмпирические (качественные) и числовые (количественные) множества. Совокупности тестируемых, множество ПДТЗ, методологические правила и т. п. образуют эмпирическую систему, а ее элементы объекты произвольной природы. Другими примерами объектов нечисловой природы в культурном пространстве КАТ являются: а) значения признака меры трудности ПДТЗ; б) упорядоченные экспертами образцы тестовых ситуаций; в) структуризация и спецификации БТЗ; г) качественные уровни-интервалы на шкале оценки.

В некоторых случаях исследователей интересуют не элементы этих множеств, а лишь заданные отношения между группами неоднородных по степени обученности респонден­тов. Например, если нас интересуют учебные достижения множества индивидов по неко­торой учебной дисциплине, то эти оценки бывают нужны лишь для того, чтобы устано­вить, к какому классу (таксону) обученности относятся тестируемые.

В другом случае изучается поведение однородных эмпирических объектов одного класса обученности. Тогда нас интересует УУД каждого конкретного испытуемого из за­данного образа. Произвольную совокупность элементов вместе с выделенными на них операциями будем называть системой с отношениями. Ясно, что отношения могут различаться не только по форме их задания, но и по смыслу. Носителем эмпирических систем с отношениями служит некоторая совокупность неоднородных по значениям латентных параметров тестируемых. На этом множестве имеют место следующие отношения:

·  респонденты а и в имеют близкие значения степени обученности;

·  целеустремленные объекты а имеют более высокую степень обученности, чем тестируемые из различных, но схожих по поведению групп в и с.

Будем называть одномерной числовой системой такой артефакт, носителем которого служит множество наборов длины n, где n – объем ПДТ. Множество-носитель называют пространством компьютерного тестирования, а число n – размерностью этой числовой системы.

Основной целью неметрического – типологического – шкалирования является представление поведения телеологических объектов, однако допускается отказ от гомо­генности групп тестируемых, а так же то, что различные респонденты не одинаково вос­принимают пространство оценки. Иначе говоря, оценка их поведения происходит по ре­зультатом анализа их заключений на набор ПДТЗ различной меры трудности. Формально это означает, что при оценке УУД учитывается взвешенное расстояние, когда величинам параметра трудности ЭФТК придаются различные значения. В итоге мы получаем два ти­па результатов: а) количество набранных объектом баллов в пространстве оценива­ния; б) класс, приписываемый их поведению в множестве априорно установленных уровней-интервалов обученности.

Философский подход к анализу поведения однородных и неоднородных эмпириче­ских систем (шкалированию) состоит в синтезе качественных и количественных катего­рий при отображении значений латентного параметра тестируемых с отношениями в шка­лу оценок (классификации и оценивания). Сопоставляя процедуры классификации и оце­нивания УУД индивидов, можно представить, что в процессе КАТ устанавливаются не только количество баллов, полученных респондентом, но и производится отнесение его поведения к одному из априорно выбранных на этапе шкалирования качественных уров­ней-интервалов обученности.

Синтез эмпирического и теоретического знания дает возможность приводить косвен­ные инструментальные наблюдения за качеством заключений тестируемых, что позволяет на основе обобщения фактов добывать новые знания о поведении объектов нечисловой природы. Накопление количественных фактов в области тестометрии – путь к глубоким качественным изменениям как методов дидактического анализа качества тестовых мате­риалов, так и оценки УУД индивидов.

Понятие истинной степени обученности конкретизируется философией до термина истины объективной, под которой подразумевается знание, содержание которого не за­висит от проверяющего (квазисубъекта). Существенным в этом определении является то, что в объективной истине выражена диалектика объекта и субъекта. С одной стороны, степень обученности проверяемого объективна, ибо она не зависит от тестирующей про­граммы, а с другой стороны, она субъективна, поскольку поведение тестируемого прояв­ляется в процессе его коммуникации с квазисубъектом. И в этом смысле наше знание о латентном параметре обученности испытуемого в каждом сеансе проверки относительно: оно отражает действительность с заданной степенью верности.

Под верностью дидактической оценки понимают меру приближения результатов кос­венных научных наблюдений за поведением эмпирического объекта к действительному значению состояния его обученности. Последнее идеальным образом отражает в качест­венном и количественном отношениях соответствующий параметр личности. Это значе­ние параметра обученности отображается в УУД испытуемого, выражается качествен­ными понятиями «почти отлично», «отлично», «превосходно», «более чем хорошо», и т. д., а также количественными баллами [10].

С точки зрения категорий философии оценка рассматривается нами как синтез коли­чества (числа) и качества (смысла). Качество в этой области знания порождает количе­ство, а смысл проверяется числом – результатом оценивания. Если бы этого не было, то теория оценивания и классификации поведения объекта нечисловой природы не могла бы быть проверена на опыте, не имела бы предсказательной силы. Логичное мышление определяет структуру установления оценки, и то, что содержит исход тестовой проверки, когда взаимосвязанные соотношения заключений тестируемого находят свое отражение в сочетании числа и смысла.

Максвелловская электродинамика – один из примеров, который подтверждает эту мысль. Она применяется для проектирования генераторов, линий связи, радиоприемных устройств, ускорителей и т. п. И эти приложения вызваны не тем, что мы умеем решать уравнения Максвелла (1831 – 1879), а тем, что мы понимаем основные понятия этой теории и руководящие сущности, лежащие в ее основе. Здесь для понимания смысла электромаг­нитной теории качество является главным, а количественный математический аппарат Максвелла играет, хоть и важную, но вспомогательную роль. Об этом писал еще Оливер Хевисайд (1850 – 1925).

Процесс СКДО УУД объекта нечисловой природы как основной способ отображения значения латентного параметра обученности тестируемого в уровень его учебных дости­жений включает в себя, во-первых, создание, модификацию и сертификацию KCT3 по различным областям знаний с установленными априорно показателями качества тестовых материалов. Во-вторых, это разработка концептуальной и математических моделей пове­дения объекта. В-третьих, это управление процессом компьютерного тестирования с це­лью адаптации системы к качеству заключений индивида и проектирование механизмов оценивания и классификации его УУД. Развитие этих направлений тестологии и тестометрии требует философского осмысления эмпирических и теоретических положений теории КАТ, постижения ценностей и смыслов знаковых систем и артефактов как информационных носителей культуры тестовых испытаний, их гармоничного включения в кон­текст современных методов адаптации и оценки поведения целеустремлнных объектов нечисловой природы.

Философия КАТ призвана объяснять закономерности развития теории KT, обосновы­вать методы управления (адаптации, классификации и оценивания) процессом тестовых испытаний и содержательного представления научной картины дидактической оценки УУД тестируемых, выступать как духовное рационально-теоретическое освоение направ­ления деятельности позиционеров в культурном пространстве СКДО. Объектом ее изуче­ния является культурное пространство компьютерного тестирования как целостная, мно­гомерная и многоуровневая система, для характеристики которой важное значение приоб­ретают проблемы самоорганизации, спецификации тестовых материалов, качества оценки, описания процессов мышления и функционирования системы КАТ, культуры регулирова­ния образовательного процесса и т. п.

Эти категории отражают наиболее общие понятия тестологии и тестометрии, фикси­рующие опорные, узловые знания об эмпирической системе СКДО УУД респондентов. Ясно, что, чем больше категорий, чем полнее и шире они охвачены содержательным «ок­ружением», тем «ближе» они расположены друг к другу в системе теоретического и эм­пирического знания. Новое содержание философского мышления в области установления латентного (скрытого) параметра обученности индивида определяется также возрастанием объемов рациональной деятельности позиционеров (разработчиков и тестируемых), вне­сением элементов искусственного интеллекта в программное обеспечение инструмен­тальных средств тестирования, возможностью регулирования процесса обучения на осно­вании мониторинга результатов тестовых проверок. Реализация этих положений связана со становлением культуры тестирования.

В соответствии с информационно-аксиологической концепцией под культурой будем понимать совокупность воплощенных ценностей, которые накапливаются, сохраняются, модифицируются, обрабатываются техническими системами с помощью создаваемых позиционерами знаковых средств. Три лика культуры – ее духовная, социальная и техни­ческая компоненты – составляют целостное культурное пространство КАТ, существова­ние и изменение которого связано с человеком и определено его целенаправленной и ос­мысленной деятельностью [19].

Отдельные феномены культуры – артефакты – образуют знаки – систему чувственно воспринимаемых предметов непосредственно определяющих те объекты, о которых ут­верждается, а также те свойства и отношения, которые этим сущностям приписываются. Из знаков формируются слова или словосочетания, используемые для создания абстракт­ных понятий культурного пространства тестирования. При этом каждое слово служит ус­ловным знаком, принятым во всеобщее употребление участниками пространства КАТ для обозначения определенного свойства (рис.2).

Введение знаков избавляет позиционеров от необходимости изучать бесконечное множество явлений или процессов, обобщенных по определенному признаку, позволяет говорить обо всех подобных объектах произвольной природы как об одном и том же. Со­вокупности слов представляют тексты, включающие в себя социально значимую инфор­мацию, используемую для управления процессом КАТ и проектирования профессиональ­ных банков ПДТЗ. Культурные тексты обладают для участников комплекса тестовых ис­пытаний самоценными смыслами. Они символизируют отношения между реальными ар­тефактами и позиционерами с точки зрения их общезначимости и ценности, как для раз­работчиков компонентов культурного комплекса, так и для тестируемых. Философское осмысление генезиса пространства КАТ требует его герменевтического освоения, пости­жения ценностей и смыслов текстов как информационных носителей культурных феноме­нов, их органического включения в контент постсовременной теории тестирования. От­ношения между элементами эмпирической системы выражаются в форме суждений, пред­ставляющих собой мысленно возможные ситуации, которые «могут иметь место для предъявляемых сущностей или не иметь места». В формальном или естественном языке данной форме мышления соответствуют предложения. Извлекаемая из текстов информа­ция, пройдя ряд преобразований, может рассматриваться как знание. В инструментальных средах адаптивного тестирования различают три модели представления объектов: логиче­ские, сетевые и продукционные. Для данных превращенных в знания, характерны внут­ренняя интерпретируемость, структурированность, связность, семантическая метрика и активность.

Рис.2. Взаимосвязь компонентов культурного пространства тестирования

Языковая (логическая или логичная) конструкция, будучи обобщением реальных си­туаций, оказывается абстрагированным отражением деятельности позиционеров в про­странстве КАТ. Однако следует понимать, что основным феноменом этого комплекса яв­ляются объекты произвольной природы. Поэтому описание в виде формальной структуры компонентов культурного пространства тестирования является как бы вершиной айсберга, основное качественное содержание оказывается скрытым.

Составляющие культурного комплекса КАТ позволяют извлечь правила приспособле­ния тестирующей программы к поведению каждого конкретного индивида и сформиро­вать траекторию заключений респондентов на требования ЭФТК. Духовная (когнитив­ная) компонента культуры включает в себя методологические правила конструирования ПДТЗ, структурирования и спецификации учебного материала, проведение экспертизы и сертификации ПДТ. Каждый ЭФТК, хранящийся в банке тестовых заданий (БТЗ), играет свою роль, имеет смысл и значение (категория трудности), служит мерой эффективности проведения тестовых испытаний. В дальнейшем духовную составляющую культуры бу­дем понимать именно в этом (узком) смысле слова.

Социальная компонента устанавливает нормативную систему деятельности участ­ников культурного пространства КАТ. Сюда относятся система стандартов, инструкций и правил, регламентирующих процесс создания и оценки качества не только тестовых мате­риалов, но и технологий компьютерного тестирования. Философия культуры объясняет действия и поступки позиционеров как деятельность по правилам. Выполнение методо­логических правил конструирования ПДТ, стандартов, требований и норм является обяза­тельным и составляет сущность социальной компоненты культуры КАТ. Разработка но­вой концепции обработки результатов поведения респондентов и появление в 2001 году стандарта IMS по тестированию послужили основой становления культуры КАТ, когда по результатам научных наблюдений требуется оценить (желательно с минимальным рис­ком) значение латентного параметра обученности индивида.

И, наконец, третья компонента культурного пространства КАТ образует область тех­нической культуры, которая понимается нами как рациональная деятельность по созда­нию инструментальных средств компьютерного тестирования и их операциональному на­полнению. В область технической культуры входят технологические компоненты управ­ления и спецификации KCT3, а также средства коммуникации и связи. Эта составляющая культуры содержит в себе определенные логичные и математические структуры, обеспе­чивающие формальный и содержательный переход от латентного параметра уровня обу­ченности индивида к описанию дидактической модели его поведения. Для того, чтобы данные, содержащие косвенную информацию о состоянии (точнее, поведении) тестируе­мого, могли быть использованы системой КАТ, они должны быть обработаны специаль­ной программой и включены в контекст знаний о дидактической оценке УУД этого рес­пондента, определенным образом соотнесены с ними, и только в этом случае эти знания могут эффективно использоваться как фактор культурной деятельности позиционеров.

Три стороны культуры схематически изображены на рис. 3 в виде плоскостей, на кото­рых отображается содержание культурного пространства КАТ [19]. Синтез этих компо­нентов комплекса позволяет, образно говоря, построить категориальный каркас открытого пространства СКДО. Результат синтеза дедуктивных и содержательных трактовок со­ответствующих категорий – теоретическая основа КАТ.

С точки зрения философии культуры пространство КАТ не выводится из наблюдений за поведением позиционеров, поскольку процесс тестирования предполагает этот ком­плекс как форму своего «протекания». Этот феномен состоит из культурных компонентов, организованных в целостную систему. На том основании, что реальные компоненты нель­зя представить вне пространства, но можно представить пространство без культурных компонентов, оно есть необходимо априорное представление, делающее возможным внешнее выражение процесса тестовых испытаний. Характер доопытности данному спо­собу выражения культурного комплекса КАТ придает то, что пространство тестирования мыслится как акультная бесконечность состояний возможных наблюдений поведения и деятельности позиционеров. Это пространство адаптивного тестирования обладает, во-первых, эмпирической реальностью, так как им сопровождаются коммуникации позицио­неров с культурными компонентами (духовными, социальными, техническими), во-вторых, трансцендентальной идеальностью, поскольку оно не лежит в основе феноменов культуры самих по себе – если отбросить условия возможности рационального взаимо­действия феноменов комплекса, то пространство КАТ прекратит свое существование, хотя элементы в «себе» должны будут сохраниться.

Рис.3. Структура компонентов модели культурного пространства КАТ

Основное внимание в системе КАТ уделяется изучению условий логичного равнове­сия, под которым понимается такое описание ее состояния, для которого характерно удержание близости мсры трудности ПДТЗ к фиксированной степени обученности тестируемого. Это свойство в значительной степени способствует упорядочению и фор­мализации качественных идей и понятий, присущих тестометрии, а также оказывает влия­ние на развитие методологии СКДО достижений респондентов.

Философия КАТ изучает наиболее общие проблемы сущего и должного в специфиче­ской сфере дидактической оценки УУД, рассматривает проблемы удовлетворения естест­венных и постоянно меняющихся образовательных потребностей личности. Дуальный ха­рактер философии адаптивного тестирования с ориентацией и фокусированием системы добытых в этой области знаний как на решение проблем типологической классификации поведения целеустремленных объектов по УУД, так и на индивидуальные, дифференци­рованные образовательные запросы отдельной личности, сказывается на самом статусе компьютерных проверок, свидетельствует о принципиальной необходимости синтеза зна­ний о поведении тестируемых. Философия адаптивного тестирования исследует такие «пограничные» сферы как взаимоотношения культуры оценки и культуры регулирова­ния, гармоничное единение духовной, социальной и технической компонентов культу­ры.

В концептуальном плане ответ на эти вопросы дает аспектный анализ поведения объ­екта нечисловой природы в единстве его образного и личностного знания. Эти структур­ные блоки в своей взаимосвязи и целостности формируют объективную сферу философско-оценочного знания в наиболее полном виде. Структурирование и детализация поведе­ния и свойств объектов, приложения этого знания к проблеме шкалирования представля­ется задачей исключительно важной, поскольку увеличение уровня декомпозиции интер­вала качества оценки приводит к более четкому и ясному отображению степени обучен­ности испытуемого [14]. Несмотря на достаточно длительную предысторию и активную разработку теоретиче­ских и прикладных вопросов оценки УУД как в нашей стране, так и за рубежом, проблема установления значения латентного параметра обученности телеологического объекта яв­ляется относительно новой. По существу исследования и разработки в классической, да и в современной теориях тестов, ориентированы на экстенсивный путь развития оценки степени обученности индивида. Экстенсивный потому, что результаты обоих подходов не выходят за пределы использования параметрических моделей.

Интенсивный путь развития теории адаптивного тестирования ориентирует исследо­вателей не на механический перенос в нее методов классической теории вероятностей и математической статистики, а на разработку адаптивных алгоритмов тестирования и соз­дание принципиально новых методов изучения эмпирических объектов на основе теоре­тических положений непараметрической и интервальной статистики. Более того, предла­гаемый авторами подход к построению инструментальных систем КАТ на первое место выдвигает проблему анализа качества заключений испытуемого как личности, поведение которой описывается с учетом философских категорий количества и качества.

Исследуя творческую личность тестируемого, можно обозначить ряд положений, ко­торые задает контекст анализа ее реальной деятельности. Во-первых, личность индивида – достаточно ранее психическое образование. Оно не может полностью сформироваться до начала рациональной деятельности испытуемого в культурном пространстве КАТ, по­скольку постичь смысл этого интеллектуального комплекса, сформировать и, главное, реализовать ценностные отношения к нему можно только внутри каждого конкретного индивида. Hе владея нормативной системой культуры, отношение объекта нечисловой природы к проверкам собственных достижений не может стать «действительным и ста­бильным компонентом ценностно-мотивационной системы образования». Таким образом, понятие «личность испытуемого» – некоторая реальность, которая характеризует его рациональную деятельность в пространстве КАТ через ее субъективную ценность и значи­мость.

Второй момент, характеризующий испытуемого как личность, определяется тем, как упомянутые ценности и смыслы воплощаются в конкретных нормах, мотивах и установ­ках, регулирующих субъективную свободу его учебной деятельности. Внешне мотивиро­ванная деятельность респондента направляется преимущественно потребностью в при­знании, соображениями престижа, классом обученности, занимаемого внутри конкретного социума, по отношению к которому проверка УУД выступает скорее средством, а не це­лью. Внутренняя мотивация предполагает, что деятельность тестируемого в культурном пространстве проверок побуждается логикой познания и желанием установления объек­тивной оценки собственной степени обученности.

О личностном пути движения однородной эмпирической системы в культурном про­странстве КАТ можно говорить только в тех случаях, когда субъект осознает свое участие и ответственность за свои поступки, пытается активно способствовать или противодейст­вовать внешним обстоятельствам, планировать и ставить цель определения собственного УУД, изменять ради этой цели окружающий мир и свое собственное поведение. Именно этот путь и является наиболее продуктивным для творческой личности, действующей в культурном комплексе тестовых проверок.

В рамках философии КАТ должна быть обоснована специфика использования систем­ного подхода к изучению процесса СКДО УУД в целом и его отдельных компонентов, по­казана необходимость поиска инвариантных подходов к целеполаганию, спецификации БТЗ по конкретным областям знаний, конструированию ПДТЗ, выбору конкретных форм тестовых ситуаций, анализу алгоритмов управления тестирующими воздействиями, раз­работке методов оценивания и классификации результатов тестовых проверок целеуст­ремленных объектов нечисловой природы.

Философское знание призвано воплотить в себе стратегические идеи повышения эф­фективности процесса тестирования на основе его гуманизации, технологизации, объективизации, массовости, дифференциализации, адаптации, индивидуализации и т. д. на всех этапах КАТ. Эти категории могут быть осмыслены с достаточной полнотой лишь на меж­дисциплинарном уровне. Именно поэтому и необходимы философский, системный подхо­ды к их анализу и, в конечном счете, к их синтезу. При этом возрастает роль и значение культуры СКДО достижений, отражающей в инвариантной системе знаний сложившуюся для данного конкретно-исторического этапа дидактическую парадигму, выполняющую ду­ховную и нормативную функции по отношению к развивающейся теории и практике КАТ.

Выявление и наполнение специфическим содержанием культурных компонентов про­странства КАТ (оснований, теорий, закономерностей, категорий, понятий, правил, гипотез и т. п.) позволяют, с одной стороны, выделить данную область научного знания от других на­ук, а с другой – установить возможности интегрированного взаимодействия знаний на уровне конкретных взаимоотношений компонентов социальной, духовной и технической культуры в аспекте их взаимодополнения и взаимообогащения. Подобные исследования в таком масштабе проводятся впервые, однако, на взгляд авторов, от развития данной мето­дологии во многом зависит научный уровень политики и стратегии в сфере дидактической оценки поведения объектов нечисловой природы.

Главная функция философии КАТ состоит в решении проблемы гармоничного едине­ния массификации и демассификации культуры оценки, их мировоззренческого син­теза. Первая обеспечивает уровень взаимопонимания и интеракцию позиционеров (разра­ботчиков, администраторов и тестируемых) в культурном пространстве тестовых прове­рок. Вторая гарантирует возможность каждому испытуемому действительно индивиду­альное самовыражение, выделяющее его поведение среди других индивидов данного об­раза. Таким образом, впервые не только в сфере философских стремлений и целей, но в самой реальности, в ее культурологических основаниях «возникают возможности для об­разования культурно-самодостаточных и вместе с тем гармонических индивидов» [35].

Для реализации этой гуманистической модели культуры КАТ необходимо ответить на вопрос: существуют ли фундаментальная ценность, инвариантная условиям проведения компьютерных тестовых испытаний латентному параметру обученности для каждого от­дельного индивида и для респондентов конкретного социума? Такими ценностями, имеющими существенные значения для испытуемого и коллектива тестируемых, являют­ся объективная и субъективная компоненты свободы как условия самореализации ка­ждой личности в установлении собственной степени обученности.

Что же представляют собой эти компоненты свободы? Первая из них – объективная свобода – означает наличие инструментальных средств тестирования, банков качествен­ных ПДТ3 и нормативных документов, регламентирующих деятельность позиционеров с реальными феноменами ЭФТК, КФТ и KCT3 пространства компьютерных проверок. Объ­ективная свобода охватывает всю совокупность условий, делающих это пространство принципиально реальным и открытым для доступа позиционеров.

Вторая компонента – субъективная свобода – включает знания каждым эмпириче­ским объектом из данного социума возможностей культурного комплекса тестирования, а также все остальные знания, необходимые для ориентации и принятия в нем адекватных решений. Субъективная свобода – состояние деятельности тестируемого, в которой он формирует и совершенствует свои сущностные силы путем познания компонентов от­крытого пространства КАТ, реализует потребность установления собственной степени обученности. Свобода и ответственность – залог культурной деятельности позиционеров. Субъективная свобода реализует системообразующий принцип мировоззренческого син­теза инструментальных, духовных и социальных феноменов пространства тестовых про­верок. Слова апостола Павла «все мне позволено, но не все полезно» – по-прежнему акту­альны для деятельности позиционеров в этом комплексе. Позволительно верить в безус­ловную ценность свободы установления собственного уровня достижений и пользоваться свободой в соответствии с общезначимой системой культурных норм. Генезис личности – это социокультурный процесс освоения телеологческим объектом системы культуры, содержания и ценностей культурного пространства КАТ, их творче­ского преобразования в индивидуальных формах. Под личностью мы понимаем любого участника культурного комплекса адаптивного тестирования, который в индивидуальной мере усваивает правила и нормы деятельности, преобразует свою социальную сущность. Социализация личности означает врастание ее в культурное пространство компьютерно­го тестирования. Здесь формируется и институциализируется специализированная куль­тура, когда исследователи проявляют себя как тестологи или эксперты. Их действия под­чинены стандартным технологиям и методологическим правилам, методически обоснова­ны, экспериментально выверены. Процесс социализации связан с усвоением позиционе­рами некоторого обязательного культурного минимума тестологии и тестометрии, когда переход от традиционной отметки к культуре оценки связан с приобретением разработчи­ками KCT3 и тестируемыми нового статуса, изменения привычного образа деятельности. Обучение нормам и правилам деятельности в культурном комплексе адаптивного тести­рования называется ресоциализацией [24].

Третьим компонентом структуры свободы является система принимаемых индиви­дом решений. Выбор возможных решений тестируемым для творческой реализации сво­их потребностей в установлении исходного и реального УУД становится неотъемлемым элементом свободы принятия решения для реализации собственной траектории заключе­ний на требования ПДТЗ.

И, наконец, четвертый компонент структуры свободы есть процесс реализации при­нятого решения. Он предполагает наличие системы культурных норм, обеспечивающих выполнение каждым эмпирическим объектом рациональных и нравственных решений, относящихся к поступкам тестируемых и этическим основаниям свободы, внутренне осознанных и принятых ими. Мировоззренческий характер философского знания о про­цессе КАТ вырабатывает обобщенную систему взглядов позиционеров на пространство тестовых проверок и место в нем каждого конкретного индивида, акцентирует их внима­ние на познавательном и эстетическом отношениях к феноменам этого комплекса.

Деятельность объекта нечисловой природы в пространстве КАТ можно конкретизиро­вать как динамику предпочтений попадания тестируемого в тот или иной уровень-интервал обученности, который испытуемый выбирает в ситуации принятия решения на одном из этапов КАТ. Такое осознание собственных смыслов, безусловно, связано со сво­бодным выбором респондентом номативно – или личностно-ориентированного для него по смыслу и значению ПДТ [9,10].

Таким образом, если мировоззрение есть понятие, характеризующее меру свободы, которую культурное пространство тестовых проверок в состоянии предоставить испытуе­мому, то носителем этих систем обобщенных взглядов являются личность и социальная группа, воспринимающие данную реальность сквозь призму собственных ценностей. Маркса о том, что в центре будущего общества будет стоять «свободная ин­дивидуальность, основанная на универсальном развитии индивидов», находит свое во­площение в реализации культурного комплекса адаптивного тестирования.

Вне триединства инструментальных, духовных и социальных феноменов комплекса компьютерного тестирования невозможно обеспечить взаимодействие различных компо­нентов свободы. Взять на себя функцию мировоззренческого синтезатора этих компонен­тов культуры и тем самым предоставить тестируемым возможность на новой идеологиче­ской основе оценить качественно степень собственной обученности может только куль­турное пространство КАТ – целостная рациональная система качественных и коли­чественных отношений. В этом комплексе становление личностных смыслов и ценно­стей связано с мерой свободы, которая предоставлена каждому конкретному телеологи­ческому объекту для реализации его решений о личностных предпочтениях.

В современных педагогических исследованиях в области тестологии проблема ценно­стей как регуляторов деятельности и диалога сохраняет до сих пор методологический контекст асиологических субъект-объектных отношений. Оценка субъекта направлена при этом на внешнюю по отношению к нему действительность – экзаменуемого. Эта кон­цепция подобных взаимодействий представлена теорией деятельности , в которой понятие личностного не включало ценностные отношения в содержание понятий, описывающих смысловую регуляцию оценки уровня УУД испытуемых. Такой подход был оправдан в силу невозможности сравнения поведения проверяемых с близкими сте­пенями обученности в условиях массовых испытаний и ограниченном времени проведе­ния традиционного контроля знаний.

Активная регулирующая роль самосознания целеустремленного объекта в культур­ном пространстве КАТ предполагает возможность структурирования поведения индивида. В плоскости эмпирических исследований конструктивная роль личностных решений проявляется на первом этапе тестовых испытаний, когда решается вопрос об установле­нии близости оценок респондентов в процессе выполнения ими ПДТЗ различной катего­рии трудности. Здесь реализуются только личностные смыслы тестируемых.

Наша вторая гипотеза заключается в том, что на основе реализуемых личностью воз­можностей (попадания результатов КАТ в тот или иной уровень-интервал обученности) испытуемый приступает к осмыслению полученной на первом этапе КАТ ситуации (класса, образа обученности). Этот процесс предполагает переход от личностных смыслов к личностным ценностям, которые выражаются в решении о приемлемости для него оценки, полученной в результате анализа качества его заключений на нормативно-ориентированный ПДТ и выбора для себя личностно-ориентированного теста [10].

Уточнение личностно значимого для испытуемого действительного уровня обученно­сти может произойти только в том случае, когда на основе личностных предпочтений он принимает решение о готовности выполнения однородного (точнее, близкого к его степе­ни обученности) теста. Эта активность эмпирического объекта находит свое реальное вы­ражение в процессах осмысления и взвешивания разных смысловых содержаний и ценно­стном для него контексте выбора с учетом тех или иных мыслей и переживаний. Перевод плана индивидуальных предпочтений (в условиях свободного выбора) для себя личностно-ориентированного ПДТ во внешнюю деятельность предполагает подключение к лич­ностным смысловым структурам «культурного резерва» испытуемого, когда он несет мо­ральную ответственность за выбор однородной по мере трудности КФТ на этапе установ­ления его реального (близкого к действительной степени обученности) УУД. В переходе личностных смыслов к собственным ценностям лежат истоки ответственности целе­устремленного объекта нечисловой природы за собственные решения [9].

Предлагаемый здесь подход установления степени обученности тестируемого включа­ет как минимум две составляющие – образование личностных смыслов и переход от них к личностным ценностям. Такая позиция согласуется с рассматриваемым взаимопереходам «планов внешней речи как речи для других, внутренней речи как речи для себя и мышления, предполагающего зарождение мысли из мотивирующей сферы соз­нания» [Выготский и речь. Собр. Соч., T.2,M., 1982]. Внешнюю речь мы здесь можем интерпретировать как личностный смысл исходного УУД образа, а внутрен­нюю – как личностные ценности, раскрывающие реальный УУД испытуемого.

При таком понимании философии КАТ оказывается, что приобщение к ней тестируе­мого следует рассматривать как институт формирования личности в качестве объекта и субъекта культурного пространства адаптивного тестирования. И в этом смысле фи­лософия культуры высоких технологий тестовых проверок изучается нами как духовно-творческая деятельность участников культурного комплекса тестирования, как мера вы­ражения их самосознания и достоинства, залог и условие личной самореализации. Это но­вое для сферы образования направление заряжено стремлением противопоставить себя господствующей ныне традиции усреднения достижений проверяемых и поэтому требует определенности, прежде всего в установлении ясных и явных функций философии куль­туры адаптивного тестирования.

Функции философии КАТ

Философия КАТ как особый вид духовной культуры связана с практической деятель­ностью участников культурного комплекса, а потому ориентирована на выполнение мно­гообразных функций. Важнейшая из них функция мировоззрения — совокупность прин­ципов, взглядов и убеждений, определяющих направление деятельности и отноше­ние к культурному комплексу тестовых проверок позиционеров различной катего­рии.

Коммуникация объекта нечисловой природы и тестирующей системы в культурном пространстве КАТ – один из важнейших вопросов эпистемологического познания. Не­обычность ситуации, в которой оказывается респондент, состоит в том, что он должен действовать в этом комплексе с учетом требований и норм культурной системы, методо­логических правил и социальных ролей. В этом смысле каждый объект нечисловой при­роды предстает как феномен культурного пространства, где всеобщим признаком, выде­ляющим конкретного индивида, является его поведение как особый вид мыслительной и психической деятельности.

Классическая и современная теория тестов стандартизируют поведение целеустрем­ленных объектов, индивидуальные качества тестируемых не являются здесь предметом специального изучения. Стандартизация мыслей и поведения объясняется наличием оди­наковых по мере трудности тестовых заданий для индивидов с различными значениями латентных параметров обученности. Успехи респондентов также оцениваются стандартно при помощи традиционных методов количественной статистики [27,28,40].

Мировоззренческая функция философии КАТ по своему содержанию направлена на решение проблемы познаваемости степени обученности личности. Личные интересы индивида требуют удовлетворения его потребности в объективном установлении собст­венного уровня обученности. Поэтому коммуникации тестирующей системы и объекта нечисловой природы – это взаимоотношения их интересов.

Поведение личности в культурном пространстве КАТ исследуется в двух аспектах. Прежде всего тестируемый рассматривается как устойчивая система социально значимых черт, характеризующих индивида как члена из определенного класса (образа) обученно­сти. К одному образу тестирующая система относит поведение объектов в процессе клас­сификации, когда к данному таксону приписываются тестируемые со схожими (близкими) в некотором смысле качествами заключений на требования ПДТЗ нормативно-ориентированного теста.

Но термин «личность» связан и с понятием «индивидуальность». Индивидуальность находит свое выражение в уходе от типичности, когда тестирующая система действует та­ким образом, что бы УУД испытуемых из одного таксона (например, хорошистов) были различимы между собой. Именно поэтому в культурном пространстве КАТ личность – это целеустремленный объект, рассматриваемый с точки зрения не только его схожего по­ведения с тестируемыми из заданного класса обученности, а и со стороны неповторимо­сти его собственного УУД.

Так в культурном комплексе СКДО УУД возникает дуальная дифференциация тес­тируемых: сначала объекты разбиваются на однородные группы – образы, а затем внутри этих классов производится различение поведения каждою конкретного ис­пытуемого. Эти взаимоотношения элементов эмпирической системы и респондентов пре­ломляются через их отношения с тестирующей программой, которая для разбиения инди­видов на классы и для различения поведения испытуемых внутри каждого образа генери­рует существенно различные композиции ПДТ.

Подобного рода этапность с мировоззренческой точки зрения свидетельствует о неог­раниченной возможности приближения оценки УУД испытуемых к действительной сте­пени обученности личности путем увеличения числа этапов тестовых проверок с одно­временным повышением значимой валидности личностно-ориентированных ПДТ.

Мировоззренческая

Главная, на наш взгляд, мировоззренческая функция философии адаптивного тестиро­вания состоит в трансформации принципа антропоцентризма, согласно которому «человек есть центральная и высшая цель мироздания». Сущность интерпретации антропоцен­тризма применительно к мировоззренческой функции КАТ можно выразить так: пози­ционер является эндогенным образованием по отношению к культурному пространству адаптивного тестирования и к самому себе.

Содержание принципа антропоцентризма менялось от Протогора (V в. до н. э.), кото­рый провозгласил положение о том, что «человек есть мера всех вещей», до современных взглядов на устойчивое развитие методов СКДО УУД тестируемого, ядром которых явля­ется идея использования его коммуникации с квазисубъектом (компьютерной програм­мой) как средства самопознания и самоутверждения. Такой подход в развитии антропо­центризма детализирует и дополняет заложенный в эпоху Возрождения мировоззренче­ский принцип осмысленно – гуманистического взгляда на индивидуализацию и самореа­лизацию личности.

В процессе самореализации целеустремленного объекта действует философский за­кон единства и борьбы противоположностей. Во-первых, он ориентирует индивида на по­иск своего образа (нормативно-ориентированный тест). Во-вторых, указывает на пере­ходящий характер полученного в процессе КАТ класса обученности, так как изменение образа есть переход в другое качество, характеризуемое иным «полем возможностей и противоречий». В-третьих, этот закон направляет процесс познания сущности степени обученности объекта нечисловой природы на ступени приближения меры трудности ПДТЗ к значению латентного параметра испытуемого (личностно-ориентированный тест).

Мировоззренческая функция философии КАТ исходит из понимания того, что каждый респондент культурного пространства тестирования является не только объектом, но и субъектом, УУД которых должны быть оценены с заданной верностью. Согласно этому подходу качественная трансформация успехов тестируемого происходит тогда, когда из­менение количественных характеристик его заключений достигает определенной меры. Такой взгляд на процесс КАТ основан на философском законе взаимного перехода коли­чественных и качественных изменений и раскрывает механизм развития познания об установлении действительной степени обученности испытуемого.

Особенностью современного подхода к рассматриваемому принципу является то, что каждый участник культурного пространства тестирования занимает одно из центральных мест в нем, а потому он является главным сознательно – деятельным фактором этого комплекса. Эта ситуация определяет характеристики частных законов, действующих в тестологии и тестометрии. Специфика мировоззренческих законов при таком подходе за­ключается в том, что их формулировки носят эвристический и теоретический характер. Спор между сторонниками применения теоретических и эмпирических уровней знания для описания процессов, происходящих в культурном пространстве КАТ, подразумевает наличие двух противоречий между философскими гипотезами.

Первая из них основывается на количественной категории оценивания УУД и подра­зумевает использование дедуктивных наук. Поскольку при компьютерном тестировании мы вынуждены формировать математическую модель траектории поведения респондента, и, следовательно, прибегать к процедуре идеализации (упрощению действительности), то результаты оценивания можно принимать лишь с определенной степенью верности. Статистический характер законов описания процесса КАТ связан, прежде всего, с массово­стью проведения тестовых испытаний в условиях неопределенностей представления как поведения индивидов, так и состояния учебной среды.

С развитием методов тестометрии и экспертных оценок тестовых материалов стало ясно, что существующие в классической и современной теории тестов модели количест­венного статистического анализа не могут дать этим явлениям удовлетворительное истол­кование, что области применения методов параметрической статистики к описанию дея­тельности и поведения телеологических объектов ограничены, не полны и поэтому нуж­даются не только в дополнении, но и в замене новыми, более общими теориями.

Вторая гипотеза, напротив, принимает тезис о принципиальной невозможности кор­ректной оценки УУД тестируемых методами традиционной (количественной) статистики. Новый подход рассматривает индивида как объекта нечисловой природы, успехи которого могут быть установлены только с помощью методов непараметрической статистики, когда в основе построения механизма аттестации заложена философская категория качества. Последняя влечет за собой тождественность (одинаковость) поведения объектов внутри каждого класса обученности и непохожесть этого описания для испытуемых из других образов (классов).

В свое время Гегель установил качество как тождественное с бытием объекта, а ко­личество – как равнодушное к бытию его определение. «Тождественное» в том смысле, что философская категория качества выражает специфичность, присущую феномену и от­личающую его от других объектов. «Равнодушное» потому, что категория количества от­влекается от содержательной стороны поведения объекта нечисловой природы.

Проблема соотношения количества и качества с эпистемологической точки зрения может быть истолкована так: сегодня тестологи давно известными методами статистиче­ски умеют получать числа о поведении тестируемых опытным путем, абстрагируя их от качественного конкретного смысла параметра обученности индивида. Задачей качества в этих условиях становится – приобретение умения вновь связывать число с той реальной степенью обученности целеустремленного объекта, от которой эта же «самая человеческая мысль» в свое время научилась абстрагировать количество от качества латентного пара­метра респондента. В этом, собственно говоря, и состоит главная проблема соединения числа с мыслью, которая восстанавливает на философском уровне связь количества с качеством, нарушенную ранее специалистами из классической статистики путем абстра­гирования этих категорий друг от друга. Такая гармония может наступить только в ре­зультате синтеза количественной и качественной сторон познаваемой степени обученно­сти тестируемого – как сплавление числа и мысли.

Философия категории тестометрии – это наиболее фундаментальные понятия, отра­жающие существование связей между действительной степенью обученности тестируемо­го и его поведением. Они являются основой познания культурного пространства КАТ, служат орудиями логического и логичного мышления участников этого комплекса. Здесь проявляется действие диалектического закона отрицания отрицания: сначала дается ис­ходная связь количества с качеством, затем она абстрагируется («отрицается»). После этого вторично отрицается это безразличие к смыслу поведения телеологического объек­та, и последнее снова обретает свое содержание.

В классической и современной теории тестов второе отрицание не произошло, и на­чатая правильно идеализация измерения УУД тестируемых приняла гипертрофические размеры. Так было и в античности, когда Пифагор (6в. до н. э.) приписывал числам сущ­ность вещей. Идеализация количественной стороны описания поведения целеустремлен­ных объектов и процессов породила течение механицизма, рассматривающего прямоли­нейное развитие процесса познания. Народники также пытались посредством неправиль­ного применения статистических методов (жонглируя со средними числами), т. е. неверно оперируя числами (количествами, значениями), замаскировать процесс глубокого рас­слоения и поляризации крестьянства. Но «неправильное мышление, если его последовательно проводить до конца, неизбежно приводит по давно известному диалектическому закону к таким результатам, которые прямо пропорциональны его исходному пункту» (Ф. Энгельс).

Чтобы избежать подобного рода ошибок, постсовременная теория КАТ должна со­держать в своей основе: классы обученности тестируемых, плотность поведения ин­дивидов внутри этих классов, расстояние между образами и испытуемыми, различ­ных по УУД среди каждого таксона. Следовательно, качественный анализ поведения объ­ектов нечисловой природы должен в нашем случае предшествовать количественному под­счету баллов, причем такой анализ должен быть проведен корректно направленной дея­тельностью тестолога-статистика. При этом определяющую роль должна играть философ­ская категория качества.

Проблема типологической классификации поведения целеустремленных объектов рассматривается в непараметрической статистике как задача группировки исходных дан­ных о качестве их заключений. При этом совокупность исследуемых объектов, каждый из которых задан научным наблюдением, требуется разбить на однородные по степени обу­ченности таксоны. В данном случае априорная информация о характере распределения значений наблюдаемых признаков внутри образов (если не считать общих предположе­ний, относящихся к диапазону изменений компонент вектора заключений телеологичесчких объектов и предполагаемом числе классов) практически отсутствует.

Нам будет целесообразно интерпретировать характер заключений тестируемых на требования ПДТЗ различной меры трудности в виде кластеров – групп элементов эмпи­рической системы, характеризуемых близким (сходным) описанием. Тогда основная цель типологической классификации – выделение в исходных многомерных данных таких од­нородных по значению латентного параметра обученности эмпирических объектов, пове­дение которых внутри каждой из групп было бы похоже в известном смысле друг на дру­га. Под «похожестыо» понимается близость характера заключений тестируемых в n-мерном пространстве значений признака, и тогда задача сводится к выделению в этом пространстве естественных скоплений выводов объектов нечисловой природы, которые и считаются однородными по степени обученности группами индивидов.

Разбиение респондентов на классы в соответствии с априорно заданными качествен­ными уровнями-интервалами реализуется в форме комбинационной группировки. Она представляет собой последовательное отнесение системой КАТ поведения объектов нечи­словой природы к определенной зоне обученности (отличников, хорошистов и т. п.) в со­ответствии с длиной и значимостью уровня-интервала. Решение данной задачи зависит от статистических свойств вектора научных наблюдений, полноты априорных сведений о ха­рактере вероятностного распределения заключений тестируемых.

Например, для нормального закона распределения предполагается, что величина ко­эффициента вариации при построении группировок не должна быть меньше 0,33. Однако, как отмечает ряд исследователей, у этого способа кластеризации имеется ряд ограниче­ний: «критические значения коэффициента вариации, как и любой случайной величины, не сводятся к одному числу, а зависят, в частности, от объема выборки; в рамках указан­ного критерического значения могут находиться самые разные, в том числе полимодаль­ные, распределения; метод неприменим в многомерных ситуациях; коэффициент не имеет смысла в интервальных шкалах». Так что, несмотря на распространенность этого способа кластерного анализа, его использование для разбиения поведения телеологических объек­тов на класты не может быть оправдано. Следует учитывать и то обстоятельство, что, если даже значения признака трудности ЭФТК и поддается количественной оценке, то эти чис­ла страдают значительными неопределенностями, возникающими из субъективного мне­ния экспертов при анализе ими качества ПДТЗ и всевозможного рода усреднений. В связи с этим для установления коэффициента сходства поведения объектов нечисловой природы предлагается использовать метрику B. B. Красильникова и предложенную им новую мето­дику решения задач кластерного анализа [25].

Этот подход основывается на методах непараметрической и интервальной статистики, обладает четкой содержательной осмысленностью и возможностью контроля результатов разбиения поведения целеустремленных объектов, придавая уровням-интервалам обученности нормативные значения. Общая эпистемологическая проблема оценки поведения объектов нечисловой природы с вероятностных позиций обретает здесь качественную ин­терпретацию результатов КАТ.

Непараметрический подход не требует домысливания непроверенных эксперимен­тально продуктов традиционной статистики: например, предположений о независимости отдельных научных наблюдений, что установить принципиально не представляется воз­можным; постулирования одного из законов распределения; однородности исходной со­вокупности объектов эмпирической системы и т. д. Безусловно, методы параметрической статистики могут применяться чисто в стохастических областях с миллионами наблюде­ний (например, в статистической физике), но «при тщательной проверке устойчивости, воспроизодимости результатов от серии к серии».

Поэтому мы будем проводить анализ поведения и свойств объектов нечисловой приро­ды на основе методов непараметрической статистики с применением процедур образцово­го типа. Для этого необходимо принять три решения: 1) обосновать тип и число значений меры трудности ЭФТК; 2) выбрать способ первичного задания образцовых множеств в KCT3; найти метрику и способ классификации поведения и свойств целеустремленных объектов. Обсуждение этих вопросов тесно связано со шкалированием при анализе дидак­тической информации и будет частично предпринято в этой книге.

Классы обученности (отличников, хорошистов и т. п.) образуют группы однородных по поведению телеологических объектов, различающиеся по их месту расположения на шкале оценки. Они формируются априорно экспертами и уточняются тестирующей про­граммой в результате анализа качества заключений тестируемых на тестовые ситуации различной категории трудности. Ясно, что от значения латентного параметра обученности объекта из неоднородной эмпирической среды зависит его поведение, а, следовательно, и уровень интервала обученности (класса), к которому он будет отнесен системой КАТ. Со­вокупность таксонов и система их взаимоотношений образуют социальную структуру культурного пространства тестовых испытаний.

Безусловно, среди индивидов одного класса находятся испытуемые с неодинаковыми количественными оценками. Этот аспект существования субъектов внутри одного образа выражает категория различия исходной степени их обученности (например, более чем отличник, отличник, почти отличник). Из сопоставлений этих противоположных подходов следует вывод, что спор противников и сторонников о возможностях создания механиз­мов оценки УУД тестируемых, по существу, происходит не в рамках единой парадигмы, а свидетельствует о возникновении двух различных подходов.

Философское мировоззрение определяет возможности позиционеров объединять в обобщенном виде знания о культурном пространстве КАТ в целостную систему и фоку­сировать их на ценностных компонентах сферы образования (государственных, общест­венных и личностных). Оно акцентуирует свое внимание на исследовании свойств куль­турного комплекса тестирования и месте в нем позиционеров, на отношение разработчи­ков, администраторов и тестируемых к этому феномену и к самим себе, а также изучает обусловленные их взглядами убеждения, идеалы, мотивы и принципы деятельности. Но­сителями этой системы взглядов является личность испытуемого и социальная группа позиционеров, воспринимающая реальную деятельность сквозь призму собственного мировоззрения.

Содержание мировоззрения определяется практическими результатами деятельности участников культурного пространства КАТ, ориентированными на наполнение KCT3 и свободный доступ к ним респондентов. На рациональном уровне мировоззрение исследу­ет и обосновывает законы развития СКДО УУД тестируемых и правила их поведения в пространстве тестовых испытаний.

Это естественное представление о сущности философии мировоззрения КАТ на про­тяжении длительного периода существования сферы образования до настоящего времени во многом гипертрофированно, в результате чего философские аспекты теории тестов не рассматриваются как подлинно культурное знание. Поэтому современная тестология от­ражает не столько объективную истину, сколько односторонне исследует показатели ка­чества тестовых материалов и методы шкалирования, опираясь на теорию IRT, а не на со­вершенствование интегральных показателей качества КАТ и учет интересов личности.

Современная теория тестов не ставит своей целью обоснование определенной ориен­тации личности на ее ценностные ориентиры. В отличие от нее постсовременная теория тестов проявляет свою сущность через философию КАТ, объектом которой является культурное пространство СКДО достижений тестируемых и его категорий: ценностей, са­моорганизации, инкультуриализации и др. Новое содержание философского мышления при изучении культурного комплекса тестовых проверок определяется рациональной дея­тельностью участников этого пространства, применением в процессе создания инструмен­тальных средств тестирования методов искусственного интеллекта и высоких технологий обмена сигналами данных. При этом на первый план философия КАТ выдвигает пробле­мы духовного мира личности, ее сознания и нравственности.

Как сложное духовное явление мировоззрение необходимо рассматривать в единстве и взаимодействии чувственного и рационального уровней. Чувственная деятельность лежит в основе наших знаний о том, можно ли на основании априорных сведений о со­держании и качественных показателях БТЗ, опираясь только на результаты КАТ, так при­писать сравниваемым значениям поведения целеустремленных объектам качественные и количественные величины, чтобы тестируемому с большей степенью обученности соот­ветствовала более высокая оценка.

Предлагаемая авторами концепция КАТ базируется на современном философском представлении о фундаментальных ценностях для индивида. К ним относятся свободный доступ респондента к KCT3 и возможность самореализации. Именно свобода самореали­зации есть та ценность, которая составляет подлинное содержание и меру прогресса об­разования, по отношению к которой инструментальная среда, БТЗ и нормативная система культуры тестирования составляют лишь условия и предпосылки (объективную компо­ненту свободы) для оценки значения латентного параметра обученности индивида.

В соответствии с уровнем получаемых знаний процесс КАТ разделяется на два этапа. На начальном этапе разработки знания о степени обученности объекта у тестирующей системы полностью отсутствую, следовательно, проектирование траектории его заключе­ний необходимо осуществлять с учетом эмпирических результатов, накапливаемых в про­цессе испытаний. На этой стадии тестовых проверок не следует полагаться на факторы случайности, а необходимо использовать возможности автоматического подбора меры трудности тестовых ситуаций к качеству заключений объекта и формировать образ тести­руемого с учетом его поведения (рис. 4).

На втором этапе подтверждаются первоначально выявленные причинно – следствен­ные отношения, для чего используются методы систематизации научных наблюдений, ре­гулярно приобретаются новые данные о качестве заключений испытуемого на однород­ные по категории трудности ПДТЗ. Это позволяет избежать влияния на оценку ПДТЗ, не соответствующих исходному УУД тестируемого. На этой стадии можно выявить регуляр­ности, присущие поведению каждого конкретного испытуемого из данного класса обу­ченности. Кроме того, при анализе полученных данных строятся эмпирические зависимо­сти для коррекции категории трудности ЭФТК, хранящихся в БТЗ. Важным обстоятельст­вом является также то, что на этом этапе более верно оценивается реальная степень обу­ченности испытуемого, что предоставляет дополнительный материал для правильного по­строения теоретической модели элементов однородной эмпирической системы КАТ (рис.4).

Рис. 4. Этапы тестирования

С этих позиций процесс СКДО учебных достижений респондентов выделяет две ди­дактические цели – разделение объектов на классы обученности (нормативно-ориентированный ПДТ) и различения индивидуальных достижений конкретных испы­туемых внутри каждого образа (личностно-ориентированный ПДТ). Здесь философия КАТ формирует мировоззрение не только отдельных личностей, но и социума в целом, отражая в нормах деятельности позиционеров их устремления сознательного воздействия на культурное пространство тестирования. Овладение мировоззренческими аспектами КАТ повышает уровень профессиональных знаний специалистов в области проектирова­ния качественных методов оценки степени обученности тестируемых, дает ориентир в применении новых способов анализа поведения и свойств объектов произвольной приро­ды в условиях неопределенности.

Основным критерием установления УУД эмпирических объектов является практика – целенаправленная деятельность тестируемых, направленная на определение собственной степени обученности. Ее содержанием в нашем случае является процесс КАТ, выражен­ный в форме обработки научных наблюдений. Достаточно простого размышления, что­бы увидеть, что, осуществляя научные наблюдения за качеством заключений индивида на тестирующие воздействия различной меры трудности, можно составить первоначальное представление о его исходной степени обученности. Это представление является иде­альным образом поведения объекта нечисловой природы, поскольку отражает отноше­ние индивида к реально существующей образцовой KCT3.

Философия адаптивного тестирования изучает общие закономерности построения эм­пирических систем оценки УВД респондентов. Синтезируя для достижения своих целей совокупный опыт разработчиков, мировоззренческая функция философии наиболее полно выражает каждый исторический период развития теории тестов, духовно-практические и социальные устремления, а также методологию культурного мышления участников про­странства тестовых проверок.

Постсовременная теория адаптивного тестирования концентрирует свое внимание на личностных атрибутах латентного параметра обученности респондента. Безусловно, со­стояние обученности индивида, как дидактического феномена эмпирической системы тес­товых проверок, может быть рассмотрено или сконструировано, исходя из различных предпосылок. Философия культуры КАТ исследует личностные свойства и их различия на основе научных наблюдений за поведением целеустремленных объектов, базирующихся на косвенной оценке качества их заключений.

Хотя большинство тестологов не рассматривают структуру личности тестируемого, наша задача состоит в том, чтобы представить адекватный инструментарий, необходимый для плодотворной дискуссии. Будем исходить из того, что личность есть синтез сходных (близких, похожих) и индивидуальных степеней обученности объекта нечисловой приро­ды. Под «сходством» понимается толерантность поведения тестируемых, когда они обра­зуют в пространстве решений однородные классы. Традиционно проблема выделения од­нородных групп рассматривается в статистике как задача типологической классификации поведения объектов нечисловой природы.

Типологической классификацией будем называть разбиение поведения телеологи­ческих объектов нечисловой природы на качественно однородные по свойству обученно­сти группы. Действительно, если группы в пространстве оценки удалены в некотором смысле друг от друга, то можно предположить, что в основе такого разбиения лежит каче­ственный, но скрытый признак, обуславливающий четкое расслоение характера заключе­ний тестируемых. В этой ситуации типологическая классификация представляет собой последовательный анализ выводов респондентов и отнесение их обобщенного поведения к определенным таксонам (образам, классам) в соответствии с длинами уровней-интервалов обученности. Таким образом, на первом этапе адаптивного тестирования каж­дая личность обретает свой содержательно осмысленный образ (отличника, хорошиста и т. п.).

Представления дают нам элементарную форму образного отражения значения латент­ного параметра респондента в его косвенно наблюдаемой целостной форме. Именно по­этому процесс представления о состоянии обученности эмпирических объектов изучается как активный и творческий, когда в ходе многократных исходов респонденты относятся системой КАТ к тому или иному классу (образу). Фундаментальное значение чувственно – образной формы деятельности состоит в том, что она позволяет системе КАТ разделить объекты неоднородной эмпирической среды (точнее их поведение) на образы, когда к одному таксону обученности относятся тестируемые с близкими, в определенном смысле, качествами заключений на требования ЭФТК различной категории трудности.

Так, например, в дисплейном классе, где одновременно происходит проверка уровня знаний, умений и навыков 15 – 20 респондентов, тестирующая программа выбирает слу­чайным образом из KCT3 персональные нормативно-ориентированные выборки (КФТ) для каждого индивида, оценивает качество их заключений, приспосабливает свои дейст­вия к поведению каждого телеологического объекта и формирует протоколы результатов тестирования. В этом случае индивид с априорно не установленной для системы КАТ сте­пенью обученности дает заключения на требования ПДТЗ различной категории трудно­сти. Анализируя качество его выводов, тестирующая программа приспосабливает катего­рию трудности заданий к уровню обученности этого респондента и формирует в памяти системы КАТ траекторию проверки (дидактическую модель) его достижений. Одно­временно с самоорганизацией в эмпирической системе вычисляется исходный балл тести­руемого, который и относит респондента к одному из заранее установленных классов.

Деятельность целеустремленного объекта на первом этапе тестирования сопряжена с возможностью не только самостоятельного регулирования им темпа КАТ, но и лежит в основе выбора числа сеансов тестирования по конкретной учебной дисциплине с целью «попадания» в возможный для него уровень – интервал (образ) обученности. В этой си­туации философское мировоззрение не просто провозглашает свои принципы, а выступает как система воспитания у каждого индивида чувства причастности к развитию культурно­го пространства тестирования, понимания им сущности этого комплекса, идей и норм, ве­ры в возможность установления объективной оценки его собственной степени обученно­сти. На этом этапе КАТ устанавливается исходный УУД каждого конкретного образа, под которым мы понимаем приближенную оценку степени обученности образа за счет анализа качества его заключений на ПДТЗ различной меры трудности.

Несмотря на то, что ситуации одного образа описываются различными совокупностя­ми заключений респондентов, представление каждого факта в тестирующей системе со­храняет регулярность, которая и используется для представления знаний об УУД индивида. Другими словами, при формализации процесса тестирования в концепциях вычис­ления степени обученности респондента сначала устанавливается пространство состояний заключений, а затем в этом классе фиксируется поведение каждого объекта. Отдельное состояние обученности в тестирующей системе является комбинацией одних и тех же значений признака, следовательно, все факты описываются в одинаковой форме представ­ления (структуре данных). Это и означает сохранение регулярности для представления УУД для каждого тестируемого.

По своей сущности типологическая группировка представляет собой специфическую методологию классификации поведения неоднородных по значениям латентного парамет­ра обученности объектов нечисловой природы. Однако каждой личности наряду с близ­кими степенями обученности свойственны и индивидуальные черты. Индивидуальность находит свое выражение в процессе различения поведения каждого конкретного испы­туемого из каждого однородного образа. Эта позиция дуального подхода к оценке УУД тестируемых совпадает с работами Г. Олпорта, который высказал идею когнетивного сти­ля, когда оценка несет в себе «отпечаток уникальности индивида». Уникальность и непо­вторимость поведения личности может быть достигнута только в том случае, когда индивидуальная окраска ее обобщенных заключений устанавливается в результате предъявле­ния однородных по содержательности и логичности ПДТЗ [9].

По своему содержанию философское мировоззрение КАТ на втором (рациональном) уровне деятельности концентрирует свои исследование на установлении реальной (сколь угодно близкой к действительной степени) обученности каждого конкретного испытуемо­го. В современной философии под рациональностью понимают логическое и логичное (правдоподобное) обоснование процесса компьютерного тестирования. Мировоззрение в этом смысле основывается на обосновании законов развития объективных процессов КАТ, которые необходимо рассматривать в единстве и взаимодействии с образным пред­ставлением поведения телеологического объекта.

Здесь философия ставит своей целью обоснование определенной ориентации выбора научных основ установления более верного значения, чем на первом этапе КАТ, латент­ного параметра испытуемого. Как бы тщательно не проводилось тестирование, мы нико­гда не можем узнать истинное значения искомой величины. Производя тестирования, мы получим результат, который с заданной степенью верности отражает действительное зна­чение степени обученности испытуемого, поскольку из-за наличия неопределенностей при повторной проверке через некоторое время в тех же (точнее в близких) условиях и с той же тщательностью мы получаем несколько иной (но близкий к первому) результат.

Так как действительное значение степени обученности тестируемого остается неиз­вестным вследствие отсутствия «идеальных» методов и средств оценки, в практической деятельности данный параметр определяют приближенно. Это более качественное значе­ние результата КАТ, применяемое вместо действительного латентного параметра, будем называть реальным. Реальный УУД – это оценка степени обученности испытуемого за счет анализа качества его заключений на ПДТЗ, мера трудности которых соответст­вует фиксированному (исходному) уровню достижений каждого субъекта. Напомним, что еще в начале восемнадцатого века утверждал единство объективного и субъективного сознания. Очевидно, что при установлении реального УУД применяется личностно-ориентированный тест.

Строго говоря, возможность дальнейшего увеличения этапов тестирования и уточне­ния однородности обученности испытуемых на наш взгляд нецелесообразна. Это связано с тем, что на втором этапе о параметре обученности объекта почти все становится известным. В этом смысле о решении проблемы установления действительной степени обученности испытуемого можно говорить, что ее полное формализованное описание возможно осуществлять до бесконечности путем непрерывного улучшения однородности значений параметров объектов нечисловой природы.

Наличие двух этапов КАТ соответствует убеждениям , который говорил, что «личность имеет право на независимость от любых социальных групп и от общества в целом». Этот мировоззренческий принцип автономии личности соответствует новой па­радигме СКДО УУД и предполагает не только возможность каждому испытуемому уста­новить реальный, свойственный только ему УУД, но и учитывает наличие у эмпирическо­го объекта желания войти в соответствующий со степенью собственной обученности класс достижений.

Имеются способы оценить качество наблюдаемого поведения испытуемых, определяя границы, за пределы которых не выходит полученная в результате проверки оценка уров­ня УУД конкретного образа. Все это дает возможность выбирать те средства и методы, которые обеспечивают получение результата с верностью, не превышающей рациональ­ных для данного уровня границ. Показателем верности мы будем называть качественные характеристики неопределенности в оценке исходного (или реального) значения УУД тес­тируемого. Этот показатель должен выносить суждение о том, насколько близки получен­ные оценки УУД к значениям их латентных параметров или же какой ущерб может понес­ти позиционер (испытуемый, администратор, преподаватель) при замене этих параметров их оценками[12].

Термин «верность» в некотором смысле является синонимом понятия «точность». Од­нако последний обычно используется лишь применительно к оцениванию результатов из­мерений физических величин, которые представляются лишь одним числом. В качестве показателей верности в классической и современной теории тестов также используются точечные или векторные оценки. Применительно к анализу результатов тестирования ав­торами данной книги развиваются непараметрические методы оценки поведения и свойств (например, категории трудности ПДТЗ) телеологических объектов, когда оценка рассматривается как синтез философских категории качества и количества.

Относительность оценки степени обученности тестируемых связана с тем, что мозг человека обладает бесконечной сложностью, в то время как на каждом уровне развития постсовременной теории адаптивного тестирования мы имеем дело с приближенными моделями поведения респондентов. Выражение бесконечного в конечной модели пове­дения объектов нечисловой природы возможно только благодаря упрощению действи­тельного состояния обученности индивида путем преобразования этого состояния в за­ключения тестируемого и оценки качества выводов, что и ведет к приблизительности, а, следовательно, к относительности наших знаний о действительной степени обученности эмпирического объекта. Модель поведения тестируемого, которая еще недавно была адек­ватной, через некоторое время перестает быть таковой. Если в точных и естественных науках главная трудность создания адекватных моделей сопряжена со сложностью и мно­гообразием материальных компонентов культуры, то в социальных и духовных науках к этому прибавляется неопределенность изменения самих законов и правил эмпирической деятельности позиционеров.

Не менее важным в становлении философии адаптивного тестирования является опре­деление направленности и преемственности дальнейшего совершенствования процесса СКДО УУД респондентов. Здесь на помощь приходит философский закон отрицания от­рицания. Применительно к тестометрии этот закон указывает, что процедура повышения верности оценки связана, во-первых, с увеличением объема БТЗ и его качественных пока­зателей (валидности, различающей способности и т. п.); во-вторых, с ростом количества этапов тестирования, когда последующая фаза проверки отрицает предыдущую таким об­разом, что сохраняются необходимые существенные моменты некоторых свойств и отно­шений предыдущей стадии проверки. Эта характеристика закона отрицания выражается категорией снятия неопределенности, которая есть разрешение противоречия между действительным и реальным состоянием эмпирической системы, образуемого единством и борьбой исходного УУД и его отрицанием путем перехода к следующему этапу КАТ, синтезирующего в себе необходимые и существенные стороны предыдущей стадии оценки, но уже с однородными значениями меры трудности ПДТЗ, предъявляемых на втором этапе тестирования испытуемому из каждого образа.

Использование рационального подхода при выборе методов оценивания и классифи­кации является очень важным, так как распространено мнение – чем вернее полученная оценка достижений, тем лучше. В действительности, это не всегда так и, прежде всего по­тому, что чем выше верность, тем труднее ее достигнуть. Важным факторами в этом от­ношении являются, например, валидность ПДТ и неопределенность условий при проведе­нии сеанса КАТ. Однако в любом случае, когда мы подходим к границам наших знаний об эмпирическом объекте и методах оценки, верность последней оказывается фактором, ог­раничивающим их дальнейшее углубление. С мировоззренческой точки зрения действи­тельная степень обученности испытуемого познаваема и возможности этого познания безграничны; также, в принципе, безграничны требования к верности, необходимой для расширения наших знаний о состоянии обученности каждого испытуемого.

Исследуя рациональную деятельность в области установления реальной степени обу­ченности элементов однородной эмпирической системы, мы должны понимать, что это возможно сделать только в том случае, когда тестирующая система анализирует поведе­ние образа с априорно установленной исходной степенью обученности. Последнее связа­но с тем, что только в этом случае, действие системы КАТ будут для испытуемого содер­жательными и логичными.

Философия адаптивного тестирования рассматривает два подхода к описанию лично­сти – типологический и индивидуальный. Первый подход акцентирует внимание исследо­вателей на типологической классификации неоднородных по степени обученности целе­устремленных объектов; второй – на различении поведения однородных по значениям ла­тентного параметра обученности испытуемых, входящих в данный образ. Предлагая дан­ный подход к оценке УУД тестируемых, напомним слова социологов Х. Мюррея и К. Клукхона (1948): «каждый человек чем-то похож на всех, чем-то на некоторых и чем-то не похож ни на кого». Безусловно, рассмотренные свойства личности могут проявляться на разных уровнях обученности, и их нужно различать.

С философско-мировоззренческой точки зрения предлагаемый авторами подход га­рантирует индивидуализацию тестовых проверок для каждого конкретного испытуемого с фиксированной степенью обученности. Эта личностная ориентация тестирующей про­граммы организуется в виде коммуникации между испытуемым из данного образа и одно­родной по мере трудности КФТ. Рациональные партнерские отношения обмена сообще­ниями основываются на том, что из конечной совокупности ЭФТК испытуемому предъявляются только те задания, категория трудности которых соответствует (точнее близка) ус­тановленному на этапе первоначального тестирования исходному УУД данного образа. На основе этой рациональной деятельности каждый испытуемый становится не только объ­ектом, но и субъектом проверки.

Таким образом, нерасторжимость и взаимодополняемость двух этапов КАТ позво­ляет корректно подойти к изучению рациональной организации дидактического оценива­ния и классификации одного из латентных параметров личности. Здесь мы можем утвер­ждать то, что изучение поведения элемента эмпирической системы в культурном про­странстве КАТ действительно приводит к изменению содержания и организации процесса СКДО УУД объекта нечисловой природы.

Изучая целенаправленную деятельность на уровне личности, мы замечаем, что при­нимаемые ею решения могут не соответствовать предусмотренным механизмам норма­тивной системы культуры. Например, тестируемый, находясь в классе отличников, может на этапе рациональной аттестации (идентификации) во избежание риска принять решение о том, чтобы получать ПДТЗ, мера трудности которых соответствует образу хорошиста. Такая нерациональная деятельность личности не является враждебна социуму. Со време­нем она может явиться причиной возникновения новой рациональности или с соответст­вующей самокоррекцией постепенно трансформироваться в уже существующую рацио­нальность.

Коммуникация целеустремленных объектов с КСТЗ формирует у них качественно но­вую культуру мышления. Это явление связано с тем, что в культурном пространстве КАТ дисциплинарность мышления регулируется не только нормативной системой правил, но и необходимостью однозначного формирования заключений на требование каждого ПДТЗ. В любом случае, здесь мы сталкиваемся с необходимостью построения статистических моделей полученных результатов. Используемые нами модели включают наблюдаемое значение УУД индивида, которое складывается из параметра, описывающего искомую степень обученности этого респондента и неконтролируемых величин, характеризующих неопределенные (остаточные) эффекты условия проведения тестовых испытаний. Разуме­ется, в зависимости от результатов КАТ (классификация, отбор, отсев и т. п.) методы оце­нок достижений и случайные эффекты должны изучаться в соответствии с особенностями рассматриваемой ситуации.

Простейшей формой плана научных наблюдений является сравнение нескольких уровней одного и того же фактора, когда определяется один и тот же параметр объекта. Очень легко привести примеры данных наблюдений такого рода, но для определенности обратимся к исследованию, когда должны сравниваться эффекты трех различных значе­ний признака трудности ПДТЗ для установления степени обученности индивидов из трех классов.

Допустим, что из нескольких (m) индивидов m1 являются отличниками, m2 – хорошистами, m3 – троечниками. Сейчас нас интересует только структура данных наблюдений. В этом случае ее можно представить схематически, как показано на рис.5. Здесь цифрами обозначены заключения тестируемых с фиксированной степенью обученности на ЭФТК различной меры трудности.

Из этой таблицы следует, что данный тест хорошо разбивает объекты на классы. Ра­циональность здесь фиксирует отличие качества заключений конкретной личности от всех остальных испытуемых из данного образа.

Применительно к дидактической оценке УУД тестируемых высказывания, сделанные в привычных построениях вероятностного языка, оказываются неудачными из-за того, что на этом языке пытаются описать явления, действительно связанные с «замаскированной» причинно-следственной упорядоченностью. Иллюстрируем это с помощью следующего мысленного эксперимента.

Рис.5. Гипотетическая таблица заключений тестируемых

Пусть имеется КСТЗ, включающая в себя тестовые ситуации различной меры трудно­сти. Оценка достижений производится следующим образом: тестируемым с различной степенью обученности предъявляются КФТ (выборки из КСТЗ) заданного объема n и под­считывается доля правильных заключений на ПДТЗ с учетом их веса. Результаты подоб­ных исследований, конечно, можно представить функциями распределения. Однако их параметрическое описание требует вычисления моментов высокого порядка, что влечет за собой проведение большого числа наблюдений. К тому же, описание в терминах функций распределения оказывается слишком громоздким. Объясняется это тем, что заключения тестируемых располагаются преимущественно не случайно, образуя облака сгущений вблизи среднего значения, соответствующего латентному параметру их обученности. Эти сгущения очень хорошо могут проранжировать индивидов по уровням их учебных дости­жений, связывая полученные оценки с действительными уровнями обученности тести­руемых.

Отсюда следует, что задача дидактической оценки латентного параметра целеустрем­ленных объектов эмпирической системы КАТ в данной постановке носит не метриче­ский, а топологический характер. В построенном no данному принципу механизме оценивания и классификации, систему КАТ «интересует» не расстояние между точками n-мерного пространства, а вхождение этих точек в определенные уровни-интервалы обученности. Если это так, то следует перейти к методике синтеза философских категорий количества и качества оценки достижений, когда нужно установить, как часто алгоритмы оценки в разное время относят одну и ту же степень обученности тестируемого к одному и тому же классу. В этом примере обнаруживается некая, хотя и не четко выраженная, причинно-следственная связь между уровнем достижений тестируемого и качеством его обученности, и ее следует описывать содержательным статистическим представлением наблюдений. И здесь можно говорить о прогрессе в культурном мышлении, когда важна не смена идей выбора того или иного метода параметрической статистики, а эволюция мышления – переход к непараметрической и интервальной статистике оценки поведения телеологических объектов нечисловой природы.

Создание инструментальных сред КАТ – яркий образец инженеризации «интеллекту­альной технологии» СКДО УУД тестируемых. Среда считается интеллектуальной, если она обладает дружественным интерфейсом с пользователями, способна приспосабливать тестирующие воздействия к качеству заключений тестируемых, принимать рациональные решения о необходимости изменения меры трудности ПДТЗ, обрабатывать данные, ка­сающиеся поведения респондентов, и обладает качественным механизмом оценки дости­жений.

Разработка инструментальных систем (ИС) в сочетании с концепцией БТЗ – трудо­емкий и дорогостоящий процесс. Существенным здесь является то, что в ИС можно выде­лить систему логических оболочек (каркасов), связанных различными механизмами формального вывода. Эти логические оболочки составляют сущность инструментальных средств и могут быть использованы как базисные модели для конструирования эмпириче­ских систем КАТ, реализующих указанные мировоззренческие функции [38].

Иерархические, модульные строения оболочек составляют семантические сети и сложные фреймы с разветвленными структурами. Их верхние слои представляют собой структурированные БТЗ, через которые осуществляется приспособление интеллектуаль­ной системы КАТ к пользователям и учебной среде. Эти артефакты, взятые в обособлен­ном виде, называет «динамическими функционирующими моделями реаль­ного экспертного знания» [35].

Культурное пространство КАТ с философско-мировоззренческой точки зрения рас­сматривается нами как качественно специфическая часть реальной действительности. В этом комплексе действуют законы синергетики, к числу которых относятся информаци­онная открытость, удаленность от состояния равновесия, бифуркация, непредсказуемость результатов тестовых испытаний и др.

Самоорганизация является необходимым условием существования пространства КАТ, поскольку она изначально связана с необходимостью целенаправленного изменения характера тестирующих воздействий с учетом качества заключений каждого конкретного индивида. Регулятивы, законы и правила выступают в пространстве КАТ как результат имманентного развития системы интеллектуального тестирования, следствие ее адапта­ции, в то время как целенаправленное приспособление меры трудности ЭФТК, связанное с поведением объекта нечисловой природы, является содержанием феномена управления.

Таким образом, рассматриваемая в данной книге философия мировоззрения адаптив­ного тестироввания раскрывает закономерности и пути развития методов, средств и форм отражения степени обученности тестируемых в моделях качественной оценки их дости­жений. Она формирует общие принципы и теоретические положения, описывающие и объективизирующие этот процесс. В связи с этим приобретают первостепенное значение вопросы методологии научного познания, совершенствования строений и способов КАТ.

Методологическая

Данная функция философии состоит в логичном и логико-теоретическом анализе на­учно – практической деятельности разработчиков культурного пространства КАТ. Фило­софия методологии определяет направление научных исследований, позволяет ориенти­роваться в многообразии культурных феноменов, фактов и процессов, происходящих в культурном комплексе тестовых проверок.

Методология акцентирует внимание на философском учении о методах и гипотезах, используемых в процессе научного познания и преобразования компонентов культурного пространства КАТ. Она изучает процесс разбора ситуаций, осуществление выбора и целе­устремленное продвижение к целям. Метод научного познания – способ восприятия дей­ствительной степени обученности эмпирического объекта в нашем сознании, т. е. система принципов практической и теоретической деятельности. Выработанные субъектом мето­ды научного познания составляют последовательность операций в деятельности, которая позволяет найти общие закономерности в культурном пространстве тестовых испытаний. Общенаучными способами, используемыми в теории КАТ являются, например, такие как: научные наблюдения за поведением тестируемого, моделирование процесса тестовых проверок и т. д. Частно научные методы применяются в тестометрии и тестологии. Сюда следует отнести метод оценки УУД тестируемых, способ анализа качества тестовых мате­риалов и т. п. На основе частно научных методов разрабатываются методики для решения специфических задач теории КАТ. Методы всех уровней познания характеризуются свой­ствами ясности и общепонятности, общепринятостью, подчиненностью конкретной цели и т. д.

Попытка с помощью исследований разобраться на первый взгляд кажется почти не­осуществимой затеей. Однако для науки проблемы такого рода вовсе но новы, так как ее прогресс проявляется в том, что проблемы, казавшиеся по началу непомерно сложными, оказывались относительно простыми.

Основным научным методом изучения неизвестного является эксперимент. Однако экспериментировать с дидактическими системами нельзя. Можно выделить три подхода к решению этой проблеммы. Первый из них применяется в классической теории тесттов, когда для измерения степени обученности объекта применяются методы теории вероятно­стей и математической статистики. Работы в этом направлеинии позволяют получить пер­вые представления об установлении значения скрытого параметра обученности тестируе­мого. Это достижение нельзя недооценивать, но пока мы не научимся делать выводы о ре­альном поведении объектов нечисловой природы, мы не сможем разработать научную теорию, которая непосредственно описывала бы динамику целеустремленных эмпириче­ских систем КАТ.

Второй подход к изучению крупномасштабных дидактических систем тестовых испы­таний связан с использованием относительно сложных экспериментальных манипуляций с моделями Раша и Бернбаума. Хотя эти модели кажутся и, возможно, являются более близкими аналогами реальных ситуаций, проблема исследования поведения телеологиче­ских объектов произвольной природы все же остается, и на это есть две причины. Во-первых, хотя модели напоминают действительность, потому что они воспроизводят мно­гие их свойства, но нет никакой уверенности, что эти свойства в моделях связаны между собой также, как в реальных условиях тестовых испытаний. Во-вторых, из-за сложности поведения живых объектов и неопределенности учебной среды количественное описание того, что в большинстве из них происходит, оказывается невозможным. Сказанное не в коей мере не ставит под сомнение ценность вклада, вносимой современной теорией тестов в наши представления об описании процессов компьютерного тестирования.

Традиционный статистический анализ дает в лучшем случае описание, а не объясне­ние результатов КАТ. Большинство заключений, получаемых на основе анализа реального материала, оказались невоспроизводимыми никаким объективным путем. Авторами сде­лана попытка объединить сильные стороны всех трех подходов и избежать, или хотя бы минимизировать, сопряженные с ними трудности.

По функциональному назначению и способам применения научные методы познания подразделяются на теоретические и эмпирические. Теоретический уровень знания (со­держательного или формального) базируется на аксиоматическом методе абстрагировании и идеализации. Основу этого метода составляют повторяемость и получение истинных результатов при наличии корректных посылок.

Эмпирический уровень знания – это знание, полученное непосредственно из науч­ных наблюдений за деятельностью экспертов тестовых материалов или за поведением тестируемых, с некоторой «рациональной обработкой свойств и отношений изучаемых мнений или заключений». Этот уровень представляет собой исходную базу для теорети­ческого знания. Основу эмпирического подхода составляют регулярность и получение наиболее вероятных результатов при наличии конкретных посылок. В учении о ло­гичных основах эмпирического познания анализируются и оцениваются те философские представления и концепции, которые базируются на правдоподобных рассуждениях. Эта часть методологии непосредственно связана с анализом данных, полученных в результате наблюдений, и со взглядами разработчиков на проблему анализа качественных показате­лей целеустремленных объектов нечисловой природы.

В методологическом плане тестометрия ставит своей целью разработку такого набора спецификаций моделей, методов оценки их параметров и адекватности действительным ситуациям, который позволил бы для каждой из гипотез либо придти к выводу о доста­точной реалистичности получаемой с ее помощью картины объективной оценки степени обученности эмпирического объекта, либо признать необходимость установления иной спецификации модели.

Нам предстоит выяснить, как реализована эта установка в практической деятельности, иначе говоря, каковы основания и принципы методологии теоретической тестометрии, что представляет собой ее объект и согласованы ли свойства различных моделей с оценкой реального состояния обученности испытуемого. В конечном счете, необходимо устано­вить насколько существующая методология современной теории тестов отвечает потреб­ностям количественных и качественных исследований поведения телеологических объек­тов эмпирических систем КАТ.

Обсуждая свойства эмпирических объектов и отражающих их состояние обученности научных наблюдений, классическая и современная теория тестов исходят из посылок о их вероятностной и статистической природе. Это позволяет сразу же аппелировать к аппара­ту теории вероятностей и математической статистики, и прежде всего к методам регрес­сивного и корреляционного анализа, основанным на теореме Гаусса-Маркова и подобных ей. Эти посылки лежат в основании теории тестов, и степень ее обоснованности в сущест­венной мере определяет корректность самой методологии. Она принята всеми авторами трудов по тестологии и поэтому получила статус научной истины. Но как обстоят дела в действительности?

В работах [27,40] начальная спецификация математической модели поведения объекта нечисловой природы дается в форме априорного постулирования о том, что закон распре­деления ошибок измерений является нормальным. Ставится задача – разработать такой метод измерения УУД тестируемых, который бы обеспечивал соответствующим оценкам свойства несмещенности и эффективности. Из анализа приведенных в [27,40] материалов по спецификации моделей измерения следует, что в качестве поведения телеологического объекта тестологии выступает некоторая математико-статистический модель, показатели которой описываются либо случайными величинами, либо векторами. Фактически в этих работах постулирована начальная спецификация модели и указан согласованный с ней метод измерения. Но почему теоретическая тестология не говорит ничего (no крайней ме­ре, явным образом) про объект своего исследования? Можно ли с заданной верностью (и с какой) описать его поведение? Почему для вычисления ошибок измерений необходимо использовать методы параметрической статистики?

Сразу же возникает множество вопросов, но будем последовательны в стремлении по­нять теоретическую тестологию и ее методологию. Начнем со следующего вопроса – что представляет собой состояние целеустремленного объекта и как приступить к построению его модели?

Во-первых, действительная степень обученности объекта нечисловой природы отно­сится к нефизическим величинам, для которых единица измерения в принципе не может быть введена. Поэтому значение латентного параметра обученности тестируемого может быть только оценено, когда данному состоянию обученности индивида по установлен­ным правилам приписывается определенное число в заданном уровне-интервале каче­ства обученности.

Во-вторых, постулируемый в указанных работах нормальный закон распределения ве­роятностей в отношении оцениваемых параметров является существенным ограничением на возможности исследования поведения тестируемых в реальных условиях. Особенно на ограниченной практической ценности применения методов классической теории вероят­ностей и математической статистики настаивают математики, работающие с непарамет­рическими моделями [9,25,29,30].

Их опасения основываются на следующих утверждениях:

·  тестируемые в отличие от объектов природы и техники наблюдаются исключи­тельно косвенным и неполным образом;

·  в отличие от физических, биологических и технических процессов с их воз­можностями планирования эксперимента, тестологические (в нашей интерпре­тации тестометрические) процессы принципиально неповторимы, а соответст­вующие им научные наблюдения представляют собой единственные реализа­ции качества заключений тестируемых;