Существенным признаком попадания отображения состояния обученности рес­пондента в тот или иной уровень-интервал оценки является качество его заклю­чений, которое в свою очередь определяется значением его латентного параметра и категорией трудности предъявляемых ему тестовых суждений.

Из этого правила следует, что основным носителем информации о качестве заключе­ний тестируемых является значение признака трудности ЭФТК. Эти значения образуют некоторый алфавит и характеризуются качественными показателями: легкое, средней трудности и трудное ПДТЗ. Интенсивность проявления меры трудности тестовых сужде­ний, исходя из содержательной гипотезы и мнения экспертов, определяется числами 1,2,3.

Качественная тождественность учебных достижений телеологических объектов озна­чает близость (сходство) в некотором смысле их поведения. Поэтому цель первого этапа КАТ, когда полностью отсутствуют априорные сведения о степени обученности тести­руемого, состоит в том, чтобы выделить в полученных данных однородные подмножества – классы, когда отдельные образы внутри каждого таксона похожи (по своему поведе­нию) друг на друга. Здесь понятие «конкретной оценки» ассоциируется с исходной оцен­кой УУД конкретного респондента. Безусловно, внутри каждого класса обученности опи­сания заключений тестируемых отличаются друг от друга, хотя качественно поведение этих объектов нечисловой природы считается тождественным. Будучи толерантными по качеству обученности, они различаются друг от друга лишь количественно. Эта связь ка­чества (смысла) и количества (значения) устанавливается категорией меры и образует оценку – содержательную интерпретацию степени обученности тестируемого.

НЕ нашли? Не то? Что вы ищете?

Мера – интервал количественных изменений качества заключений тестируемого, в пределах которого сохраняется принадлежность его поведения к данному образу. Такое изменение может произойти, когда эмпирический объект из заданного образа (на­пример, хорошо обученного) повышает исходную степень обученности до тех пор, пока уровень его учебных достижений не претерпевает качественных изменений, что перево­дит этого индивида, например, в класс отличников.

Выше изложенное позволяет переформулировать философский закон перехода коли­чественных изменений в качественные. Этот закон есть такая взаимосвязь количест­венных и качественных сторон установления УУД телеологического объекта, в силу которой изменения корректности его заключений могут привести к изменению оценки достижений этого индивида в такой степени, что происходят коренные каче­ственные изменения, протекающие в виде скачков, когда респондент переводится тестирующей системой из одного таксона (уровня — интервала) в другой.

Когда мы говорим о близости степеней обученности тестируемых, образующих дан­ный образ, то понимаем, что сама эта толерантность предполагает некоторое различие их учебных достижений. А это значит, что даже простое сопоставление УУД двух индивидов из одного уровня – интервала вскрывает единство тождества и различия. Сущность это­го диалектического закона можно установить на втором этапе тестовых испытаний, когда тестирующая система различает степень обученности каждого однородного элемента эм­пирической системы из конкретного класса. Если на первом этапе КАТ были установлены взаимосвязи противоположностей схожих по поведению респондентов, то на втором этапе тестовых испытаний происходит разрешение противоречия, которое означает снятие дан­ного единства и установление реальной степени обученности каждого из однородных по степени обученности испытуемых, входящих в один образ. Здесь работает философский закон единства и борьбы противоположностей, в силу которого испытуемым из кон­кретного образа свойственны внутренние противоречия, находящиеся в состоянии взаимосвязи и взаимоотрицания, поскольку каждый конкретный субъект тестиро­вания является индивидуальностью и имеет свойственную только ему степень обу­ченности. Система конкурентного тестирования осуществляет здесь различие между уровнями достижений каждого испытуемого из данного таксона. Например, в классе от­личника будут различимы испытуемые с почти отличными, отличными и превосходными достижениями. Это и будет реальная – сколь угодно близкая к действительной степени обученности – оценка УУД каждого конкретного испытуемого.

На основании философского закона отрицания можно и далее развивать процесс уточнения качества определения системой КАТ реального уровня обученности испытуе­мого. Для этого следует осуществить дальнейшее разбиение подуровней – интервалов на части и проводить тестирование (различение) испытуемых внутри каждой части. Это уже второе отрицание УУД объекта нечисловой природы, отрицание первого отрицания, ко­гда тестирующая система различала степень обученности испытуемого из заданного клас­са. Отсюда следует общая закономерная тенденция поэтапного движения к установ­лению реальной оценки достижений каждого конкретного испытуемого, когда сис­тема КАТ удерживает и сохраняет в памяти все положительное содержание предше­ствующих этапов тестовых проверок. Верность оценки достижений испытуемого – субъекта тестовых проверок – возрастает с увеличением числа этапов КАТ и все больше приближается к действительной степени его обученности.

И здесь на первый план ИЭ выдвигает категорию качества оценки, выражающую существенную определенность УУД индивида, благодаря которой он является именно почти отличником, а не среднестатистическим хорошистом. Это касается и качества ПДТЗ, когда изучается содержание, форма представления и оценивается мера трудности конкретной тестовой ситуации, обуславливающие ее способность различать поведение однородных эмпирических объектов с различными, но близкими степенями обученности.

С помощью качественно формулируемых законов выражается основная тенденция процесса КАТ и общий характер между явлениями, связанными с установлением исход­ного или реального УУД объектов нечисловой природы. Эти законы формируются на ос­нове методов непараметрической статистики и отражают в своих формулировках реаль­ное поведение телеологических объектов.

ИЭ ориентирует разработчиков на создание интеллектуальной системы КАТ, которая способна вести коммуникационный обмен сообщениями с пользователями, обрабатывать данные о качестве заключений тестируемых, принимать рациональные решения и т. п. Она концентрируется главным образом на процессе «прочитывания» знаний, который пред­ставляет собой систему процедур, ориентированных на рациональную деятельность. Этот процесс регуляризации знаний воспринимается социумом как стандарты и образцы об­щественно значимой деятельности. Здесь с логической точки зрения ИЭ сосредотачи­вает свое внимание на культурных нормах поведения участников процесса КАТ, а с методологической – на применении знаний для «производства» правил.

Регуляризация знаний подводит нас к вопросу о построении инструментальных средств КАТ с применением высоких технологий, реализующих деятельность, сопостави­мую с рациональным поведением человека. Поскольку сама рациональность представляет собой деятельность по правилам (по Платону) и ценностным установкам, общезначимых для данного социума, то принятие в системе СКДО УУД тестируемых именно логичных решений становится главным фактором управления (адаптации и оценки).

К качественным показателям инструментальной среды КАТ добавляют еще требова­ние, чтобы система предъявляла ПДТЗ тестируемым в режиме реального времени, сопос­тавимого с временным режимом человеческой деятельности при формировании выводов. Обычно к интеллектуальным технологиям относят наличие в системе КАТ дружественно­го пользователю интерфейса, способность инструментария к принятию решения о необ­ходимости изменения категории трудности ПДТЗ, а также (в случае параметрической адаптации) возможность модификации категории трудности ЭФТК на основе новых зна­ний, полученных в процессе промежуточной аттестации испытуемых.

По существу, центральная проблема создания интеллектуальных технологий СКДО УУД тестируемых заключается в следующем. Если мы обладаем четкими, поддающимися содержательному объяснению и качественной оценке знаниями, то на основе регуляриза­ции последних могут быть получены алгоритмы или эвристические правила классифика­ции и ранжирования поведения объектов нечисловой природы. И здесь ИЭ приводит нас к мысли, что для интеллектуальной деятельности важно, не какими артефактами она осуще­ствляется, а какова операциональная структура когнитивной деятельности, обеспечиваю­щей требуемый результат тестовых испытаний.

Специфической особенностью функционирования систем КАТ является их способ­ность корректировать свои действия для выполнения заданных целей. Чтобы достичь требуемой цели, тестирующая система должна заранее формировать план своей деятельно­сти, что, в свою очередь, предполагает необходимость оценки не только существующей в данный момент ситуации, но и знание последующих состояний действительности, т. е. предполагает умение предвидеть ее будущие действия.

Возможность научного предсказания действий системы КАТ следует из самой сущно­сти ситуационного управления, вскрывающего определенную инвариантность (упорядо­ченность, регулярность) между качеством выводов тестируемого и мерой трудности, предъявленных ему ПДТЗ. В плане культуры мышления научное предсказание сходно с объяснением. Однако эти понятия служат разным целям. Если объяснение относится к из­вестному событию, которое необходимо истолковать с помощью существующего закона, то предсказание всегда относится к событию (или явлению) неизвестному, которое еще не наблюдалось. В силу этого для предсказания всегда характерна некоторая неопределен­ность, причем эта хаотичность тем больше, чем значительнее интервал времени, отделяющий предсказания от предсказываемого события. Приближенный характер научных предсказаний является следствием неполноты знания соответствующих законов, что свя­зано со сложностью описания объектов произвольной природы, которая не может быть до конца учтена и зафиксирована на этапе создания их концептуальных и математических моделей.

Эта неопределенность предвидения обусловлена также и тем, что объекты находятся в процессе постоянного развития, ибо в учебной среде происходит непрерывное возникно­вение нового и, следовательно, преобразование как состояния обученности самих индиви­дов, так и условий проведения тестовых испытаний.

В силу указанных причин научное предсказание неизбежно заключает в себе элемент некоторой неопределенности и, следовательно, носит вероятностный характер. И, тем не менее, эта неконтролируемость научных прогнозов не мешает им быть достаточно верны­ми в пределах того приближения, которое необходимо для практических целей.

Научное предвидение может строиться и на основе гипотез. Примером этого является, в частности, подтверждение предлагаемой концептуальной модели тестируемого в про­цессе проведения массовых тестовых испытаний. Научные предсказания (прогнозы) при­нято делить на два типа: аналитические и синтетические.

Аналитические прогнозы представляют собой требуемый вывод из существующей теории. Синтетические предсказания являются результатом не только учета содержания установленных научных законов, но и опоры на интуицию. Важную роль в этом процессе играет математическая гипотеза, когда высказанные на начальном этапе предположения проверяются по следующей цепочке:

Обобщения, получаемые в рамках такого представления о строении знания, вариативы, учитывают семантическую изменчивость смыслов и значений суждений в зависимо­сти от изменений контекста и ситуации. Логичное знание раскрывает значение наиболее существенных для рассматриваемого факта явлений, когда налицо совпадение содержания этого знания с атрибутом исследуемого элемента эмпирической системы.

Безусловно, что в системах КАТ дескриптивные и индуктивные знания тесно связаны. С точки зрения ИЭ первые дают осмысленное отображение объективных ситуаций и про­цессов и представляют собой способ регистрации количественных данных. Вторые несут информацию о последовательности рациональных целенаправленных действий и качестве полученных при этом результатов. Здесь вырабатываются основные теоретические и эв­ристические концепции и схемы, образующие методологические основания актуализации культурного пространства КАТ. Все это позволяет считать отношения процесса моделирования поведения тестируемо­го качественными, когда область применения термина «неопределенность» касается ана­лиза ситуаций, в которых не вполне очевидно, как следует поступать в том или ином слу­чае. На основе описанных функций мировоззрения может быть обоснована социально-коммуникативная функция философии КАТ.

Социально-коммуникативная

Эта функция философии КАТ концентрируется на управлении процедурами тестовых проверок. Феномен управления имеет всеобщий характер и применим к широкому кругу процессов целенаправленной деятельности человека. Поэтому коммуникационное взаи­модействие эмпирических объектов и тестирующей программы естественно интерпрети­ровать как отношение объекта управления и управляющего устройства, реализующего за­данные алгоритмы тестовых испытаний.

В качестве стратегического вопроса, начинающего синтезирующий подход к исследо­ванию культурологических аспектов тестологии и тестометрии, мы выбрали изучение об объективности оснований научного знания, смысл которого заключается «в том, чтобы выявить объективную сферу приложимости данной системы знания, отделить то, что дей­ствительно является знанием, от того что напрасно претендует на этот статус» (. Самосознание и рефлексия в научном познании. «Общественные нау­ки»; 1980, №2).

В рамках различных направлений развития теории тестов высказываются суждения, не вполне согласуемые друг с другом и вместе с тем свидетельствующие о наличии мето­дологических противоречий, которые вовсе не являются источником и движущей силой научного познания, а в основном сами порождены разнонаправленностью интересов ис­следователей и отчасти различиями в понимании используемой терминологии. Возмож­ный путь устранения отмеченных несоответствий лежит в совместных поисках ответов на вопросы, являющиеся кардинальными для всех направлений генезиса теории КАТ и опре­деляющие стратегорию их развертывания.

В классической и современной концепции теории тестов респондент рассматривался односторонне, как объект исследования. Подобный подход – и исторически и логически – в определенных границах был оправдан, поскольку он опирался на традиционную систему контроля знаний (отметку). Известно, что традиционная теория тестовых испытаний, ис­следуя способы измерения латентного параметра обученности, оставляет в стороне мето­дологические установки, культурологические основания тех или иных познавательных действий, эмпирических рассуждений, содержательных процедур и правил.

Здесь внимание тестологов фиксируется на идеальном описании поведения объекта методами теории вероятностей и количественной статистики. Важным пунктом концеп­ции современной теории тестов является положение, что основание данной области зна­ния лежит в построении математических моделей тестируемого (точнее, его поведения). Эти подходы, разумеется, не отрицают объективности оснований, но в то же время, фик­сируя лишь логико-методологические аспекты процесса тестовых испытаний, не учиты­вают информационно-эпистемологическую функцию философии, ориентирующую иссле­дователей на регуляризацию знаний о свойствах эмпирических объектов и систем. Конеч­но, можно дефиницией ограничить обоснование подхода к проблеме установления степе­ни обученности тестируемого сферой только сознания, а основания знания – только изу­чением идеальных объектов. Но тогда вне поля зрения останутся реальные эмпирические системы КАТ, элементами которых являются объекты произвольной природы, которые в принципе не могут быть представлены только количественными моделями прикладной статистики. Имея это в виду, можно согласиться с тем, что «математическая симметрия не является и не может явиться «основой» законов природы, не может определять «рацио­нальный порядок в природе». (B. C. Готт, Диалектика развития понятий­ной формы мышления. M., 1981 ).

Изучением поведения и свойств целеустремленных объектов произвольной природы занимается качественная статистика — аппарат анализа и моделирования гуманистиче­ских (эмпирических систем), т. е. систем, в которых одним из главных звеньев является человек. для этих случаев разработал теорию нечетких множеств, которая «опи­рается на предпосылку о том, что элементами мышления человека являются не числа, а элементы некоторых размытых множеств или классов объектов, для которых переход от «принадлежности» к «непринадлежности» не скачкообразен, а непрерывен».

В связи с изложенным у исследователей растет сознание того, что качественные мето­ды оценки – аппарат адекватный природе задач, решаемых в процессе установления УУД эмпирических объектов нечисловой природы. Необходимость применения качественной статистики при анализе процесса функционирования системы КАТ обусловлена «разно­типностью атрибутов» элементов системы, размытостью их свойств и поведения, слабой структурированностью исходных объектов. Это связано с тем, что в системе адаптивного тестирования:

·  роль субъектов при выборе содержания и качество экспертиз ПДТЗ исключи­тельно велик;

·  спецификации KCT3 никогда не бывают полными;

·  не существует определенных законов, при помощи которых можно было бы полностью найти решение проблемы описания функционирования эмпириче­ских систем КАТ, включающих в себя объекты произвольной природы.

Отношение между поведением объекта и действием тестирующей программы представляет собой развертывание содержания процесса адаптивного тестирования из своего основания. При этом, то, что составляет начало, будучи ещё лишь концептуаль­ным обобщением, по-настоящему ещё не познается и лишь по мере развития логиче­ских и логичных оснований теории КАТ становится все более завершённым, содержа­тельным, приобретающим статус истинного обоснованного знания. Иными словами, развёртывание эмпирической системы КАТ – это обоснование её начала, которое в контексте становления постсовременной теории адаптивного тестирования и общест­венной практики само методологически обосновывается содержанием исследуемого феномена.

Процесс разработки систем КАТ связан с применением формального (логического) и содержательного (логичного) мышления. Логическое мышление подразумевает при­менение теоретических правил, которые предполагают известным только форму того, что преобразуется по ним, вне зависимости от наличия содержания исходных знаний. Формально-логичные правила применяются к формулам, выражающим изучаемые по­нятия и суждения без учета содержания (смысла и значения последних). Действитель­но, система КАТ включает в себя тестируемых и тестирующую программу и образует систематическую форму. А форма по Гегелю имеет двойственное отношение к содер­жанию. Признание этой двойственности (субстанциональной и формальной рациональностей) требует четкого различения эмпирического и теоретического методов ис­следования. Совершенно очевидно, что из принципа содержания следует принцип формы, а из содержательной системы отношений объектов произвольной природы – формальная структура инструментальной среды адаптивного тестирования. И, как следствие, любая аппаратно-программная система КАТ, реализующая формальные правила, не может реализовать полностью логику эмпирических объектов. Это связа­но, прежде всего, с тем, что чисто теоретическое изучение поведения или состояния объектов нечисловой природы ограничено не «бедностью» формальной системы, а её принципом, в силу того, что она количественная, т. е. не может в себе отразить всё со­держание эмпирического научного знания.

Интенсивное развитие теории КАТ показывает сколь сложна и диалектически про­тиворечива в ней проблематика, связанная с изучением соотношения объективного и субъективного. При исследовании степени обученности тестируемых и анализа сходимости мнений экспертов о качестве тестовых материалов (ПДТЗ, ПДТ, БТЗ) в опреде­ленных контекстах мы не вправе абстрагироваться от факторов, составляющих суть субъективности.

Система КАТ является феноменом реального мира, требует соотнесения с ним не только тех или иных теоретических (логико-методологических) концептов, но и услов­но-методологических (логичных) обоснований представления свойств и поведения объектов произвольной природы. Одно из значений понятия «объективность» закреп­лено по отношению к содержанию знания. В этом случае процедура обоснования про­цесса адаптивного тестирования или качества тестовых материалов будет означать по­иски такого же зависящего от воли и сознания исследователя содержания идеальных объектов, которое послужило бы «объективным основанием» этих компонентов. В другом значении понятие «объективное обоснование» употребляется нами для харак­теристики процесса опредмечивания абстрактной модели, когда происходит конструи­рование объективного основания поведения или свойств идеальных объектов.

Таким образом, понятие «объективное обоснование» является важным концептом научной методологии культуры КАТ. Ответ на вопрос о единстве эмпирического и теоретического знания, о субординации этих оснований в теории КАТ следуег из ра­ционального учета различных функций философии при установлении объективных ме­тодологических принципов тестологии и тестометрии.

Продвижение в деле сохранения объективности оценки и рациональности процесса КАТ требует радикального пересмотра основ и толкования феномена управления. Не­обходимость учитывать в полной мере вклад, который вносит тестируемый в результа­ты проверок, невозможность полностью элиминировать человеческий фактор при на­блюдении за поведением индивида привели к необходимости расщепления знания на его «форму» и «содержание». Уже беглый взгляд на структуры формализованной тео­рии показывает, что некоторые её компоненты, например, правила принятия решения и выводы, должны быть не только фиксированы, но некоторым образом входить в сферу субъективного. Но для того, чтобы эти правила действовали, необходимо качественно управлять процессом компьютерного тестирования в условиях неопределённости, не­достатке или отсутствии априорных сведений о степени обученности каждого кон­кретного объекта нечисловой природы.

При таком положении дел управление процессом компьютерного тестирования следует решать для произвольного поведения объекта. Здесь стратегия управления должна «приспосабливаться», «подстраиваться» к поведению каждого респондента и после «обучения» компьютерной программы обеспечить достижение заданной цели, когда требуется подобрать управление тестирующими воздействиями так, чтобы мера трудности ПДТЗ была как можно ближе к степени обученности индивида. И здесь на первое место стали выдвигаться адаптивные методы управления, не требующие под­робного исходного описания степени обученности телеологического объекта.

На первом этапе КАТ, когда о значении латентного параметра обученности рес­пондента в тестирующей системе нет сведений, приходится изменять категорию труд­ности ПДТЗ с учётом качества его заключений. Добавим к сказанному, что момент времени, начиная с которого приспособление меры трудности тестовых ситуаций ока­зывается близким к назначенной цели, является «немарковским моментом» и его на­ступление не может быть установлено априори. В другом случае, когда исходная сте­пень обученности образа известна заранее, появляется возможность индивидуализации поведения испытуемого, т. е. установление его реального (субъективного) УУД.

Таким образом, метод формализации двухэтапного процесса КАТ начинается с чёткого разграничения формального и содержательного основания научного зна­ния, а заканчивается тем, что вовлекает оба этапа тестовых проверок в построения ди­дактических моделей исходной и реальной оценок достижений. Формальная теория здесь дополняется некоторым содержательным знанием – метатеорией. Благодаря принципу научной рациональности формализация процесса компьютерных тестовых испытаний позволяет установить чёткую границу, в рамках которой гарантируется возможность отделения количественных методов анализа функционирования системы КАТ от качественной (субъективной, содержательной) сферы.

Однако качественный подход не только ограничен рамками метатеории, но и в зна­чительной степени зависит от содержательности исходного (неформального) знания. Отсюда следует тот факт, что средствами метатеории можно изучать объективную ре­альность как на синтаксическом, так и на семантическом уровнях. Семантика вводится в метотеорию лишь на этапе исследования теоретическими методами исходной содер­жательной информации.

В познании степени обученности респондента как объекта нечисловой природы обнаруживается универсальный по своему историко-культурному значению эпистемо­логический парадокс. Его можно сформулировать в следующем виде: установить сте­пень обученности индивида – значит отнестись к нему как к объекту исследования; но если предметом познания становятся значения латентных параметров конкретных ис­пытуемых, то превратить их в объект – значит лишить их существенных качеств субъ­ективности, а именно: принадлежности субъективному качеству заключений каждого индивида, выраженному в актах его самосознания и самопознания.

Перед нами особая информационно-эпистимологическая ситуация, фиксирующая тот очевидный факт, что субъективные состояния обученности испытуемых являются эмпирическими атрибутами особого рода, и их познание должно отличаться от позна­ния значения латентного параметра объектов хотя бы потому, что каждый конкретный субъект имеет особый «доступ» к знанию о степени собственной обученности. Отсюда следует необходимость изучения, как объекта, так и субъекта, поведение которых взаимно предполагают и опосредуют друг друга. Выделение из объектов образов – первый, элементарный акт самосознания; различение испытуемых внутри каждого об­раза – акт установления реального УУД каждого испытуемого (субъекта) из данного класса обученности. Поэтому переход объективного в субъективное должен стать предметом рационального анализа поведения индивида как главного феномена эмпи­рической системы КАТ. И в этом смысле необходимо рассмотреть понятие рефлексии.

По своей сути, рефлексия как форма теоретической деятельности исследователя, конституирует такую сферу его познавательной деятельности, в которой эпистимологические феномены (абстракции, математические модели, теории и т. п.) подвергаются критическому анализу и декомпозиции. Поле рефлексивной деятельности – само зна­ние.

Особый интерес представляет переход рефлексии от концепции современной тео­рии тестов к постсовременной. Когда специалист-методолог задумывается над кор­ректностью, адекватностью концептуальных средств, с помощью которых он фиксиру­ет результаты собственных исследований, когда он занимает критическую позицию по отношению к имеющимся данным, когда он переключает свое внимание с предметной области на структуру теоретического знания, то можно говорить о методологической саморефлексии проектанта. Рефлексия как форма самопознания и культуры мышления всегда есть результат концентрирования внимания с предмета деятельности на методы и средства деятельности, а это бывает возможно лишь при наличии новых, и при том существенно иных, методов и инструментов управления процессом КАТ.

Касаясь предельно общих оснований постсовременной теории тестов, необходимо анализировать следующие аналитические проблемы.

Имеет ли семантика теоретических терминов контекстуальную природу, или она определяется только системой формальных референций?

Какая онтология (принципы реальной действительности, ее структуры и законо­мерности) лежит в основе суждений об элементах эмпирических систем тестовых про­верок? Кроется ли за теоретическими положениями содержательная реальность или они представляют собой лишь абстракции, применяемые в целях сокращений при описании научных наблюдений за поведением объектов нечисловой природы?

Такая саморефлексия является существенным элементом методологического зна­ния, возникающего при изучении культуры постсовременной теории КАТ. Рассмотрим в связи с этим гносеологические функции философии и рефлексии, причем в качестве примера возьмем такую форму познания, как понимание. Понятие «понимание» – есть универсальная категория, связанная с работой сознания в целом; актуализация методо­логического подхода, когда четко осознается проблемность смыслового содержания элементов эмпирической системы КАТ, усматривается «непрозрачность» исходных научных понятий и смыслов. Каждый акт понимания предполагает наличие некоторого ядра смысловых связей, причем в самом акте понимания рефлексия выступает в каче­стве его предпосылок, то есть неявного знания. Чтобы осуществить критико-рефлексивный анализ указанного ядра, необходимо перейти на более высокий уровень рассмотрения и использовать специальные категориальные средства.

Простейший тип понимания основывается на здравом смысле, предпосылками ко­торого являются аксиомы практического опыта людей как с его объективно верными обобщениями, так и со всеми исторически неизбежными иллюзиями. К таким не всегда корректным обобщениям относятся построения доверительного интервала оценки при малом числе наблюдений, а также априорное предсказание закона распределения по­явления некоторого события. Именно поэтому выбору оценки поведения эмпирическо­го объекта должно предшествовать её критическое рассмотрение.

Так, например, для практических задач, связанных с применением методов традиционной (количественной) статистики для оценки результата тестирования при огра­ниченном числе наблюдений, или когда группа тестируемых является неоднородной no степени обученности и не образует бесконечного множества, введение гипотетической «генеральной» совокупности не вызвано необходимостью и вносит в рассмотрение во­проса излишний элемент идеализации, не вытекающий из непосредственной реальной ситуации.

В данном случае исследователь должен критически отнестись к выбору метода прикладной статистики и выйти за рамки исходного контекста, преодолев реальную гносеологическую границу, разделяющую объективное и субъективное. Понимание перестает быть чем-то общепризнанным, а связывается с принимаемой данным науч­ным сообществом новой «парадигмы», противостоящей существующему подходу к пе­дагогическим измерениям УУД индивидов.

В рамках такого подхода система КАТ рассматривается как эмпирическая, что и задает «познавательную позицию», вне которой вопрос о понимании, о значении тех или иных терминов, методов и средств не имеет смысла. Феномены эмпирической сис­темы адаптивного тестирования наполняются подлинно «человеческим содержанием», смыслами и ценностями. И в этом смысле на первое место выходит личность тести­руемого с ее внутренним миром и внутренними проблемами. Деятельность индивида в эмпирической системе становится специально ориентированной на самопознание и саморазвитие.

Сказанное требует разъяснений. В традиционной теории тестов предъявляемые респонденту тестовые ситуации не имеют индивидуального значения и не становятся событием внутренней жизни тестируемого. Только в адаптивной системе тестирования испытуемый работает с содержательно и логично значимыми для него ПДТЗ. Отбор меры трудности ЭФТК тестирующей программой осуществляется с учетом качества его заключений, что, в свою очередь, приводит к возникновению рациональной ком­муникации каждого конкретного индивида с тестирующей системой. Возникает целостная понятийно-образная онтологическая система, в которой респондент от «скром­ной» творческой причастности переходит к многообразию осмысления собственного поведения, своих возможностей и интересов [9]. А мыслить в пространстве КАТ, это значит свободно сравнивать, свободно выбирать, свободно принимать решение и нести за это ответственность.

В этой системе реальной сущности важное место занимают корректные описания программ функционирования системы КАТ. Именно в ней реальное поведение тести­руемых и свойства элементов эмпирической системы превращаются в виртуальные. Требуются немалые умственные усилия, чтобы в этом слабоструктурированном описа­нии добиться целостности. Вот примерный перечень требований к инструментальной среде КАТ:

·  удобное представление действий, совершаемых пользователями;

·  классификация поведения объектов по степени обученности и дальнейшее раз­личение испытуемых внутри каждого образа;

·  композиции ПДТ, а также их интерпретации, облегчающие «схватывание» со­держания;

·  наглядные представления скрытых в словесно-понятийных конструкциях зако­номерностей и связей;

·  приспособление меры трудности ЭФТК к поведению каждого индивида;

·  выбор способа оценки УУД тестируемых и алгоритма шкалирования.

В инструментальной среде реализуются логико-символический и эвристический язы­ки науки, универсальные средства мысленного экспериментирования и агрегирования, синтеза целостной эмпирической системы КАТ. Становится понятной идея композиции философских категорий количества и качества при описании поведения и свойств элемен­тов эмпирической системы адаптивного тестирования, которые позволят оперировать с любым описанием объектов и соответственно расширить возможности выбора рацио­нальных действий.

Действия тестирующей программы в системе КАТ направлены на автоматическое распознавание всевозможных регулярностей в поведении тестируемых. Установление этих регулярностей рассматривается двояко:

·  классификация включает в себя процессы, заканчивающиеся указанием некото­рого образа для каждого рассматриваемого объекта;

·  рациональная аттестация связана с присвоением конкретному испытуемому из заданного класса надлежащего ему реального балла.

Основная проблема распознавания поведения эмпирических объектов или образов связана с изменчивостью их поведения. Так например, входные данные, которые должны быть классифицированы как представители одного и того же образа (таксона, класса), мо­гут отличаться довольно сильно. Для изучения специфической изменчивости образов, принадлежащих отдельным классам некоторого репрезентативного обучающего множест­ва, может потребоваться анализ этой совокупности, причем с учетом изменчивости за­ключений эмпирических объектов нечисловой природы на ПДТЗ различной меры трудно­сти. При автоматическом распознавании поведения тестируемых необходимо стандарти­зировать, насколько это возможно, подготовку и обработку данных с тем, чтобы свести дополнительную изменчивость к минимуму.

Обращение к методам и приемам распознавания – характерная черта исследований, связанных с компьютерной обработкой данных, когда математические модели поведения эмпирических объектов невозможно реализовать с помощью существующих вычисли­тельных средств, а решение отыскивается на базе правдоподобных эвристических проце­дур.

Классификация включает процессы тестовых проверок, заканчивающиеся указанием некоторого образа обученности, полученного в условиях применения нормативно-ориентированного ПДТ. Эта процедура является приемлемой для случаев, в основе кото­рых лежит использование критериально-ориентированного теста, когда сравнение некото­рого оцениваемого и порогового значений предполагает установление факта отнесения поведения тестируемого к заданным пределам его обученности. Существенным в типоло­гической классификации поведения объектов нечисловой природы является то обстоя­тельство, что множество близких (сходных) заключений тестируемых может быть ото­бражено в один и тот же образ.

Результатом КАТ является рациональная аттестация (идентификация) образов, когда на основе их заключений на требования ПДТЗ личностно-ориентированного ПДТ уста­навливается реальный УУД каждого конкретного испытуемого из заданного класса обу­ченности.

Основу процессов классификации и идентификации образует феномен управления.

Актуализация и развитие этого феномена в процессе компьютерного тестирования связаны с разработкой (рис.9):

·  алгоритмов адаптации меры трудности тестовых заданий к модели объекта;

·  механизма оценки (оценивания и классификации) параметра модели, поведе­ния индивида.

Рис. 9. Декомпозиция процесса управления

Такой взгляд (он будет обоснован далее) позволяет, во-первых, использовать методы теории и практики ситуативного управления в процессе тестирования, а также это дает возможность утверждать об оптимальном процессе КАТ, лучше которого в рамках вы­бранной структуры не существует. Во-вторых, удается по-новому подойти к разработке процедуры оценки латентного параметра объекта нечисловой природы. Эти изменения, с одной стороны, уникальны для тестометрии и являются особой формой универсальных трансформаций, в которых пребывает теория СКДО УУД целеустремленных объектов.

Проблема становления теории КАТ предстает перед нами как приложение культуро­логического подхода к развитию СДКО УУД тестируемых с применением высоких техно­логий, методов самоорганизации, способов оценивания и классификации поведения инди­видов. Решение этих задач очень важно, поскольку неопределенность в описании дидак­тических законов оценки УУД привела к искусственному представлению обобщений по­ведения объектов нечисловой природы количественными методами параметрической ста­тистики, создающей во многих приложениях к тестологии и тестометрии лишь иллюзию научной состоятельности вскрываемых с их помощью дидактических смыслов и сущно­стей.

Рис.10. Этапы проектирования моделей управления

На рис.10 выделены четыре основных этапа при создании модели нечеткого управле­ния поведением эмпирического объекта:

·  выбор совокупности лингвистических правил управления (база правил);

·  установление нечетких подмножеств, описываемых лингвистическими характе­ристиками в правилах (база данных);

·  описание алгоритма преобразования выходных данных процесса адаптивного тестирования в нечеткие подмножества (интерфейс условий);

·  представление механизма формирования управляющих воздействий, направлен­ных на достижение цели.

Рассматриваемая нами задача управления имеет нежелательные, с точки зрения по­строения модели поведения тестируемого, характеристики – нелинейность, асимметрию в окрестности приближения β κ θ и т. п. Одним из возможных направлений научных ис­следований при создании эмпирических систем КАТ является организация процедуры управления поведением объекта на основе теории нечетких множеств. В такой модели управления каждая лингвистическая характеристика «отличное», «грудное», «менее труд­ное» и т. п. должна быть представлена нечетким подмножеством, заданным на соответствующей шкале. Функции принадлежности всем нечетким подмножествам также следует описать некоторым параметрическим семейством. Поскольку априорно мы не обладаем совокупностью этих размытых отношений, создание адекватной модели поведения объек­та нечисловой природы на основе теории нечетких множеств затруднительно. Читатель, желающий ознакомиться с теоретическими аспектами создания адаптивных систем управления с моделью объекта, может обратиться к книге , . Адаптивное управление с нечеткими стратегиями. Изд. Ростовского университета, 1993].

Под управлением понимается процесс организации такого целенаправленного воз­действия на тестируемого, в результате которого устанавливается близкое соответствие между степенью обученности эмпирического объекта и мерой трудности предъявляемых ему тестовых ситуаций. Объектом управления будем называть тот латентный параметр индивида, состояние которого нас интересует. Систему управления образуют совокуп­ности алгоритмов обработки результатов научных наблюдений за поведением тестируе­мого и средств их реализации, объединенных для достижения заданных целей управления в поведении эмпирического объекта нечисловой природы. Последовательность этапов при создании системы КАТ приведена на рис. 11.

Рис. 11. Последовательность действий при создании системы КАТ

Для системы КАТ характерна ситуация, когда априорно отсутствует модель опти­мального управления поведением эмпирического объекта, и задачей артефакта является построение такой дидактической модели. Решение этой проблемы связано с разработ­кой концептуальной и математических моделей, отражающих поведение респондента, процессы адаптации, оценивания и классификации, а также процедуры поддержки качест­ва поведения объекта нечисловой природы. Состояние (ситуация) управляемой системы тестовых испытаний формируется на основе анализа предыстории поведения (заключений тестируемого на требования ПДТЗ различной категории трудности) и построения гипотез о возможных законах функционирования системы на заданном временном интервале. Управление системой КАТ определяется как установление оптимальных отношений ме­жду мерой трудности тестовых ситуаций и качеством выводов каждого индивида. Траек­тория поведения тестируемого отображается в обобщенной модели его поведения.

Если дана некоторая ситуация, то определяется класс, которому она принадлежит и выбираются соответствующие этому таксону стратегии управления, с помощью которых осуществляется преобразование состояние обученности телеологического объекта в зна­чения косвенного признака. Этот процесс повторяется для каждого значения латентного параметра. Если независимо от состояния обученности респондента процесс тестирова­ния, в конечном счете, приводит к целевой ситуации (θi ≈ βi), то стратегия называется оптимальной. Ее отыскание завершается созданием ситуационной дидактической модели поведения тестируемого.

Проблема поиска наилучшей обобщенной стратегии управления является центральной социально-коммуникативной функцией философии КАТ. Она формулируется как поиск такого разбиения множества ситуаций на классы обученности, при котором каждому об­разу сопоставляется однозначно оптимальное обобщенное управление из совокупно­сти допустимых. Роль ситуаций выполняют последовательности заключений управляе­мого объекта. При этом класс эмпирических систем КАТ, рассматриваемых в книге, xaрактеризуется тем, что множество ситуаций значительно превышает совокупность обоб­щенных управлений. Основные трудности, которые возникают при практической реали­зации построения обобщенной дидактической модели тестируемого, связаны с поиском эффективных процедур создания системы конкретных отношений, возникающих между поведением элементов эмпирической системы в процессе формирования и функциониро­вания моделей управления.

Установления соответствия между множеством макроситуаций и обобщенными ко­мандами управления тестирующими воздействиями осуществляются специальной про­граммой, в которой заданы цель управления и соответствующий этой цели функционал оценки качества поведения каждого конкретного индивида. Построение траектории за­ключений объекта нечисловой природы происходит в процессе реального сеанса тестовых испытаний. Текущая ситуация поступает в память дидактической модели тестируемого. На основе анализа предыстории поведения управляемого объекта и построения гипотез о законе его действий тестирующая система устанавливает оптимальные отношения между элементами ситуации и записывает последнюю в классификатор модели. Одновременно осуществляется реализация построенных отношений на реальном объекте, в результате чего изменяется его поведение. Далее процесс повторяется для новой ситуации. В класси­фикаторе производится обобщение ситуаций, в результате которых множество фактов разбивается на классы толерантности. На множестве ситуаций вводится экспертами неко­торая метрика, которая учитывается как при обобщении, так и при последующей оценке поведения тестируемых.

Ситуационное управление позволяет принудительно решить проблему выхода на лю­бой уровень обобщения ситуаций. Результат тестирования определяет множество целей, которые связаны с определением критериев и ограничений для рассматриваемой задачи. Цели ограничения Z должны быть унифицированы и сведены к выполнению тре­бований «ограничить», «приравнять», «минимизировать»:

Здесь φi, ψj , υe – критерии функционалы, определяемые на S – состояниях обученности тестируемого и его среды; S = <X, θ >;X – состояние учебной среды (БТЗ и объекта управления), взаимодействующей с объектом; θ – значение латентного параметра обученности целеустремленного объекта.

Цель КАТ – расширение объема знаний о строении УУД обученности конкретного респондента. Ограничения-неравенства определяют тот минимум обученности тестируе­мого, нарушение которого недопустимо. Функция φi выражается в виде балльной оценки достижений по i-й учебной дисциплине. Ограничения-равенства определяют уровень зна­ний и умений индивида, отсутствие которого недопустимо.

Понятие «цель» используется здесь в смысле модели потребности квазисубъекта (тес­тирующей программы) заданного состояния среды, которое желательно для потребителя и которое не реализуется естественным образом без целенаправленного воздействия на по­ведение тестируемого. Главная проблема, которая стоит перед разработчиком целей, со­стоит в том, чтобы с помощью эмпирической системы КАТ обеспечить эффективную процедуру проверки при заданной верности полученной оценки.

Тестирующая система в процессе коммуникации с учебной средой фиксирует свое внимание на значении латентного параметра обученности объекта нечисловой природы. Эта система располагает БТЗ различной категории трудности и способна подстраивать тестирующие воздействия таким образом, чтобы их мера трудности (β) находилась в близком соответствии со степенью обученности (θ) каждого конкретного индивида (β = θ). Квазисубъект, выполняя цели Z, реагирует только на качество заключений тести­руемого.

Такие действия тестирующая программа выполняет на основе дедуктивно-индуктивного накопления и обобщения эмпирических научных наблюдений. Этот мате­риал, накопленный в виде фактов, по мере обобщения служит базой для установления за­кономерных связей и отношений между поведением эмпирического объекта и характером тестирующих воздействий. Существенным для анализа поведения тестируемого, как объ­екта нечисловой природы, является умение системы компьютерного тестирования «извле­кать из факта смысл» (по ).

Тестирующая программа воспринимает учебную среду как некоторый набор значений ее параметров

каждый из которых может быть изменен, т. е. воспринимаемая квазисубъектом ситуация всегда управляема

где V – управляющее тестирующее воздействие.

Свою цель тестирующая система формулирует в виде вектора-цели

Здесь Zi – i-e требование к состоянию среды S, выраженное с помощью некоторой функции ψi (S), отражающей свойство среды

Точка или область S, удовлетворяющая требованиям (4), и является тем состоянием учебной среды, которого добивается квазисубъект с учетом (5) и ресурса R (например, времени сеанса тестирования), выделенного на управление V R.

Ситуация S характеризуется некоторой степенью неопределенности, которую следует рассматривать как совокупность некачественного установления экспертами меры трудно­сти ПДТЗ, хранящихся в БТЗ и предъявляемых тестируемому, а также непредсказуемо­стью заключений индивида на требования ЭФТК. Если полагать, что состояние учебной среды во время проведения сеанса тестовых проверок не изменяется, то процесс управле­ния следует сосредоточить только на установлении класса обученности тестируемого. Это можно сделать в том случае, когда границы описания поведения телеологического объек­та четко очерчены.

Структурная модель является основой для синтеза управления тестирующими воздей­ствиями, переводящими их меру трудности близко к значению латентного параметра эм­пирического объекта нечисловой природы. По существу модель тестируемого представля­ет собой способ оценки уровня его учебных достижений при заданных условиях X и V. Если алгоритм управления обозначить F, то оценка состояния обученности θ телеобогического объекта F0 примет вид

(6)

Зависимость (6) определяется некоторым алгоритмом тестирования, который указыва­ет, как можно установить с заданной верностью значения латентного параметр обученно­сти объекта θ.

Структурный синтез модели состоит в определении структуры Q объекта управления. Такими категориями для рассматриваемого нами случая являются дискретность и неопре­деленность процесса тестирования. В соответствии с (3) структурная модель включает:

·  содержательное описание ПДТЗ

·  содержательное описание тестирующих воздействий

·  описание состояния эмпирического объекта в процессе тестовых испытаний

·  функциональное описание алгоритма тестирования с точностью до значений параметра

Тогда оператор модели F поведения целеустремленного объекта

Этап параметрического синтеза связан с коррекцией значений меры трудности ПДТЗ. Исходная идентификация этих значений заключается в определении их при помощи экспертных оценок или (и) путем предъявления БТЗ репрезентативной группе испытуе­мых. Протоколы экспертов или (и) тестовых испытаний являются источниками необходи­мой информации для установления категории трудности каждой тестовой ситуации. За­метим, что в реальных условиях адаптивного тестирования значения меры трудности тес­товых утверждений автоматически корректируются на основании обобщения качества заключений испытуемых (объектов с фиксированной степенью обученности). На этом этапе определяются знания параметра в модели θ =(X, V,B).

Синтез управления связан с построением алгоритма V, когда в сложившийся на дан­ный момент времени ситуации S и имеющемся ресурсе R удается достигнуть заданной це­ли Z. Реализация цели управления состоит в том, чтобы при конкретных ограничениях до­биться максимальной эффективности функционирования системы КАТ. Цель тестирую­щей системы связана с подстройкой БТЗ таким образом, чтобы тестируемому с заданной степенью обученности предъявлялись ПДТЗ с близкой к этому параметру мерой трудно­сти. Более того, экстремальная цель будет достигнута только в том случае, если эта опера­ция выполняется за минимальное время тестирования.

Основная цель процесса КАТ – вскрыть регулярное, необходимое. Философская кате­гория необходимости выражает устойчивые, существенные связи и отношения объектов пространства тестирования, обусловленные предшествующим ходом их поведение. Она вытекает их сущности компонентов (процессов, явлений, артефактов) пространства и при определенных условиях обязательно должна произойти.

Необходимые процессы осуществляются во множестве неопределенных событий. Так, например, тестируемые, имея разные траектории поведения, но близкие степени обучен­ности, относятся тестирующей системой к одному образу. Неопределенность заключений индивидов выступает здесь как форма проявления необходимости, когда отдельные не­определённости накапливаются, обобщаются и на этом основании складываются необхо­димые качества описания процесса тестовых проверок.

Необходимое и неопределенное различается тем, что возникновение необходимого обусловливается существенными факторами, а неопределенного – чаще всего, несущест­венными для исследуемого случая отклонениями. Так, через обобщение случайных за­ключений телеологических объектов система КАТ может при необходимости изменять характер тестирующих воздействий, а также выделять регулярную компоненту в поведе­нии объекта нечисловой природы.

При управлении есть такие моменты, которые отражают необходимое и неопределен­ное в единстве. Предвидение ситуаций предполагает гармонию этого единства. На учете влияния неопределенности построена статистическая закономерность событий, представ­ляющая собой диалектическое единство необходимых и случайных значений признаков. В этом случае из определенного состояния системы ее последующее состояние следует не однозначно, а с определенной вероятностью. Неопределенность возникает тогда, когда из нескольких состояний эмпирической системы необходимо осуществлять выбор. Характерной особенностью статистических законов является и то, что они основыва­ются на неопределенности, обладающей устойчивостью. Это значит, что они применяют­ся только к большим совокупностям явлений, каждое из которых носит неопределённый характер. Так из значений качества заключений тестируемых складывается необходи­мость изменения меры трудности ПДТЗ, а также процесс вычисления оценки.

Например, в системе ACT процесс управления строится следующим образом. Тести­руемому на первом этапе проверки предъявляются ЭФТК средней меры трудности. После того, как респондент выполнил заключения по нескольким заданиям с указанной степе­нью трудности, тестирующая система обобщает результаты этих заключений и в зависи­мости от их качества изменяет категорию трудности ЭФТК в ту или иную сторону. Таким образом, достигается установление в системе КАТ исходной оценки латентного параметра объекта (θi ≈ βj) – регулярное (устойчивое) поведение объекта нечисловой природы.

Очевидно, что специфика поведения тестируемого определяет время проведения про­верки и качество оценки его состояния. Индивидуализация процесса КАТ ориентиро­вана именно на выполнение каждым конкретным респондентом экстремальных це­лей.

На этапе реализации управления убеждаются в корректности описания предыдущих этапов. Даже в том случае, когда цель достигнута и модель поведения тестируемого по­строена удачно, система адаптивного тестирования обращается к предыдущему этапу синтеза. Эта ситуация отображает появление на входе данного артефакта нового эмпири­ческого объекта и необходимость перестройки управления под его поведение.

На рис.12 приведен характер изменения качества оценки индивида после каждого из 10-ти испытательных заданий. Пунктирные линии указывают степень доверия к результа­там КАТ. Видно, что увеличением числа ПДТЗ соответственно уменьшается интервал принятия неверного решения, т. е. верность оценки УУД телеологического объекта при достаточно большом n увеличивается и принимает довольно устойчивое значение. Это обстоятельство отражает общую закономерность, состоящую в том, что при n → ∞ и β → θ величина правильности установления УУД тестируемого стремится к некоторому пределу, зависящему от условий учебной среды. Существенным является и то, что достижение этого предела в случае адаптивного тестирования, достигается за меньшее число шагов (ПДТЗ), чем при традиционной организации тестовых испытаний.

Рис.12. Пример работы системы КАТ

Отсутствие априорных сведений о степени обученности объекта требует привлечения методов адаптации с тем, чтобы в процессе тестовых испытаний выбрать наилучший с точки зрения минимального времени сеанса тестирования алгоритм проверки. Структур­ная адаптация рассматривается здесь как процесс приспособления тестирующей системы к специфическому поведению каждого конкретного эмпирического объекта. Адаптация структуры модели обеспечивает переключение меры трудности ЭФТК в соответствии с поведением респондентов на первом этапе тестирования, когда исходный уровень их обу­ченности не установлен. Параметрическая адаптация связана с коррекцией значений категорий трудности ПДТЗ, осуществляемой автоматически программой на основе обоб­щения качества заключений испытуемых с фиксированной исходной степенью обученно­сти.

К адаптации объекта управления следует прибегнуть в том случае, если параметри­ческая и структурная адаптации не позволяют достигнуть ожидаемого результата. И, на­конец, если и эта мера неэффективна, следует осуществить изменение цели управления или ограничений. Можно утверждать, что адаптивность характеризует способность сис­тем тестирования модифицировать свое окружение, когда происходит неприятное для не­го изменение с целью восполнения потери эффективности управления.

Главное преимущество системы КАТ перед традиционным компьютерным тестирова­нием является то, что приспособление качества тестирующих воздействий к поведению каждого респондента позволяет при той же верности оценки сократить время проведения сеанса проверки на 60% и более. Как сказано выше, это достигается благодаря предъяв­лению каждому конкретному тестируемому содержательных (по смыслу) и логичных (по мере трудности) для его степени обученности тестовых ситуаций.

Сила предсказательности законов тестометрии возрастает, если они адекватно отра­жают причинные связи и отношения между явлениями, когда эмпирические научные фак­ты получают формальную трактовку и возводятся на уровень теоретических зависимо­стей. Причинность обуславливает количественный УУД тестируемого, а основание отнесения его поведения к тому или иному классу обученности определяется качест­венными различиями между обобщенными заключениями индивидов на ПДТЗ раз­личной категории трудности.

Эти неоспоримые положения надо учитывать при изучении дидактических законов и закономерностей. При этом следует понимать, что методы СКДО УУД применяются к объектам нечисловой природы, описание поведения которых имеет специфические осо­бенности.

Первая особенность эмпирических систем состоит в том, что они в качестве необхо­димого условия своего познания и использования предполагает рациональную созна­тельную деятельность участников пространства КАТ. Из целенаправленных, необходи­мых и самоценных норм поведения объектов нечисловой природы образуется дидактиче­ская закономерность теории СКДО УУД тестируемых.

Вторая особенность дидактических законов адаптивного тестирования состоит в том, что их сущность проявляется при массовом проведении тестовых проверок, и в этом смысле законы тестометрии носят статистический характер. Последние проявляются в результате анализа большого числа научных наблюдений, осуществляемых в условиях неопределенности поведения индивидов и непредсказуемых изменений состояния учеб­ной среды. Специфической особенностью законов, описывающих дидактические наблю­дения, является то, что аналогичные оценки, происходящие в различных условиях, могут дать разные результаты. Как отмечает [Философия образования. M. «Флинта», 1998, стр.382], «повторяемость как существенный признак педагогического за­кона не может быть абсолютной, скорее, речь должна идти о некоторой регулярности, которая лишь в своей статистически достоверной устойчивости может претендовать на статус закона». Поэтому авторы данной книги, обосновывая такие регулярности, критиче­ски относятся к применению методов классической (количественной) статистики для опи­сания моделей поведения и состояния объектов произвольной природы.

Третьей существенной особенностью дидактических законов управления эмпириче­скими системами является их динамичность, историческая недолговечность и содер­жательная интерпретация. Это накладывает дополнительные ограничения на использование методов параметрической статистики и требует системной доказательности статуса представления той или иной регулярности при описании процессов КАТ.

Постсовременную тестометрию можно определить как научную дисциплину, зани­мающуюся разработкой непараметрических методов анализа и синтеза систем адаптивно­го тестирования. Как феномен культуры тестометрия выражает субъективно-личностную сторону деятельности участников пространства КАТ, способы и нормы социальной орга­низации и регулирования учебной деятельности, выполняет важную функцию накопления и модификации ЭФТК, а также трансляции KCT3.

Для логичного мышления характерны иные тенденции. Оно не стремятся к длинным цепочкам логически неопровержимых рассуждений, а предпочитают им множественность точек зрения на один и тот же предмет, процесс или явление, пытаясь выявить многообра­зие его качеств. Вводимые ими понятия являются более или менее расплывчатыми, а на­личие оттенков восприятия объектов нечисловой природы различными участниками куль­турного пространства тестирования считается естественным и допустимым. Это связано с тем, что категории качества, с которыми имеют дело разработчики инструментальных средств адаптивного тестирования, проектанты и эксперты программно-дидактических тестовых материалов, не очерчены только жесткими границами и не могут быть измере­ны численно.

В культурном пространстве КАТ эпистемологические и ИЭ категории познания тесно связаны. С философской точки зрения первые дают осмысленное отображение объектив­ных ситуаций и процессов и представляют собой способ регистрации информации. Вто­рые несут информацию о последовательности эффективных целенаправленных действий.

Характеристика предмета и задач постсовременной теории адаптивного тестирования предполагает выяснение соответствия между педагогическими измерениями и такими операциями как контроль и проверка УУД тестируемых, поскольку та или иная операция входит в состав процесса управления. Процедуры измерения, контроля и проверки имеют немало общего. Во всех трех случаях речь идет о состоянии обученности респондента с обязательным выполнением операции сравнения. Измерительный анализ в соответст­вии с документом ИСО/ТО 10017 представляет собой набор процедур для оценки погреш­ности измерений. Если при его применении отсутствует тщательность и обоснованность выбора методов и средств измерений, то результаты могут оказаться ошибочными. При­меняемые при измерениях средства должны быть обязательно аттестованы и проверены, т. е. калибрированы.

Если в случае измерения производится сравнение искомой величины с величиной, принятой за единицу, то при контроле осуществляется сравнение значения латентного па­раметра обученности эмпирического объекта с некоторым образцом его состояния. По­следнее может быть задано в виде некоторого описания, которое отражает поведение индивида. Специфика дидактического контроля УУД тестируемого, в отличие от измерения, в том, что последний является объектом нечисловой природы, и его состояния обученно­сти рассматриваются как качественно разные. Безусловно, эти состояния имеют не толь­ко качественную, но и количественную характеристику (например, баллы), однако в це­лом множество выделенных состояний никогда не рассматривается как упорядоченная со­вокупность знаний некоторой величины, что имеет место в случае измерения. Иначе гово­ря, в какой бы форме не были бы заданы значения латентных параметров тестируемого, они всегда изучаются в случае контроля как некоторые качественно различные его со­стояния, между которыми не установлены отношения «больше» или «меньше» и не опре­делены арифметические операции. Нельзя, например, утверждать, что состояние «хорошист» в два раза больше, чем состояние «двоечник».

Процесс КАТ предполагает использование математического аппарата для описания эмпирических закономерностей, обнаруживаемых в поведении тестируемого. Здесь сле­дует остановиться на культуре мыслительной деятельности позиционеров при использо­вании понятий тестометрии. Для логического мышления характерна приверженность к количественным законам формальной логики, они мыслят цепочками взаимосвязанных ходов, для них естественно двигаться по ступенькам силлогизмов от некоторых исходных понятий до конкретного утверждения. Это становится возможным, если удается дать строгие определения всем понятиям, используемым в процессе рассуждения, четко дого­вориться о правилах оперирования с этими терминами и т. п.

Результаты, полученные на основе параметрической статистики, поддаются довольно четкой дедуктивной переработке. Однако они обладают рядом существенных недостатков. Во-первых, они не содержат в себе правил для формирования самих исходных данных и не включают в себя критериев для определения исходных этапов распределения. Обоб­щения, получаемые в рамках такого представления о строении знаний, жестко однозначны и не допускают вариантов, тогда как в реальном процессе оценки УУД позиционер в со­стоянии строить множество различных обобщений на основе ограниченной совокупности данных. Знания, получаемые в результате дедуктивного вывода из исходных данных о по­казателях БТЗ и предполагаемой степени обученности тестируемых, могут и чаще всего оказываются неадекватными реальной ситуации, так как не учитывают семантической изменчивости смыслов и значений тестовых материалов в зависимости от изменений си­туаций. Наконец, язык теории вероятностей, лежащий в основе вычисления показателей KCT3 и измерении достижений объектов нечисловой природы, является сугубо дескрип­тивным, неспособным моделировать процессы принятия решений при анализе теологиче­ского состояния индивида.

Осознание отмеченных недостатков применения методов традиционной статистики привело уже в 90-х г. г. к пониманию того, что перспектива создания механизма управле­ния и оценки в гораздо большей степени зависит не от объема дескрипций, т. е. исходных данных БТЗ, а от эволюции, развития, накопления и усложнения программ, содержащих правила, имитирующих, стимулирующих или, наконец, функционально моделирующих интеллектуальную деятельность позиционеров. Такая оценка осуществляется сверху вниз, от более общих понятий к менее общим, от объектов – к испытуемым.

Термин «измерение» не следует применять и потому, что эта операция проводится при наличии эталона – меры, служащей для воспроизведения, хранения и передачи единиц какой-либо величины. В системе КАТ хранятся образцы ПДТЗ, а не эталоны. Поэтому те­леологическое состояние тестируемого можно оценить, не нельзя измерить.

Оценка – синтез процессов оценивания и классификации поведения тестируемого, способ и результат установления факта соответствия или несоответствия латентного па­раметра обученности индивида целям и задачам КАТ. Она предполагает не просто качест­венную фиксацию конкретной ситуации, но и служит основой для выявления причин не­успешности усвоения учебного материала, способствует совершенствованию организа­ции дидактической деятельности, направленной на устранение «неудобств» в педагоги­ческой системе. Количественным аналогом оценки является отметка. В отличие от оцен­ки, которая определяется уровнем – интервалом на оси, отметка имеет множество ран­говых значений внутри интервала оценки. Отметка дает возможность дать целостное представление о результатах тестирования и может служить удобным ориентиром при контроле УУД целеустремленных объектов.

Проверку УУД объекта нечисловой природы можно рассматривать как операцию, близкую к контролю. Основное отличие названных процедур состоит в том, что при кон­троле можно ограничиться рассмотрением отметки, а при дидактической проверке дос­тижений этого делать нельзя. Проверка с необходимостью предусматривает изучение со­держательной компоненты оценки УУД тестируемых, когда исследованию подлежат заключения индивида на требования каждого ПДТЗ, и задача проверки – установить причину того или иного состояния обученности респондента в целом, сведя его к отдель­ным ситуациям. И только в этом случае можно говорить о культуре оценки и о культуре регулирования на ее основе дидактического процесса обучения. Развитие анализа в области СКДО УУД объектов эмпирических систем приводит к необходимости выполнения большого объема вычисления. Здесь возникают трудности технического характера и проблемы ограниченности материала наблюдения. В преодоле­нии первого препятствия существенную роль играет появление персонального компьюте­ра. Второе имеет место при ограничении затрат на тестирование. Однако в обоих случаях важна роль качественного анализа, поскольку в процессе оценки достижений объектов нечисловой природы мы должны понять, что сам переход от действительных значений ла­тентных параметров объектов эмпирической системы к обобщенным атрибутам есть реа­лизация принципа «экономии мышления». Так возникает задача сведения множества со­стояний обученности индивида к небольшому ряду обобщенных итогов, выражающему действительно существенное, закономерное для поведения респондента. Развитие этого подхода и составляет новую ступень в истории статистики научных наблюдений.

Наиболее ярко отражает черты качественного анализа в процессе классификации об­разов по уровням обученности кластерный анализ. Здесь мы отмечаем основополагающий эпистемологический принцип статистической науки о СКДО УУД респондента: его осно­ву составляет примат качества степени обученности тестируемого над количеством. Усовершенствование количественных методов эмпирического исследования не может по­колебать этот принцип. Не случайно содержательный анализ возник именно в психологии, где для него почва особенно благоприятна, поскольку раскрытие внутренней логики эм­пирических объектов в ней исключительно затруднено. Отсюда следует целесообразность идеи синтеза философских категорий количества и качества в такой социокультурной общности, которая обобщает методы установления опенки УУД телеологических объек­тов с учётом их содержательной интерпретации.

Наиболее существенные методологические черты кластерного анализа сводятся к об­разованию единой меры, охватывающей категории трудности ЭФТК, качественное уста­новление уровней – интервалов оценивания и количественное решение вопроса об УУД конкретного индивида. Идея классификации по сочетанию ряда признаков появилась в I920r., когда исследовал 34 характеристики уездов, анализируя «Связь между элементами крестьянского хозяйства в 1917 и 1919 годах» («Вестник статистики», 1920). В кластерном анализе заключения тестируемых объединяются в один показатель сходства (близости, толерантности) поведения группируемых объектов. И здесь без пред­варительного анализа качества принципиально нельзя приступать к опенке УУД тести­руемых. Коль скоро значения признаков установлены, становится оправданным и подход кластерного анализа, но не как чисто эмпирического, а основанного на конкретных мето­дологических принципах.

В кластерном анализе группировочные значения признака подвергаются объединению с помощью некоторой метрики. Вопрос о выборе метрики и масштабов (числа качествен­ных интервалов) имеет различное содержание в зависимости от целей. Удобной и понятной является качественная шкала из двенадцати уровней: «превосходно обучен­ный», «отличник», «почти отличник» и т. д. При таком подходе тестируемые одного кла­стера (класса) образуют совокупность схожих по поведению эмпирических объектов, объ­единенных по набору общих для них значений признака. Так, например, все респонденты с отличным уровнем обученности попадают в интервал качества отличника, хорошисты занимают свой интервал, троечники – свой, а плохо обученные – свой. Количественные баллы индивидов легко сводимы к соответствующим им качественным аналогам.

Изложенный подход подразумевает разработку программы, которая обеспечивает расщепление отметки на равноценные части. В этом случае сравнительно небольшие от­клонения от образцовых интервалов оценки вносят изменения величины оценки в обе стороны от отметки. Оценка подразумевает переход от точки на шкале отметок в опреде­ленной зоне, в которую попадают действия испытуемых с близкими, но не равными дос­тижениями. Этим обеспечивается переход от отметки к оценке, которая представляется тетраэдром триад [ 11].

В тестометрии рассматриваются вопросы, связанные с задачей опенки значения пара­метра обученности тестируемого по результатам наблюдений за качеством его заключе­ний на ПДТЗ различной степени трудности. Результат испытаний зависит oт случая, т. e. исходом научных наблюдений является реализация некоторого значения неопределенной величины. Поэтому результат КАТ представим в виде вектора, компонентами которого являются исходы отдельных научных наблюдений. Как правило, испытания считаются не­зависимыми, в том смысле, что вероятностные категории непредсказуемой величины, наблюдаемой в каком либо сеансе тестирования, не зависят от исходов остальных наблюде­ний.

Оценивание рассматривается нами как процесс вычисления значения оценки, в то время как последняя является результатом этой процедуры и включает в себя еще и смы­словую составляющую. Ясно, что система принципов СКДО УУД тестируемых, должна соответствовать объективно действующим научным законам дидактики, когда удается от­разить сущее, существенное в изучаемых нами процессах КАТ.

Наблюдаемые атрибуты могут быть как количественными, так и качественными. На­пример, балл 81,3 является числом, выражающим характер заключений тестируемого, а понятие «более чем хорошо», отражает качество поведения. Основная часть нашего рас­смотрения будет связана с качественными показателями оценки. Результат установления значения латентного параметра вывода i-гo объекта нечисловой природы на j-e ПДТЗ бу­дем обозначать символом , а вектор

где Y΄j = [y'ij]; i ; 1 будет отвечать каждому ряду оценивания (для j-го индивида). В этой матрице n – число ПДТЗ, m – количество тестируемых.

В задачах кластерного анализа неотрицательная функция d(Yi, Yj) называется метри­кой, если

Величина d(Xi, Xj) – расстояние между Xi и Xj. Ниже приведены примеры некото­рых наиболее употребительных функций расстояния [Б. Дюран, П. Одел Кластреный анализ. М. Статистика. 1977.c.17]

Название

Формула

l1 – норма

Евклидово расстояние

Сюпремум – норма

Расстояния между парами векторов d(Yi, Yj) могут быть представлены в виде матрицы

Неотрицательная вещественная функция ω(Yi, Yj) = ωij называется мерой сходства, если

Пары значений мер сходства объединяются в матрицу сходства

Величину ωij называют коэффициентом сходства (например, мнения экспертов о качестве ПДТЗ или поведения тестируемых). Если каждый вектор заключений Y ΄i состоит из нулей и единиц, значение ω ij называют коэффициентом ассоциации.

Статистики часто пользуются мерой линейного сходства, называемой коэффициен­том корреляции,

Этот коэффициент зачастую используется ошибочно. Так, например, две точки Y΄l и Y΄2 могут сравнительно далеко находиться друг от друга и в то время сходство поведе­ния телеологических объектов может оказаться равным 1.

Пусть X1 = (1,1), Х2 = (10,10). Пользуясь метриками приведенной ранее таблицы и уравнением для rij, найдем:

Заметим, что d∞(Y1, Y2) < d2(Y1, Y2) < d1(Y1, Y2) . Более того, хотя Yl ≠ Y2, rij =1, т. e, Поведение тестируемых с точки зрения коэффициента корреляции будут считаться сход­ными. В связи с этим количественные метрики и коэффициент корреляции для оценки сходства поведения целеустремленных объектов следует применять критически.

По-видимому, первоначальное определение предмета кластерного анализа было сде­лано Р. Трионом (Tryon R. C. Cluster analisis, Ann Arbor: Edvaards Bros, 1939). Задача кла­стерного анализа заключается в том, чтобы на основании данных, содержащихся в множе­стве заключений индивидов на требования ПДТЗ различной меры трудности, разбить эту совокупность тестируемых на фиксированное число кластеров так, что бы каждый респондент принадлежал одному и только одному классу обученности и чтобы эмпирические объекты, принадлежащие одному и тому же образу, были сходными no поведению, в то время как поведение объектов разных классов было разнородным.

При решении задач кластерного анализа принимается два предположения:

·  выбранные характеристики в принципе допускают желательное разбиение пове­дения объектов нечисловой природы на классы;

·  единицы оценивания (масштаб) выбраны произвольно.

Первое допущение вносит некоторый произвол и при разделении объектов нечисло­вой природы требует содержательных рассуждений. Во втором случае желательно найти такой метод классификации, который был бы инвариантен к изменению масштаба оце­нивания.

Поскольку мы рассматриваем процесс оценки УУД как категорию качества, то ни мет­рики, ни масштабы не могут быть выбраны без учета содержательной интерпретации свойств и поведения элементов эмпирической системы КАТ. Так, для привязки поведения тестируемого к определенному классу в большей степени следует учитывать характер его за­ключений на ПДТЗ, мера трудности которых близка к исходной степени обученности этого испытуемого. Критерием могла бы стать величина полученного им балла. Установив для это­го числа некоторые границы уровня-интервала качества, отвечающие возможности отнесения к ним заданного количества баллов, мы получим объективный критерий для масштаба, да и для метрики.

Решением задачи кластерного анализа является разбиение, удовлетворяющее задан­ному критерию оптимальности. В качестве такого критерия мы будем пользоваться коэф­фициентом сходства B. B. Красильникова [25]

Здесь n – количество ПДТЗ в тестовой последовательности;

k – число качественных уровней обученности тестируемых;

S(v) – сумма вариаций качественных оценок;

m – число тестируемых (включается при вычислении S(v)).

Параметр m участвует при вычислении S(v). Значение коэффициента близости пове­дения эмпирических объектов

W=0 – полное отсутствие сходства;

W=1 – абсолютная похожесть поведения объектов нечисловой природы.

Так как приложением шкалирования являлось представление о том, что суждение о близости поведения объектов является некоторой оценкой расстояния между ними в про­странстве наблюдений, то свойства сходства должны быть в четком смысле аналогичны свойствам расстояния

При оценке поведения тестируемых полученные статистические данные – не числа, а интерва­лы, порожденные неопределенностями заключений респондентов и учебной среды. В этом случае количественные значения признака являются неопределенными. Поэтому для оценки качества вы­водов индивидов мы вынуждены обратиться к статистике интервальных данных. Интервальный Метод перевода, основанный на философской категории перехода количественных изменений в новые качественные различия, является подходящим способом для оценки УУД объектов нечисловой природы. В нем вычисленные ранги являются аналогами количественных баллов, полученных тестируемыми. Применение интервального метода перевода количественных значений в их качест­венные аналоги в сочетании с формулой Красильникова обеспечивает построение новых алгорит­мов оценки результатов КАТ с учетом различных показателей качества (рис. 13).

Рис.13. Показатели качества оценки достижений

Опыт исследования алгоритмов шкалирования показал, что, во-первых, полная эли­минация субъективного фактора при установлении границ степени обученности тести­руемых как с точки зрения процесса КАТ, так и понимания результата познания невоз­можна, во-вторых, можно указать такие качественные уровни-интервалы обученности, внутри которых отвлечение от субъективного фактора рационально обосновано.

Целесообразность принятия рациональных дидактических решений участниками про­странства КАТ должна базироваться на культуре оценки, которая обозначает процесс сбора и обработки верной информации, позволяющей участникам образовательного про­цесса принимать решения, необходимые для совершенствования содержания и формы ПДТЗ, а также для изменения технологии КАТ. Культура оценки подразумевает, прежде всего, способы реализации рациональной процедуры компьютерного тестирования и ре­зультаты его применения для управления компонентами образовательного процесса. Оценка поведения испытуемых при осуществлении компьютерной проверки их учебных достижений, рассматриваемая как вспомогательный инструмент для принятия рациональ­ных решений, носит динамичный, объективный и более открытый характер, чем традици­онная отметка.

Концепция культуры оценки понимается не только как контроль состояния испытуе­мого, а скорее касается действий позиционеров различной категории и тестируемых. Именно на уровне культуры оценка в наиболее полном объеме выражает индивидуаль­ность каждого испытуемого. В материалах Всемирной конференции по высшему образованию, состоявшейся в Париже 5-9 октября 1998r., подчеркивается необходимость обес­печения становления культуры оценки и принятия ее всеми учебными заведениями.

Культура оценки реализуется только при наличии БТЗ и механизмов, обеспечиваю­щих анализ эволюции поведения и телеологических свойств объектов, верность обработки заключений индивидов на требования ПДТЗ. При этом особую актуальность приобретают проблемы индивидуальности и объективности оценки УУД тестируемых, систематично­сти и всесторонности проверок, обеспечения заданной верности оценки и возможности применения результатов КАТ для оперативного регулирования содержания обучения.

Более того, важен не только достигнутый результат КАТ и его качественная оценка, но и влияние последней на процесс коррекции учебной деятельности. Именно поэтому существенно установить взаимосвязь между оценкой и культурой регулирования дидак­тической системы обучения, которая подразумевает использование принципа обратной связи в последовательности: результат – цель – содержание – технология – оценка – кор­рекция.

Культура регулирования включает деятельность целеустремленных участников об­разовательного процесса, направленную на пересмотр и совершенствование целей, содер­жания, норм, правил и технологий тестовых проверок. На первом уровне цели действий заданы, и активность системы состоит в приспособлении тестирующих воздействий к по­ведению индивидов, а также в изменении категории трудности ПДТЗ в соответствии с за­ключениями на их требования объектов нечисловой природы. Задача выработки макропо­литики связана с перестройкой оснований системы КАТ, предполагает способность пре­подавателей и администраторов строить собственные программы действий, которые по­зволили бы выйти за рамки предписываемых имеющейся ситуацией фактов, наметить но­вые цели деятельности. Для преподавателя это могут быть внесения изменений в содер­жание обучения, модификация смысла и меры трудности неконкретных тестовых заданий. Администрация может вносить корректировку в правила организации тестовых проверок, изменения целей субъектов или требований образовательных стандартов. Безусловно, та­кие преобразования могут осуществляться только на основе объективной информации ре­зультатов КАТ, представляемых для каждой категории участников пространства КАТ.

В процессе развития уровня культуры регулирования формируется сложная иерархи­ческая структура с вертикальными и горизонтальными связями. Вертикальные связи оп­ределяют совокупность норм и ценностей (ценностно-целевые структуры), общение пози­ционеров и по поводу совершенствования системы КАТ (субъект-субъектные отноше­ния), а горизонтальные связи – реальные изменения тестирующих воздействий и парамет­ров БТЗ (объект-квазисубъектные отношения при классификации и субъект-квазисубъектные отношения в процессе аттестации).

Исследуя культуру регулирования процесса КАТ, мы видим, что категории причины и следствия взаимосвязаны: не только причина порождает результат, но и следствия по принципу обратной связи действуют на причины и изменяют их. Это взаимодействие вы­ступает внутренней причиной совершенствования компонентов культурного пространства КАТ, включая в себя не только модификацию меры трудности ЭФТК, но и совершенство­вания нормативной системы культуры тестирования. Культура регулирования рассматри­вается здесь как синтез причины и следствия, когда взаимодействие последних является основой совершенствования условий проведения тестовых испытаний. Здесь отчетливо видно, что теория КАТ не может ограничиться изучением только причинных взаимодействий, представленных математической моделью Раша, она призвана изучать процессы СКДО УУД тестируемых во всем многообразии их статистических связей. Поскольку причинная связь носит объективный характер, то познавая причины отображения поведе­ния телеологических объектов в тот или иной класс обученности, позиционеры получают возможность рационально воздействовать на них.

II. КУЛЬТУРОЛОГИЧЕСКИЕ АСПЕКТЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ

Культурология как философия культуры оценки значения одного из параметров личности и адаптивного управления процессом КАТ раскрывает историю, сущность и единство ценностно-ориентированной деятельности участников процесса КАТ; роль тес­товых испытаний с точки зрения становления и развития рациональных потребностей ка­ждого индивида в установлении объективной оценки уровня его учебных достижений; самоорганизации эмпирической системы тестовых проверок; культуру регулирования процесса обучения; возможности коммуникации, диалога и взаимоотношения позиционе­ров различной категории в культурном комплексе тестирования.

Базовым понятием культурологии КАТ считается философия культуры, предметом изучения которой являются общие закономерности ценностно-ориентированной деятель­ности позиционеров, процессы духовного, социального и технического наполнения ком­понентов культурного пространства тестовых испытаний с целью установления исходного и реального УУД объектов нечисловой природы. Это определение подчеркивает необхо­димость исследования таких блоков культуроведческого цикла, как: культура оценки и культура регулирования; методы самоорганизации и шкалирования; правила проектиро­вания тестовых материалов и разработки нормативной системы культуры; создание усло­вий для реализации принципа автономии личности и открытого пространства компьютер­ного тестирования. Относительно этого комплекса знаний философия культуры КАТ яв­ляется их непосредственным методологическим фундаментом.

Говоря о спецификации познания культуры СКДО УУД телеологических объектов нечисловой природы, необходимо учитывать то, что она представляет собой сверхслож­ное системно-целевое единство, являясь в принципе суперсистемой. Культурологический процесс в этом смысле отмечен нарастанием многообразия, обусловленного им усложне­ния моделей и структур, а также коммуникациями и взаимодействиями между феномена­ми культуры. Все процессы в культурном пространстве тестовых испытаний обусловлены общечеловеческим содержанием, единством экстенсивных и интенсивных изменений, на­правленных на совершенствование механизмов оценки УУД целеустремленных (телеоло­гических) объектов. Постичь и описать культуру КАТ в реальной целостности и полноте конкретных форм ее существования, в ее структуре, функционировании и эволюционном развитии можно только с позиции методологии системного мышления как особой сферы бытия и понимания сущности культурологического подхода к представлению механизма деятельности позиционеров. На философском языке это означает превращение каждого участника пространства КАТ в субъекта деятельности и появление ядра культуры, на ко­торое направлен процесс их воздействия.

В наиболее общем виде объект тестирования – это та сфера деятельности, на которую направлено управление, а предмет – это то, что оценивается и классифицируется в телео­логическом объекте. Тестируемый в процессе КАТ не просто тождествен объективной ре­альности, а выступает как такая ее часть, которая находится в процессе коммуникации с квазисубъектом (тестирующей программой), причем само выделение уровней-интервалов обученности респондентов осуществляется априорно с помощью рациональной деятель­ности проектанта. Предмет нашего изучения – категория, обозначающая степень обучен­ности индивида, выделенная из целостного эмпирического объекта в процессе СКДО уровня его учебных достижений. В гносеологическом плане различие объекта и предмета исследования является относительным и заключается в том, что в предмет входит лишь один, наиболее существенный с точки зрения КАТ, латентный параметр обученности индивида.

Фундаментальные вопросы о сущности, способах и формах оценки знаний, интеллек­туальных умений и практических навыков культурология изучает в следующем контексте: каков смысл компьютерного тестирования, зачем понадобился переход к адаптивному управлению процессом тестовых испытаний?

Объектами культурологии СКДО достижений являются участники создания моделей КАТ; элементы произвольной природы; разработчики методологических правил и стан­дартов; проектанты ЭФТК, КФТ, культурных систем ГТДТЗ и артефактов, объединяющие различные феномены культурного пространства в целостную систему адаптивного тести­рования. В качестве собственных приложений культурология выделяет:

·  историю становления культуры СКДО УУД объектов нечисловой природы;

·  философию культуры КАТ;

·  методологическую и прикладную культуру управления поведением респонден­тов (объектов нечисловой природы). Феномен управления изучается в культур­ном комплексе тестовых проверок с двух точек зрения: адаптации и оценки.

Среди многообразных взглядов на сущность и роль философии культуры КАТ наибо­лее плодотворна ее деятельная интерпретация. Этим подчеркивается необходимость ус­тановления предмета культурологии адаптивных тестовых проверок, создания методоло­гических правил проектирования тестовых материалов, разработки основ теорий адапта­ции и алгоритмов шкалирования, проектирования концептуальной и математической мо­делей поведения целеустремленного объекта.

Определение предмета исследования важно с двух точек зрения. Во-первых, наличие этого знания необходимо для трансформации основ теории КАТ в самостоятельную нау­ку. Во-вторых, это помогает выделить круг рассматриваемых нами проблем и определить границы этой области знания. В процессе установления предмета исследования необхо­димо ответить, по крайней мере, на следующие вопросы:

·  Какие исторические предпосылки предшествовали появлению культуры КАТ?

·  Какие закономерности рассматривает и вскрывает культура СКДО УУД телео­логических объектов?

·  В чем состоит сущность отношений между элементами числовых и эмпириче­ских систем?

·  Почему возникла необходимость изучения этих закономерностей и какова го­товность науки к их исследованию?

·  Какие объекты произвольной природы включает в себя философия культуры КАТ и каковы связи между ними?

·  Насколько специфичны эти закономерности?

История становления КАТ свидетельствует о том, что дефицит культурных оснований в традиционных системах контроля учебных достижений связан со скудным учетом реф­лексии личности – формы деятельности экзаменуемых, направленной на осмысление своих собственных поступков. Этому представлению о контроле успеваемости обучаемых противостоит культурологический подход, связывающий меру и критерий прогресса в сфере образования с качественной и количественной оценкой поведения тестируемого как объекта, так и субъекта познания. Здесь генезис философии культуры адаптивного тес­тирования направлен на переход от жестких рамок количественной статистики к компо­зиции методов количественной и качественной оценке УУД. Этот подход акцентирует внимание на эмпирическом описании научных наблюдений респондентов методами непа­раметрической и интервальной статистики [29,30].

Чтобы теория КАТ имела практическую ценность, она должна давать нам возмож­ность концептуально представить состояние и поведение целеустремленных объектов. Та­кие системы будем относить к культурным. Существенной характеристикой культурной системы адаптивного тестирования является целеустремленное ее поведение, которое со­пряжено с выбором. Целеустремленная система получает поддержку от тестирующей сис­темы, если вторая сотрудничает с первой.

Исторически сложилось так, что классическая и современная теория тестов базируют­ся на методах параметрической статистики. Их различие состоит в том, что в первом случае оценка достижении осуществляется традиционными методами теории вероятностей и математической статистики, а во втором – правильность оценки устанавливается с помо­щью математических моделей Раша или Бернбаума. Оба подхода основываются на апри­орно заданном нормальном законе распределения ошибок измерений. Ранее мы показали, что в случае оценки УУД тестируемого приходится иметь дело с объектами нечисловой природы, которые в принципе не могут быть корректно описаны только количественными методами традиционной статистики. Поэтому на данном этапе становления и развития теории адаптивного тестирования необходимо опираться на методы непараметрической и интервальной статистики.

Постсовременная теория КАТ изучает закономерности описания элементов эмпириче­ских систем, преломляя их через призму философии культуры. В этом контексте про­цесс адаптивных тестовых испытаний представляет собой новую систему методологиче­ских знаний, основным содержанием которой являются закономерности установления ис­ходного и реального состояния обученности объектов нечисловой природы; разработка правил и стандартов для продуцирования культурных систем программно-дидактических тестовых материалов; создание механизмов адаптации параметров системы и оценки УУД респондента. В этом процессе на первый план культурология выдвигает проблемы духов­ного и социального смысла деятельности всех участников пространства КАТ.

Объектами содержательного (методологического) подхода являются концептуальная модель поведения телеологического объекта, кодекс правил конструирования феноменов культуры и спецификации KCT3, конкретные формы представления тестовых утвержде­ний, стратегия оценивания и классификация достижений объектов нечисловой природы, установление границ интервалов правильной типологической классификации и рацио­нальной аттестации индивидов.

Рассматривая труд «в простых и абстрактных его моментах» и изучая механизм клас­сификации объектов, К. Маркс выделял объект и субъект исследования с его целями, мо­тивами и интересами. Распространяя эту схему на концептуальную модель поведения объекта нечисловой природы, можно трактовать процедуру СКДО достижений личности как единство двух этапов компьютерного тестирования: разделение поведения респон­дентов на однородные классы обученности (образы) и различения УУД конкретного ис­пытуемого внутри каждого образа (класса, таксона). Установление границ для представ­ления поведения объекта нечисловой природы определяет процедуру и этапность КАТ, обеспечивает заданное качество отображения значения латентного параметра индивида.

Определяя культуру проведения адаптивных тестовых испытаний как совокупность результатов целеустремленной деятельности участников проверок, было бы ошибкой не учитывать новаторские потенции разработчиков культурных артефактов пространства тестирования. В своем воздействии на инструментальное и операциональное наполнение системы КАТ, в поисках адекватных методов реализации творческих возможностей уча­стников культурного комплекса тестирования, прежде всего, преподавателей и испытуе­мых, проектанты создают особый мир предметов культуры тестовых проверок, расширяя тем самым информационные ресурсы сферы образования и способствуя развитию единого культурного пространства адаптивных испытаний.

Эмпирический и теоретический подходы к проектированию интеллектуальных систем СКДО различаются и по методам исследования. В первом случае разработчик системы оперирует с содержательными понятиями образов идеальных объектов, обладающих фиксированным набором значений признаков. Так, например, в процессе КАТ подверга­ются установлению только учебные достижения объектов нечисловой природы, в то вре­мя как другие признаки человека остаются вне нашего поля зрения; при построении клас­сификации ПДТ рассматриваются только результаты проверок, а двенадцатибалльная шкала оценки строится только с учетом триад [11]. Субъективные оценки мы получаем при определении качественных показателей ПДТЗ и при разработке спецификаций KCT3. На теоретическом уровне в качестве основного средства исследования применяется описание поведения объекта в виде модели Бернбаума, а установление степени сходства заключений тестируемых производится на основе коэффициента конкордации , когда работа с символами заменяет реальное наблюдение за качест­вом выводов тестируемых [25]. Однако не стоит идеализировать математические модели современной теории тестирования и «растворять причинность в функциональной зависи­мости». «Усилия на ложном пути множат заблуждения» (Ф. Бэкон).

Для оценки отношений между элементами в культурном пространстве КАТ важное значение имеет не только вопрос о качестве оценки УУД элементов нечисловой природы, но и учет неопределенностей, вносимых условиями проведения тестовых испытаний. Гармоничное единство причин и следствий позволяют позиционерам ориентироваться в культурном комплексе, предвидеть процесс функционирования эмпирической системы КАТ и проектировать рациональные алгоритмы управления этим процессом. В зависимо­сти от условий (качества ПДТ и спецификации KCT3, наличия развитой нормативной сис­темы культуры и т. п.) один и тот же результат проверки может порождаться различными причинами, и, наоборот, одна и та же причина может привести к различным следствиям. В культурном пространстве КАТ, где установление УУД реализуется через рациональную деятельность всех участников этого комплекса и эффективное управление процессом ис­пытаний, причинность имеет более сложный характер, чем математическая зависимость в моделях Раша и Бернбаума.

Безусловно, выделение категорий слоев знаний при создании теории КАТ определяет­ся развитием на данном этапе: тестологии; методов ситуационного управления; и алго­ритмов шкалирования; наличием адекватного математического аппарата для описания по­ведения и состояния объектов произвольной природы. С точки зрения культурологическо­го подхода эмпирические и теоретические знания взаимодействуют и по мере развития науки переходят друг в друга.

Из за большого объема эта статья размещена на нескольких страницах:
1 2 3 4 5 6 7 8 9 10 11 12