Не все фрагменты учебного материала могут быть отображены в содержание ЭФТК с сохранением исходного смысла. Тестовые материалы могут передать лишь обобщенное структурированное знание об исходной предметной области. Так, например, при конст­руировании ПДТЗ по физике совокупность тестовых посылок имеет естественный смысл и физическое содержание. Поэтому, хотя между строениями фрагмента физической тео­рии и ее модели в форме ЭФТК нет полного совпадения, нельзя сказать, что они находят­ся в структурном диссонансе. Сходство структуры физической реальности и формы тес­товых ситуаций выражается в тождественности друг другу знаковой и канонической моделей, в соответствии каждой из них фрагменту теоретического знания.

Аналогичные проблемы возникают и в других областях современного естествознания. Правда, поскольку, например, биология не достигла такого уровня абстрактности, как со­временная физика, вопрос «о структурном несовпадении» теории и представляющих ее ЭФТК встает не столь остро. Как правило, в биологии эти структуры в содержательном смысле полностью совпадают.

В ПДТЗ контент артикулируемого знания можно представить относительно полно. Не артикулярное знание передать невозможно – его можно приобрести лишь путем повторе­ния или участия в реальной деятельности. «Нельзя не учитывать, что огромное количество умений и навыков мы приобретаем не из книг, а на уровне воспроизводства образцов. В форме слов (информации) эти навыки никогда не фиксировались (да это и невозможно), но сами они являются необходимым условием усвоения знаний из информации (M. A. Ро­зов «Знания и механизмы социальной памяти. На путях к теории научного знания» M Наука, 1984)».

НЕ нашли? Не то? Что вы ищете?

Соотношение смысла и значения артикулярного и не артикулярного знания в различ­ных сферах духовной культуры не одинаково. В искусстве нет хорошо структурирован­ного знания, и лишь весьма незначительная часть его поддается артикуляции. Здесь почти все знания, умения, навыки и целостное видение художественных образов не артикули­руемы. Они транслируются в социуме лишь путем непосредственного подражания. Роль превращенной формы знаний (информации) весьма незначительна: она сколько-нибудь важна лишь на самом начальном этапе овладения простейшими техническими умениями и навыками художественной деятельности (например, занятия изобразительным искусст­вом, обучение игре на музыкальных инструментах с помощью самоучителя).

Общим закономерностям образного восприятия фрагментов искусства присущи цело­стность, утверждение авторитета логичного познания мира и нарушение монополии фор­мально-логического мышления. Так, например, образы кино развертываются в реальном пространстве и в реальном времени. Предметные образы поэзии существуют в вообра­жаемом пространстве и в воображаемом времени. Живописные образы существуют в ре­альном пространстве и в воображаемом времени, а музыкальные образы развертываются в воображаемом пространстве и в реальном времени. Композитор создает музыку и пишет ноты, т. е. знаки, которые являются информацией. Исполнитель же, пользуясь нотами, должен воссоздать музыку, а не ноты.

Неоднократно признанная значимость для искусства не артикулируемого компонента знания транслируется лишь непосредственным общением. Более или менее хорошо струк­турирована в искусстве лишь метаинформация – данные об адресах носителей опыта и самих произведений, способных послужить теми образцами, подражая которым можно в какой-то степени овладеть умением создавать другие произведения. Метаинформация представима в виде ПДТЗ, и уровень ее усвоения может быть проверен путем анализа ка­чества заключений тестируемых.

Не артикулируемые знания включают в себя размытые условия проблемных ситуаций, в которых не все связи представлены в формализованном виде. Представлению слабо формализованного содержания исходного материала предшествуют этапы его структури­зации и понятийной спецификации. Результатом этого разбиения является получение ар­тикулярного знания, имеющего приближенное отношение к содержанию учебного мате­риала. Необходимо учитывать это приближение, иначе содержательная валидность теста может оказаться неудовлетворительной.

В гуманитарных науках (истории, филологии и т. п.) содержатся сведения о способах осуществления деятельности, а не о ней самой. Здесь превращению в ЭФТК поддается большая часть знания, чем в искусстве, но роль не артикулярного, в том числе интуитив­ного компонента еще велика, хотя в гуманитарном знании чаще встречаются структури­руемые фрагменты, которые можно без больших потерь смысла превращать в тестовые суждения; однако для использования этой информации требуется достаточный опыт вос­создания из нее тестовых композиций. Соответственно в содержание ПДТЗ можно транс­лировать лишь часть гуманитарного знания.

В области точных, естественных и технических наук, оперирующих понятиями, со­отношение не артикулируемого знания и информации резко смещается в сторону перевеса последней. Здесь воспроизводимость – непременное условие включения тестовых про­блемных ситуаций в сферу научных знаний. В них преобладают хорошо структурирован­ные, артикулируемые знания, однако пренебрегать ролью не артикулируемого знания и в этих науках не следует. Здесь так же как в искусстве и в гуманитарных науках полностью артикулируется лишь содержание научного знания, но умение его добывать артикуляции не поддается. Для овладения умениями и навыками необходим научный и общекультур­ный опыт, приобретенный разработчиками в процессе создания профессиональных KCT3.

ПДТ из любой области знания должен быть валидизирован по содержанию. Валид­ность – как элемент верности дидактической оценки (вычисления и типологической клас­сификации) значения латентного параметра тестируемого – есть мера соответствия ре­зультата КАТ представлениям о его действительной степени обученности и ее роли в по­ведении эмпирического объекта. Содержательная валидность – это степень репрезента­тивности смысла и значения проблемных тестовых ситуаций содержанию исходной пред­метной области. Этот тип валидности включает в себя формирование теоретико-экспериментальной модели УУД тестируемых, которая состоит из элементов знаний, ин­теллектуальных умений и практических навыков. Ясно, что валидизированный ПДТ объе­диняет в себе совокупность ЭФТК, обеспечивающих проверку качества заключений инди­видов по этим компонентам проверки УУД. Содержательная валидность KCT3 и ПДТ ха­рактеризует степень охвата учебного материала конкретным БТЗ (или тестом) и соответ­ствие смысла и значения KCT3 заданному результату. Содержательно валидный ПДТ не подчиняется сюжету, а создает его.

Валидность устанавливается качественно (низкая, средняя, высокая) экспертами; оп­ределяет логичность и глубину понятийной спецификации тестовых материалов. Проце­дуры валидизации тестов зафиксированы в документе «Стандарты для образовательного и психологического тестирования», с которым читатель может ознакомиться в сети интер­нет по адресу ARA. ORG (американская психологическая ассоциация, нормативные доку­менты).

Существуют два метода обобщения содержания ЭФТК. Первый способ (дедуктивный) концентрирует внимание на формировании чувственной опоры, соответствующих дейст­виям тестируемого. Здесь обобщение направлено от мысли к образу. При втором способе обобщения (индуктивном) нужно отталкиваться от образа и все внимание направлять на формирование словесных обобщений (от образа к смыслу). Проектанту необходимо достаточно ясно варьировать ту наглядную опору, на которой будет базироваться контент словесного обобщения.

Мысль тестируемого при ограничении на время предъявления ПДТЗ нуждается в опо­ре на наглядное представление содержания тестовых ситуаций. Это не значит, что «образ­ность» заменяет ему логичность (один недостаток нельзя компенсировать другой слабо­стью). Однако наглядно-образное представленное содержание субъективно легче для вос­приятия и понимания, чем словесно-логическое.

Во второй части книги из этой серии мы говорили о времени формирования заключе­ний. Чрезмерное увеличение этого феномена при формировании вывода тестируемыми связано с тремя составляющими:

·  мера трудности проблемной тестовой ситуации превышает фиксированную степень обученности испытуемого (см. Логичность тестовых суждений);

·  знания и умения тестируемого логично неупорядочены;

·  содержание ПДТЗ представлено в форме, которая не воспринимается индиви­дом.

В [16] приведена аналитическая зависимость между скоростью формирования заклю­чения и вероятностью принятия неверного вывода

Здесь а – коэффициент, зависящий от области знания. Отсюда видно, что время для заключения можно снизить (увеличить скорость) путем проведения: занятий, направлен­ных на упорядочение мыслительных операций тестируемого; репетиционного тестирова­ния с целью привития навыков работы с инструментальной средой; дополнительных кон­сультаций о формах представления содержания ПДТЗ.

При формировании ПДТ на первый план выдвигаются задачи конструирования со­держательных и логичных для испытуемых с фиксированными степенями обученности ЭФТК. Семантические (смысловые) и прагматические (потребительские) аспекты теории информации в приложениях к оценке содержания ЭФТК сливаются, поскольку не имею­щие смысла тестовые задания бесполезны, следовательно, и бессодержательны. Оценива­ние смысла функции истинности или ложности ПДТЗ требует формализации его содержа­тельности. Карнап и Бар-Хуллел [39] предложили использовать для этой цели степень приближения к истине содержательности информации, предъявляемой тестируемым с различной степенью обученности. Так, например, у отличника абсолютно понятное по со­держанию тестовое суждение не вызывают сомнения в формулировке на него истинного вывода, а, следовательно, такие задания для индивида с высокой культурой мышления яв­ляются «бессодержательными». Понятие содержательности ПДТЗ способно характеризо­вать ситуации, когда возникает потребность в оценке прагматической ценности сведений, включенных в ПДТЗ.

Любому рационально составленному контенту ЭФТК присущи:

·  ясность, краткость и свернутость;

·  стандартная форма представления содержания краткого тестового суждения;

·  прагматическая трудность, когда смысл задания понятен испытуемому, привлекает, не отталкивает его.

За основу дискретного представления единицы тестового материала выбирается неде­лимое суждение, подобное элементарному событию теории вероятностей и соответст­вующее одному тестовому заданию (сообщению). Оценка содержательности ЭФТК ос­нована на математической логике, в которой логические функции истинности m(i) и лож­ности имеют формальное сходство с функциями вероятностей события p(i) и антисобытия l – p(i). В обоих случаях выполняются условия:

0 ≤ p(i) ≤ l, 0 ≤ m(i) ≤ l, p(i)+(i) = 1, m(i) + (i) = l.

Логическая оценка количества информации, содержащейся в выводе на ПДТЗ, ставит­ся в зависимость от априорных логических функций однозначного понимания испытуе­мым с фиксированной степенью обученности исходных посылок и требования ПДТЗ за­данной категории трудности. Очевидно, что если объекту с высоким уровнем достижений (отличнику) предъявляется для корректного вывода тестовое задание, смысл которого ему абсолютно понятен, то величина m(i) →l и такое задание мало информативно. Столь же мало содержательны непонятные по смыслу ПДТЗ для испытуемых с низким уровнем достижений, когда m(i) →0.

Логическая оценка содержательности ЭФТК

Из (1) следует, что при m(i) = 0,5 =(i) содержательность ПДТЗ будет иметь макси­мальное значение, что требует от испытуемого наивысшего напряжения для понимания данной сущности.

Следовательно, тестовое задание будет содержательным для тестируемых, фик­сированный уровень обученности которых достаточен для понимания его смысла.

Содержательность проблемных тестовых ситуаций является предметом трансляции сообщений в эпистемологическом канале обмена сигналами данных, который можно представить следующим образом (рис.1).

Рис.1 Логическая схема эпистемологического канала

Тестирующая система генерирует ЭФТК (ПДТЗ) из конечной совокупности заданий, хранящихся в KCT3. Эти ситуации включают в себя требования, которые должен выпол­нить респондент путем формирования выводов, причем последние могут быть искажены эпистемологической неопределенностью. Эта неопределенность зависит, например, от способности тестируемого правильно понять смысл ПДТЗ, что обусловлено его опытом и степенью обученности. Поскольку знания, интеллектуальные умения и практические на­выки индивида по различным темам конкретной области знания неодинаковы, то смысл тестовой ситуации воспринимается им с большей или меньшей степенью трудности (в за­висимости от семантической неопределенности). К неопределенностям относят также не­четкую формулировку смысла ПДТЗ, неясную форму его представления, неблагоприят­ные изменения условий учебной среды в течение сеанса тестовых испытаний, быструю смену тестовых ситуаций на экране дисплея и т. п.

Указанные явления приводят к вероятностной трактовке результата тестовых прове­рок УУД тестируемого, когда качество его заключений на требования ЭФТК вызывает рассеяние значений полученной оценки. В этом случае на выходе эффекторов мы получа­ем лишь некоторые вероятностные следствия, а деятельность тестирующей системы со­стоит в изыскании некоторой упорядоченности из неопределенных заключений целеуст­ремленного объекта.

Восприятие эмпирическим объектом целостного образа ЭФТК зависит не только от понимания им содержания посылок, а также от того, в какой мере, насколько полно и ясно исходные посылки отражают отношения между элементами тестового утверждения. При этом процесс мышления опирается, прежде всего, на узнаваемость индивидом конкретной формы представления тестовой ситуации. Но одновременно происходит и активный по­знавательный процесс, в ходе которого объект нечисловой природы целенаправленно ус­танавливает закономерные объективные отношения и связи между посылками и требова­ниями тестовых утверждений.

В качестве меры неопределенности ПДТЗ для испытуемого с фиксированной степе­нью обученности может служить энтропия, обозначенная символом H. Если, например, все тестовые суждения в данной выборке имеют близкую меру неопределенности, а их требование для респондента заранее известны, то его заключения не будут передавать эм­пирической системе ничего нового о состоянии обученности этого индивида. Максималь­ная неопределенность смысла проблемных тестовых ситуаций, поступающих через рецеп­торы к респонденту, имеет место при наибольшем напряжении его мыслительной дея­тельности, когда на выходе эффекторов наблюдается близкое к равномерному распреде­лению вероятностей появление правильных и ошибочных выводов. В этом случае p = 0,5, т. е. и энтропия ПДТЗ является оптимальной

Hопт= – p log2 p – ( 1 – p ) log2 ( 1 – p ) = 1 .

Оптимальность энтропии ПДТЗ означает достаточность необходимых знаний и уме­ний у испытуемого для того, чтобы понять смысл тестового суждения и иметь принципи­альную возможность для формулировки корректного вывода на требование задания. Не­оптимальность энтропии тестового задания (т. е. слишком большая его неопределённость для испытуемого с фиксированным уровнем обученности) означает отсутствие или невоз­можность использования имеющихся у объекта нечисловой природы знаний для форми­рования правильного заключения на требование ПДТЗ. В последнем случае ЭФТК необ­ходимо сводить к подзаданиям с более низкой степенью неопределенности или поместить исходное утверждение в банк тестовых утверждений, предназначенных для образов с большей степенью обученности.

Полезность тестовых заданий для принятия решения об оценке УУД телеологического объекта может быть оценена мерой целесообразности информации, которая определяется как изменение вероятности достижения цели тестовых испытаний путем анализа последо­вательности его заключений. Мера целесообразности информации аналитически выража­ется соотношением [39]

Здесь P0 и P1 – начальная (до получения задания) и конечная (после получения заклю­чения) вероятности достижения результата тестирования.

Полезная информация содержится в каждом отдельном наборе заключений индивида, утверждающем значение его латентного состояния обученности. Изменение неопределен­ности сведений о степени обученности объекта нечисловой природы в процессе обработ­ки его выводов правильно интерпретируется эмпирической системой КАТ в процессе на­копления и анализа полезной информации. Отрицательное значение информации о пове­дении индивида расценивается системой как дезинформация.

Пусть эмпирический объект с высокой исходной степенью обученности (отличник) находится в точке а и получает трудное ПДТЗ. Поскольку возможны два исхода с равны­ми вероятностями (верно выполнил— неверно выполнил), то в соответствии с рис.2а

p(a – b) = p(a – c) = 0,5.

Положительная оценка выставляется, если объект правильно выполнил задание.

Рис.2.Оценка целесообразности информации

Предположим, что исходное ПДТЗ недоступно тестируемому для корректного заклю­чения, и в результате объект оказался в точке b. Выполним декомпозицию этого задания, разделив его на 6 тестовых ситуаций, из которых 3 по содержательности будут соответст­вовать состоянию обученности целеустремленного объекта, а оставшиеся 3 задачи ока­жутся для него совершенно ясными и m(i) =1 (рис.2б).

Поскольку положительные выводы на все задания фиксируются, то заключения на аб­солютно ясные по смыслу для данного испытуемого задания вносят дезинформацию, т. е. уменьшают вероятность вычисления реального балла отличника. В результате дополни­тельная информация, полученная в точке b (2.б), покажется нейтральной:

На рис.2в в результате декомпозиции получено 5 абсолютно понятных по смыслу для испытуемого заданий и только одно ПДТЗ соответствует исходному уровню его обучен­ности. Количество дезинформации

Вероятность получения реального балла увеличится, если после разбиения исходного ПДТЗ получены тестовые утверждения, соответствующие значению латентного параметра обученности телеологического объекта и прагматически доступные для формирования им корректных выводов (рис.18г). Количество полезной информации при этом:

В общем случае, если между промежуточными оценками и заключениями тестируемо­го в различные моменты времени существует вероятностная зависимость Pij(t), то:

Здесь N(t)—количество оцениваний в момент времени t;

M (t) – количество выводов;

Pij(t) = 0, если содержательность задания не соответствует фиксированной степени обученности испытуемого;

Pij(t) = l, если между промежуточными оценками и заключениями объекта нечисловой природы имеется полное соответствие.

При предъявлении индивиду тестового задания в следующий момент времени неопре­делённость ситуации изменяется:

В результате неопределённость ситуации ΔH = H(t) – H(t + 1) может уменьшиться или уве­личиться в зависимости от знака энтропии в момент времени (t+l).

На основании анализа данного параметра можно сделать следующий вывод: для вычисления реального УУД респондентов с различными степенями обученности нельзя использовать программно-дидактические тестовые ситуации с одина­ковой мерой целесообразности (содержательности).

Содержательность ПДТЗ, так или иначе, опирается на способность разработчика к ка­чественному проектированию смысла свернутого суждения. Умение конструировать свернутые проблемные тестовые суждения – результат большого опыта тестолога, в ходе которого развивается интуиция применения звука, цвета, графики и движения в процессе создания тестовых утверждений. Наибольшая содержательность при конструировании кратких тестовых ситуаций характерна для искусства, физики, механики, химии, экологии и т. п. Целостное восприятие тестируемым свернутых тестовых утверждений позволяет им не заниматься мелкими деталями исходных попыток, а воспринимать ситуацию как единое качество. Поэтому рациональная организация тестового утверждения – средство повышения ее содержательности. Добиться этого можно на пути освоения общих законов организации «чувственного проверочного материала» (см. часть II).

Осознание этих фактов открывает путь к целенаправленному повышению содержа­тельности ПДТЗ, представленных в кратких свернутых формах, наиболее адекватных фрагментам учебного материала. В основе этой тенденции лежит искусство конструиро­вания проблемных тестовых ситуаций, когда:

·  проектировщик ЭФТК становится последней инстанцией, принимающей реше­ние о представлении тестового суждения;

·  философская категория качества лежит в основании искусства проектирования целостно воспринимаемых индивидом тестовых утверждений;

·  такие типично «качественные», образные представления тестовых заданий об­ладают неограниченными возможностями свертывания учебной информации и быстрейшего формирования у тестируемых представлений о содержании ЭФТК.

И в этом смысле содержательные ПДТЗ являются творчеством разработчика, когда принимаемые им решения выступают в новом, непривычном качестве.

Логичность тестовых суждений

Реализация механизма оценки УУД в системах КАТ требует изучения категорий сложности и трудности. В тестологии понятия «сложность» и «трудность» разделены ме­жду разработчиками ПДТЗ и тестируемыми. Это разбиение терминов связано с их различ­ными функциями. На вопросы, касающиеся сложности, отвечают тестологи, на вопросы, относящиеся к трудности – правдоподобности допущенных выводов, – отвечают ис­пытуемые. Дело разработчиков и экспертов решить, какой «вес» имеет каждое ПДТЗ. Дело тестируемых решить, имеют ли представленные на их рассмотрение доводы кон­кретное значение. При решении вопроса о сложности ЭФТК разработчик должен иметь специальные и тестологические знания, полагаться на свой здравый смысл и методологи­ческие правила [10]. «Власть оценки» в данном случае делится между объективными пра­вилами и субъективным здравым смыслом. Правила гипотетических рассуждений опреде­ляют действия разработчиков. Однако каждый проектант на основе своего опыта и субъ­ективного здравого смысла должен решить, имеют ли представленные методологические правила достаточное обоснование или нет.

Теория сложности находится на стыке философии, логики, естественных, техниче­ских и общественных наук. Несмотря на интенсивные исследования в этой области, тео­рия сложности еще не вступила в пору зрелости, когда ее результаты и приложения стали бы доступными для тестологов. В зависимости от контекста термин «сложный» истолко­вывается как «больший», «запутанный», «непредсказуемый» и т. п. Дж. Касти приводит следующее определение сложности: «Сложность управляемых систем является мерой вычислительных возможностей, необходимых для реализации заданного поведения». Главная задача теории сложности состоит в том, чтобы дополнить доказательства воз­можной реализуемости алгоритмов оценкой их действительной реализуемости с учетом минимальных затрат.

Академик A. H. Колмогоров и его ученики первыми указали пути к формированию ка­тегории алгоритмической сложности. Они установили, что различные компоненты слож­ности оценивают разные аспекты (вычислительные, информационные и т. п.) ресурсоем-кости, достижения тех или иных целей. Для культурного пространства КАТ существен­ным является то, что феномен «сложность» рассматривается нами как объективный фак­тор непредсказуемости состояний компонентов этого комплекса.

Преподавателю понятие сложности ПДТЗ необходимо для принятия решения о том, к какому уровню трудности отнести фрагмент того или иного знания. Простое обыкновенно легче, сложное труднее. Простые математические действия и фигуры требуют меньших трудозатрат на формирование корректного заключения, чем сложные, из-за наличия в по­следних разнородных частей. Универсальная модель оценки объема учебной информации с учетом ее сложности предложена B. A. Шапталовой (, «Про­блемы управления учебным процессом» Изд. «Зинатне», Рига, 1984, стр.94). Сложность ПДТЗ автор связывает с числом элементарных операций, концептов, которое необходимо совершить, чтобы найти правильное решение.

Сложность учебного материала разделяется на две составляющие:

·  объективная сложность, не зависящая ни от разработчика ПДТЗ, ни от испы­туемого. Здесь мера сложности определяется объемом и структурой конкретной области знания;

·  субъективная сложность с точки зрения преподавателя, которая зависит от профессионального уровня и опыта проектировщика ПДТЗ, содержания и фор­мы представления материала в тестовых утверждениях.

Отсюда видно, что понятие «сложность» ЭФТК в большей степени относится к его разработчику, а термин «трудность» – определяет отношение к содержанию задания тес­тируемых. Если учебный материал объективно сложный, то разработчик будет использо­вать метод декомпозиции для сведения исходного фрагмента темы к прагматически корректным тестовым утверждениям различной меры трудности. При этом проектант ЭФТК использует свой опыт проверки УУД респондентов, ориентируясь на некоторый усред­ненный показатель трудности. Термин «трудность» ПДТЗ употребляется нами для оцен­ки мыслительной напряженности эмпирического объекта или образа при формировании истинного суждения. В этой связи мера трудности задания – категория субъективная, ко­торая зависит от мыслительных потенций и заданного состояния обученности индивида.

Причинами трудностей, которые могут возникнуть при формировании целеустрем­ленным объектом нечисловой природы правильных заключений, являются:

·  недостаточность обобщения им смысла ПДТЗ;

·  предъявление заданий, категория трудности которых заведомо превышает сте­пень его обученности;

·  попытка формирования истинного суждения при недостаточных предложениях или неверном понимании смысла тестовой ситуации.

Описание кратких тестовых утверждений с одной и той же семантикой могут оказать­ся в разной меры трудными из-за выбора синтаксиса и внешней стандартизированной формы представления ЭФТК. Например, представление ПДТЗ в открытой форме является более трудным для заключения, чем в закрытой. Синтаксис не следует однозначно из се­мантики, он является «параметром» ПДТЗ, которым можно и нужно управлять для варьи­рования различающей способности и категории трудности тестовых утверждений.

Аналогии, присущие логичному мышлению, обеспечивают возможность переноса ме­тодов, используемых при создании ЭФТК в одной области знаний, на другие. Но как вы­брать исходную позицию и угол зрения, позволяющих установить закономерность влия­ния на категорию трудности дедуктивных и индуктивных областей знаний, как подметить сходство между представлениями в стандартизированных формах ПДТЗ фрагментов ме­тодологических и теоретических областей научных знаний? Формального ответа на эти вопросы нет.

В философской концепции пантеиста (отождествление природы и бога) ­ды (1722 – 1292) мысль о трудности выражена следующим образом: «Слава тебе, Господи, что ты создал нужное нетрудным, а все трудное – ненужным». По отношению к ЭФТК это то, что мы в этой книге относим к содержательности и логичности проблемных тестовых ситуаций.

На современном уровне развития тестологии категорию «трудность» ПДТЗ вряд ли можно рассматривать как скалярное понятие, поскольку оно является качественным и точный смысл его определяется в соответствии с конкретными особенностями изучаемых учебных дисциплин (областей знаний). Приемлемое общее определение трудности, если оно вообще возможно, породило бы надежду на возможность установления закономерно­стей конструирования валидных ПДТ, не зависящих от содержания знания и получения более качественных оценок достижений тестируемых.

В практической деятельности мера трудности ПДТЗ определяется процентом тести­руемых, неспособных сформировать прагматически корректный вывод на данное тестовое задание. И в этом случае категория трудности ЭФТК зависит не только от объективной сложности фрагмента учебного материала и возможности его формализации, но и от уровня наших представлений о конкретной области знаний, от методологических правил и опыта проектанта при конструировании тестовых ситуаций в конкретной инструмен­тальной среде тестирования.

Компоненты трудности, исследуемые в этом параграфе, обсуждаются в понятиях и терминах концептов, когда процесс выполнения ЭФТК разлагается на элементарные со­ставляющие. Представления о целостном заключении на требование ПДТЗ основываются на изучении исходных тестовых посылок и взаимосвязей между концептами. Здесь суще­ственным является учет возможности представления в виде тестовой ситуации формаль­ных и неформальных областей знаний. Это создает серьезные проблемы при установлении количественных и качественных закономерностей, а также затрудняет формирование целостного (математического) взгляда на феномен «трудность». Математика как инстру­мент познания полезна, когда удается концентрировать внимание на главных вопросах и игнорировать второстепенные факторы.

Выделению главного при установлении меры трудности слабоструктурированных и формальных областей знаний способствуют опыт, уровень культуры логичного мышле­ния, интуиция и изобретательность, т. е. то, что относится к методологическим рассуж­дениям. Этот подход к проблеме установления качественной меры трудности ПДТЗ хотя и не обладает строгостью и верностью логики, зато позволяет посмотреть на исследуемый феномен издали, откуда хотя и не видны детали, но различимы общие контуры явления и доступы оценки его «сглаженных» атрибутов.

В соответствии с методологическими принципами КАТ для осуществления целена­правленных операций в процессе СКДО требуется установить принципиальную разреши­мость, по крайней мере, двух задач:

·  возможность создания KCT3, включающую в себя образцовые тестовые ситуа­ции различной категории трудности;

·  оценку минимальных объемов тех или иных ресурсов, необходимых для реали­зации процесса дидактической оценки достижений тестируемых с заданной вер­ностью.

Анализ первой задачи составляет сущность формирующейся в рамках тестологии ка­чественной категории трудности. Различают два позиционных варианта осознания эмпи­рическим объектом нечисловой природы меры трудности тестовых испытаний:

·  субъектную (рефлексивное отношение к заданию тестируемого);

·  объективную (модельное установление меры трудности ПДТЗ компьютерной программой в процессе анализа качества заключений испытуемых на тестовые ситуации).

Каждое ПДТЗ может оцениваться одним или несколькими баллами в зависимости от его трудности. Так, например, в Англии и Шотландии тестовые ситуации различной меры трудности оцениваются от 1 до 3 баллов. Выделим три категории трудности ПДТЗ, реко­мендуемых для традиционного метода проверки учебных достижений. Здесь мера трудно­сти ЭФТК определяется применительно к затратам умственного труда и времени подго­товки эмпирическим объектом заключения на требование ПДТЗ.

В IRT теории для оценки меры трудности используется «логит» трудности βi = lnqj/pj ;; qj = 1 –рj. Здесь qj – доля неправильных заключений на j-ое задание. Эта величина предварительно определяется экспертами, уточняется эмпирически на типовой выборке испытуемых и окончательно устанавливается системой КАТ в процессе парамет­рической адаптации.

В соответствии с основной логистической моделью датского математика Г. Раша ()

вероятность успешного выполнения ПДТЗ зависит только от величины разности (θ — β ), причем P = 0,5, если θ = β. На рис. 3 зависимости правильных и ошибочных заключений тестируемого с i-й степенью обученности θi. на ПДТЗ, мера трудности которых – βj.

Рис. 3 Зависимости качества заключений от меры трудности заданий и степени обученности индивидов

Модель Раша вызвала интерес у исследователей в части построения адаптивных тес­товых испытаний, ориентированных на поведение каждого конкретного тестируемого, ко­гда главным условием рациональной процедуры тестовых проверок является приближе­ние меры трудности ЭФТК к значению латентного параметра каждого испытуемого.

Значения качества выводов содержатся в соответствующем элементе матрицы заклю­чений целеустремленных объектов А = (аij). Каждый элемент этой матрицы, расположен­ный на пересечении i-ой строки и j-го столбца, устанавливает ожидаемый результат каче­ства вывода i-м тестируемым при выполнении им j-го ПДТЗ. Будем считать, что все эмпи­рические объекты и ЭФТК в матрице А пронумерованы. Тогда под состоянием системы КАТ понимается размещение заключений тестируемых, т. е. чисел из совокупности {0,l,2,3} no клеткам таблицы.

Поведение испытуемого (состояние обученности которого фиксировано и не изменит­ся в течение сеанса тестовых проверок) можно исследовать как некоторый источник, по­рождающий последовательность символов, скажем, с помощью нулей (ошибочное заклю­чение), единиц, двоек и троек. Заключения тестируемого рассматривают в классической теории тестов как случайную величину, которая в результате научных наблюдений мо­жет принимать то или иное значение, причем неизвестно заранее, какие именно.

Пусть Y1',...,Yn' – вводы (независимые случайные величины) тестируемого с фиксиро­ванным уровнем обученности, имеющие одинаковое распределение вероятностей p(y') и принимающие значения 0 и 1 с вероятностями q = 1 - p и p соответственно. Каждый из ука­занных выводов имеет математическое ожидание качества заключений (Y' ) i-го респон­дента

и статистическую дисперсию

Из рис.4 видно, что при p=0 никто из целеустремленных объектов не может дать пра­вильное заключение на данное ПДТЗ. В случае p = l все испытуемые формируют коррект­ные выводы и, следовательно, участников тестовых проверок невозможно различить друг от друга по уровню их учебных достижений.

Статистическое среднее (оценка) качества заключений

представляет собой долю (относительное число) единиц в последовательности Y1',...,Yn'. Применяя к оценке неравенство Чебышева

находим, что доля единиц в достаточно длинной последовательности выводов близка к вероятности появления корректных заключений на требования ПДТЗ. При любом и .

Информативность выводов зависит только от величины разности | θ — β| рис. 5.

Рис.4. График квадратичной функции σ2Y = f(P)

Рис.5. Зависимость корректности заключений от величины разности θ-β

Главным свойством случайных выводов индивидов «а требования ПДТЗ является от­сутствие абсолютной уверенности в их корректности. Однако ясно, что степень этой не­определенности в различных случаях будет разной. Если испытуемым предъявляются ПДТЗ, мера трудности которых существенно ниже их степени обученности, то мы с пол­ной уверенностью можем утверждать, что они правильно ответят практически на все за­дания. Однако, в случае, когда вероятность успешного заключения на задание составляет величину, близкую к 0,5, то вряд ли кто-нибудь рискнет сделать прогноз о корректности или ошибочности вывода тестируемого. Характер изменения информации в заключении тестируемого от величины разности между мерой трудности ЭФТК и уровнем достиже­ний тестируемого приведен на рис.5.

Справедливым остается тезис о том, что ПДТЗ, умело градуированные по кате­гории трудности и создающие уверенность в непрерывном прогрессе эмпирического объекта – это эффективный способ его мотивации к повышению уровня собственных учебных достижений.

Предположим, что тестирующая программа генерирует ПДТЗ, мера трудности кото­рых строго соответствует фиксированной степени обученности испытуемого. Последова­тельность заключений испытуемого на ПДТЗ состоит из 0 и 1, вероятности появления ко­торых равны соответственно P1 и P0= 1 – P1. Если P1 =P0=0,5, а появление 1 или 0 незави­симо, то энтропия задания будет равна

Величина Н характеризует меру неопределенности, которая содержится в одном зада­нии.

Пусть далее испытуемому предъявляются задания, на которые он дает правильные за­ключения с вероятностями P1 =0,1 и P2=0,9. Энтропия задания уменьшится почти в 2 раза Н ≈ 0,5 дв. ед./задание. Это значит, что такой тест будет нелогичным для испытуемого с фиксированной степенью обученности. Энтропия обращается в нуль, если респондент от­вечает правильно на все задания (или не имеет возможности формировать корректные вы­воды на требования ПДТЗ).

Отсюда следует, что если вероятность события в данном наблюдении ничтожно мала или, наоборот, весьма близка к единице, то это дает возможность предсказать качество заключения индивида; в первом случае мы не будем ожидать правильного вывода на тре­бование ПДТЗ с большой мерой трудности для испытуемого; во втором случае можно ожидать появление правильного заключения, поскольку для этого же телеологического объекта задание будет очень легким.

Рассмотрим процесс научных наблюдений за поведением испытуемого, которому предъявляются ПДТЗ различной категории трудности. Необходимо численно оценить степень неопределенности этих наблюдений, чтобы иметь возможность сравнить их с точки зрения информативности (логичности) для тестируемого с фиксированной степе­нью обученности. Пусть в случае предъявления индивиду ПДТЗ с k возможными мерами трудности вероятность формирования им правильных выводов на требования тестовых заданий изменяется от 0 до 1. На очень трудные задания индивид будет давать редко пра­вильные ответы, в то время как на задания с низкой мерой трудности его заключения поч­ти всегда будут корректными. Средняя собственная информация или энтропия на одно за­дание (при отсутствии статистическихсвязей между ЭФТК) будет равна

где ψ(pj) = – log2 Pj – вклад в энтропию j–го задания; pi – вероятность правильного заключения испытуемым с фиксированной степенью обученности на тестовое задание c j - й мерой трудности.

Чтобы представить характер зависимости энтропии теста от значений вероятностей р1,р2,р1,...рk, построим график функции ψ(pj ) (рис.6).

Рис.6. График зависимости слагаемого ψ(ρ) от значения p

Из рис.6 видно, что в области значения вероятностей от 0,2 до 0,6 функция p log p принимает наибольшие значения и меняется сравнительно плавно. Следовательно, логич­ными и содержательными при проверке уровня достижений для испытуемого будут ПДТЗ, на которые они могут дать правильные заключения в диапазоне вероятностей от 0,2 до 0,6. В этом диапазоне изменения энтропии теста незначительны.

Важность этого утверждения состоит в том, что для эффективного управления тес­тирующими воздействиями в режиме адаптации алгоритм переключения заданий с одной мерой трудности на другую должен работать таким образом, чтобы при p = 0,2 тестируемому подключались задания с большей мерой трудности, а при р = 0,6 — с меньшей.

Более того, в некоторых ситуациях различие между «хорошим» и «плохим» управле­нием очевидно, в том смысле, что в этих случаях используют один и тот же критерий, и поэтому не требуется разъяснения данных понятий. Такое положение обобщается на все те случаи, когда управление считается «хорошим»,т. е. оно действует так, чтобы удержи­вать множество тестирующих воздействий в определенных границах, когда мера трудно­сти ПДТЗ соответствует фиксированной степени обученности испытуемого. Из этого по­ложения следует, что управление является устойчивым относителььно некоторого состоя­ния равновесия (θ = β). И в этом смысле «хорошим» считается адаптивное управление, которое направлено на достижение этой цели.

Чтобы яснее выступала специфика категорий трудности тестовых ситуаций, приведем примеры фрагментов конструирования ПДТЗ, полученные с учетом проблемно-эвристического подхода. Трудное

Средней трудности

Легкое

Подобная схема трехуровневого проблемно-эвристического метода по аналогии при­менима при конструировании ЭФТК из любой области знаний. При этом развитие актив­ности творческого труда объекта нечисловой природы можно характеризовать как пере­ход от действий, связанных с выбором уже известных методов, к самостоятельным поис­кам решения и далее – к выработке умения осознания проблемной тестовой ситуации и формирования корректного вывода.

Следует понимать, что применение этого метода требует затрат времени преподавате­ля на конструирование ПДТЗ (например, при переходе от приведенных выше задач к соз­данию ЭФТК). Не менее трудными являются проблемно-эвристические задания и для тес­тируемых, не владеющих требуемой культурой мышления. Поэтому его нельзя считать универсальным, а следует применять с учетом специфики курса обучения и сложности учебного материала. Рациональным на наш взгляд является гармоничное сочетание ПДТЗ, ориентированных на традиционные (информационно-отражающие) и проблемно эвристи­ческие методы конструирования тестовых заданий.

Задача по определению категории трудности множества тестовых ситуаций относится к тому научному направлению, которое занимается исследованием массовых явлений. Та­ким научным направлением является статистика. Только при изучении и статистической обработке большого объема верной информации можно делать конкретные выводы о мере предпочтения (трудности) того или иного тестового утверждения.

Формируя заключения, тестируемый стремится сохранить равновесие упорядоченно­сти собственного поведения с действиями адаптивной тестирующей системы. Основой процесса такой эпистемологической коммуникации является различие уровней разнообра­зий выводов индивида и образцовых заключений, хранящихся в культурной системе КАТ. Тестируемый как открытая система сохраняет свою упорядоченность путем непре­рывного динамического достижения равновесия, чему способствует предъявление ему ПДТЗ с определенной мерой трудности. Раздражаемость индивида в таком канале обмена можно рассматривать, как способность тестируемого реагировать на изменение категории трудности ЭФТК. Если тестовые ситуации являются логично неприемлемыми для испытуемого, то у него появляется торможение, которое происходит при «слишком низком или, наоборот, при слишком высоком уровне стационарного раздражения нерва, когда раздражение не распространяется по всему волокну».

Для психического сознания тестируемого характерны рациональная динамика возбу­ждения, регулирование ее и переживаемое ощущение за качеством собственных заключе­ний на требования ЭФТК. Отсюда можно утверждать, что:

·  нелогичные по мере трудности тестовые ситуации не могут вызывать в созна­нии индивида максимальной динамики возбуждения;

·  эта динамика сознательно регулируется тестируемым, активно формирующим собственную траекторию качества заключений, руководствуясь социальными мотивами;

·  максимальная деятельность возбуждения сознания респондента связана с пред­ставлением ему логичных тестовых ситуаций, переживаемым содержанием за­даний, когда от индивида требуется напряженная мыслительная деятельность для формирования истинного суждения.

Из приведенных на рис.4, и рис.5, зависимостей и последующих размышлений видно, что логичными для испытуемых будут только те ПДТЗ, мера трудности которых со­ответствует степени их обученности. Это высказывание положено в основу проектиро­вания культурных систем стандартизированной дидактической оценки УУД объектов не­числовой природы.

Процесс формирования корректного тестового суждения составляет содержательный компонент мотивации тестируемого. С одной стороны, поиск заключения на требования ПДТЗ заканчивается с нахождением искомого и удовлетворением его познавательной по­требности. Однако возможен и другой случай, если респондент может прекратить процесс выполнения заданий, не достигнув конечной цели. Это происходит в том случае, когда его замыслы и гипотезы продолжительное время не получают подкрепления, что вызывает у целеустремленного объекта нечисловой природы сомнения в посильности достижения ус­пеха. Подобный ход событий наблюдается в том случае, когда тестирующая программа предъявляет индивиду ЭФТК нелогичные по мере трудности задания, что сопровождается неуклонным ростом отрицательных аффектов, эмоций неуспеха, которые приводят к ос­лаблению познавательной потребности. Чтобы избежать появления подобной ситуации, система КАТ должна приспосабливать меру трудности ЭФТК к качеству заключений (по­ведению) каждого конкретного индивида.

События могут развиваться и несколько иначе, когда тестируемый оказывается в по­ложении, при котором неуспех (т. е. отнесение его системой к определенному классу учебных достижений) может стимулировать желание во что бы то ни стало добиться пе­рехода в более высокий класс обученности. В результате усиленной за счет этого познава­тельной потребности респондент продолжает свое самосовершенствование в конкретной области знания и снова переступает к типологической классификации собственной степе­ни обученности. Этот процесс может повторяться неоднократно до тех пор, пока вероят­ность перехода его в соответствующий таксон не снизится до предельных значений.

На основании изложенного можно сделать следующие выводы:

·  формирование стратегии заключения начинается у эмпирического объекта в момент появления у него затруднения (т. е. суть проблемы «не лежит на поверх­ности») и завершается в момент принятия тестового суждения к выводу;

·  источниками проблемной тестовой ситуации являются субъективная значи­мость проблемы и (или) познавательный интерес тестируемого к ней;

·  поскольку возникновение познавательной потребности предполагает осознание испытуемым достаточности уровня собственной обученности, проблемная си­туация образуется только при наличии логичных для респондента тестовых за­даний (θ = β) , формирование корректного вывода на требования которых является для него посильным и мотивированным;

·  логичная тестовая ситуация для испытуемого с заданной степенью обученности характеризуется высоким динамизмом эмоциональных переживаний лишь в том случае, когда индивид находит правильное заключение с максимальным напряжением мыслительной деятельности;

·  если полученная в результате КАТ оценка не устраивает респондента, он (в случае актуализации потребности к самоутверждению) имеет возможность по­вторить процедуру типологической классификации после дополнительных кон­сультаций с преподавателем или путем самостоятельного изучения конкретной области знания.

Понятие меры трудности ЭФТК предполагает наличие априорных ограничений на среднее время формирования тестируемыми следствий, что существенно усложняет пред­ставление учебного материала в реальных тестовых ситуациях. «Лестница» категорий трудности ПДТЗ в зависимости от характера тестового материала представлена ниже.

Мера трудности выступает здесь как средство для установления оценки, предназна­ченное для хранения и воспроизведения содержания ЭФТК, значение которого выражено в числе концептов, необходимых для формирования эмпирическим объектом корректного заключения. Следует отметить, что для нефизических величин мера – как единица изме­рения – в принципе не может быть введена. На рис.6 представлена графическая иллю­страция понятий заключения и концептов.

Рис.7 Графическая иллюстрация дерева вывода

В вершинах дерева (рис.7) находятся аксиомы a1, а2, а3. Слова B2, B4, В6 возникают на промежуточных шагах заключения и образуют концепты. Правила без посылок называют­ся аксиомами. Аксиомы не проверяются эмпирическими объектами, а принимаются ими как истинные посылки для продуцирования концептов. Предполагается, что аксиомы, не­обходимые для разрешения любой тестовой ситуации, априорно известны тестируемым и на их анализ от последних не требуется затрат времени. В случае ЭФТК, отражающих со­держание дедуктивного знания, респонденту необходимо применить n правил для вычис­ления n концептов. Соответствующая компонента трудоемкости формирования следствия пропорциональна количеству концептов и ее можно оценить выражением а„ где а – ко­эффициент, зависящий как от используемой структуры (формы) ПДТЗ, так и от специ­фики конкретной области знания. Тогда для оценки общей меры трудности ЭФТК в сред­нем справедливо выражение q = αn. Трудоемкость заключения на ЭФТК для дедуктивных научных знаний растет не более чем линейно с увеличением количества концептов (Рис.8.а).

Рис.8 Изменения меры трудности ПДТЗ

Повышение валидности ПДТЗ и отображение его в рациональной (с точки зрения на­глядности) форме позволяет уменьшить коэффициент a, но не позволяет избежать линей­ного роста категории трудности проблемных тестовых ситуаций с увеличением числа концептов.

Иначе обстоит дело с выполнением ПДТЗ, которые отображают индуктивное знание. Здесь путем рассуждений объект нечисловой природы должен сначала установить справедливость частичных собственных утверждений, а затем выполнить переход от этих рас­суждений к общим. По своей сути респондент ставится в такое условие, когда от него тре­буется методом математической индукции сделать заключение о соответствующих регулярностях. Идею формирования заключения и концептов для этого случая удобно уяснить себе на следующем примере.

Пример. Сумма n нечетных чисел

Поведение тестируемого может быть описано так:

После установления третьего концепта тестируемый может догадаться о наличии ре­гулярности, когда при n = 1,2,3 сумма последовательных чисел равна n2.

В силу сделанного нами утверждения (см. книгу II), такая форма мышления как «дока­зательство» не может применяться при конструировании тестовых ситуаций. Поэтому мы не требуем в задании от респондента дополнительной проверки корректности этого за­ключения, т. е. установления того, что и для следующего числа (n+1) подтверждает данное предположение. Необходимость проверки справедливости рассуждений для числа (n+1), когда

преобразует исходное ПДТЗ в доказательство (другую форму мышления).

При представлении индуктивных знаний в форме ПДТЗ правила, описывающие не­формальную процедуру, характеризуют собой целостный комплекс и требуют от объектов нечисловой природы умения самостоятельно находить регулярности в нетипичных для них ситуациях. Отсюда следует, что между правилами возникают связи, число которых в среднем пропорционально n2. А это значит, что категория трудности ПДТЗ, отображаю­щих индуктивные знания, растет пропорционально квадрату числа правил (Рис.8.б)

Здесь коэффициент γ имеет тот же смысл, что и коэффициент а. Реально могут появ­ляться и более чем двойные связи между правилами, а значит, мера трудности таких ЭФТК находится где-то выше квадратичной параболы. Отсюда следует, что развивающе­го вида тестовые ситуации трудновыполнимы, поскольку тестируемым заранее не извес­тен формальный метод, позволяющий установить корректные заключения. Наиболее есте­ственное применение такого рода заданий – это установление способностей испытуемых.

Теперь, когда сущность логичности ПДТЗ достаточно ясна, можно определить про­блемно-эвристическую тестовую ситуацию как состояние психики тестируемого с необходимостью вовлекающую его в творческий поиск корректного заключения, в котором он удерживается до получения искомого результата или до принятия реше­ния о нецелесообразности дальнейшего тестирования ввиду осознания непосильности формирования истинного суждения. Субъективная значимость, познавательная привлекательность и посильность предъявляемых ПДТЗ составляют сущность фор­мирования тестирующей программой логичных (рациональных) для каждого кон­кретного испытуемого ЭФТК, с необходимостью побуждающих его к преодолению трудностей.

Естественно, что эти модели – суждения, представленные в стандартизированных формах, отражают наиболее существенные для результата испытаний стороны проверяе­мой деятельности. При таком подходе проблемную тестовую ситуацию следует понимать как осознание испытуемым затруднения, способ устранения которого он желает най­ти с учетом присущих индивиду интересов и фиксированной степени его обученности. Только в этих условиях у испытуемого возникает потребность в активной мыслительной деятельности. И в этом смысле генезис ЭФТК можно интерпретировать как моделирова­ние логичных тестовых ситуаций, в которые попадает испытуемый в процессе рациональ­ной аттестации (идентификации).

На всех этапах проверок действия тестирующей программы обеспечивают пребывание эмпирической системы КАТ в гомеостатическом состоянии, когда мера трудности ЭФТК, предъявляемых индивиду, не выходит из некоторой логичной для его поведения области. Тестирующая программа, благодаря адаптации к качеству исходов респондента, удержи­вает систему КАТ в гомеостатическом состоянии при «возмущениях объекта», вызывае­мых учебной средой. Таким образом, активная подсистема тестирующих воздействий обеспечивает достижение гомеостазиса системы (выполнение условия θ = β ) в заданном диапазоне изменения характеристик социальной и духовной компонент культурного пространства тестовых проверок. При этом в соответствии с принципом Эшби разнообразие тестирующих воздействий должно быть не меньше разнообразия поведения каждого конкретного целеустремленного объекта. Только в этом случае будет гарантирована ло­гичность ЭФТК по отношению к каждому испытуемому.

Содержательная интерпретация этого утверждения в терминах тестологии представима следующим образом. Валидным для испытуемого с фиксированной степенью обу­ченности является ПДТ, в котором мера трудности предъявляемых ему ЭФТК близ­ка к значению латентного параметра конкретного респондента. Только в этом случае система СКДО может установить реальную оценку УУД конкретного испытуемого. Дей­ствительно, ПДТЗ с низкой мерой трудности бессодержательны в информационном смыс­ле для отличников и их нелогично предъявлять этой категории испытуемых. Такие зада­ния не позволяют не только установить реальную степень обученности респондентов, но и не способны обеспечить различение их поведения. Аналогично обстоит дело и для других категорий объектов нечисловой природы.

Исследуя понятия содержательности и логичности кратких тестовых ситуаций, мы убедились, что культура проектирования разработчиком качественных ПДТЗ опре­деляется его умением создавать ЭФТК оптимальной энтропии для различных клас­сов испытуемых с фиксированными степенями обученности. Этот процесс напрямую связан с качественным проведением спецификации учебного материала и предваритель­ным установлением меры трудности тестовых ситуаций на каждом ярусе дерева специфи­кации KCT3.

Следует обратить внимание, что не только реализация, но и само существование куль­туры КАТ как духовно-целостного потенциала оценки поведения эмпирических объектов возможно лишь в постоянной «привязанности» категории трудности ПДТЗ к степени обу­ченности испытуемых. Не что иное, как духовная и эмоциональная нагрузки мышления являются важными причинами мотивации личности в удовлетворении потребностей уста­новления собственного значения латентного параметра.

Подводя итоги этого раздела книги подчеркиваем следующее. Содержательность и ло­гичность тестовой ситуации – это две стороны существования целостного содержания ПДТЗ. Если первая выражает смысл ЭФТК, то вторая – его значение, т. е. вес реализации данной сущности. Следовательно, рационально спроектированные ПДТЗ должны быть ясными но смыслу и логичными по значению (категории трудности) для испы­туемых с фиксированными значениями латентного параметра обученности.

При этом следует помнить, что для объектов нечисловой природы на первом этапе проведения тестовых испытаний логичность предъявляемых им тестовых ситуаций будет различной, а на втором – вес тестовых утверждений будет тождественным значению ла­тентного параметра для всех испытуемых из данного класса. Это, безусловно, сказывается на «весе» предъявляемых респондентам тестовых суждений, а, значит, и на верности оп­ределения их степеней обученности.

Теперь мы можем сформулировать правило:

Π13: содержательность ПДТЗ учитывает смысл фрагмента отражаемой в нем облас­ти знания, а логичность устанавливает соответствие между значением параметра трудности конкретной тестовой ситуации и фиксированной степенью обученности каждого целеустремленного объекта.

Тестовое утверждение, у которого все посылки, заданные в условии задания ис­тины, относится семантически к корректным ЭФТК. Однако не на каждое семантиче­ски корректное ПДТЗ эмпирический объект с заданным уровнем обученности может дать правильное заключение. В другой ситуации тестируемому предъявляются программой тестовые утверждения, которые не требуют от него мыслительных усилий при формиро­вании следствия. В обоих случаях ПДТЗ будут нелогичными, так как они не позволяют объективно оценить УУД тестируемого.

Поскольку ЭФТК – это форма мышления, связанная с требованием вывода, то семан­тически правильные задания относительно возможности формирования эмпирическим объектом истинного суждения могут быть подразделены на прагматически корректные и прагматически некорректные. Правильность ПДТЗ – это его семантическая характери­стика, потому что на корректное тестовое утверждение (предложение) в практической деятельности объект может и не уметь дать истинного заключения.

Прагматически корректное ЭФТК – это утверждение, в котором заложена возмож­ность формирования истинного суждения испытуемым с заданной степенью обученности при максимальном напряжении его критического мышления. Поскольку цель прагмати­чески корректного тестового утверждения состоит в превращении его в истинное суждение, то в условии задания должны быть указаны основания для этого.

Неопределенность, заложенную в ПДТЗ фиксированной категории трудности, можно назвать энтропией, а заключение испытуемого с заданным уровнем достижений следует понимать как информацию, которая устраняет эту неопределенность. Тогда прагматиче­ски корректное ЭФТК будет утверждением с оптимальной энтропией. Сущностью праг­матически корректного ПДТЗ является единство его содержания, формы, категории трудности и максимальной различающей способности. При конструировании тестово­го суждения с учетом стандартов и методологических правил оно становится элементар­ным феноменом тестовой культуры.

Корректное следствие на ПДТЗ должно, во-первых, детерминироваться точным и од­нозначным пониманием содержания тестового задания, и, во-вторых, обеспечивать доста­точно полный и точный вывод для разрешения указанной в задании проблемной ситуа­ции. Если у образа с исходным УУД имеется возможность правильного заключения на ЭФТК с максимальным напряжением мыслительного процесса, то такое тестовое задание считается прагматически корректным. Подобные задания обладают оптимальной неоп­ределенностью (энтропией) для образов, обладающих фиксированной степенью обучен­ности.

Прагматически некорректным тестовым утверждением является задание с таким значением энтропии, которое является недоступным для формирования истинного заклю­чения испытуемым. В этом случае необходимо свести исходное тестовое задание с высо­кой энтропией к тестовым утверждениям с более низким уровнем неопределенности. Сформулируем правило:

Π14: для сведения прагматически некорректного тестового задания к утверждениям оптимальной энтропии необходимо выполнить сведение (декомпозицию) исходного ПДТЗ к прагматически корректным тестовым суждениям.

Центральным моментом сведения прагматически некорректного тестового задания к утверждениям оптимальной энтропии является отнесение вспомогательных утверждений к соответствующим категориям трудности. Эта процедура осуществляется эвристически­ми методами, основанными на опыте структурирования тестового материала, интуиции и творческой изобретательности разработчика ЭФТК.

Элементы эвристики при декомпозиции трудных ПДТЗ в общем случае неизбежны, и это не должно умалять значение последующих этапов получения вспомогательных тесто­вых утверждений оптимальной энтропии. Уместно напомнить, что, например, традицион­ная структурная схема передачи сигналов данных (источник сообщений – кодер – модем – канал – модем – декодер – получатель сообщений) является результатом обобщения опыта и получена эвристическим путем.

Декомпозиция основана на расчленении исходного учебного материала с высоким уровнем неопределенности на ряд взаимосвязанных локальных тестовых подзаданий, вы­полняемых независимо друг от друга и образующих тестовые задания различной катего­рии трудности. Процесс редуцирования представляет собой многоэтапное итеративное сведение проблемной ситуации к ПДТЗ оптимальной неопределенности для фиксирован­ной степени обученности испытуемого. На каждом шаге итерации нужно знать лишь те­кущую меру трудности конструируемых тестовых утверждений. Суть метода декомпози­ции поясним на примере применения правила Π14 к формированию ЭФТК различной ка­тегории трудности.

Для применения правила Π14 необходимо:

·  в прагматически некорректном фрагменте учебного материала выбрать ключе­вое слово, обозначающее предмет тестового утверждения;

·  свести исходный фрагмент к тестовым заданиям меньшей категории трудности;

·  повторять процедуру декомпозиции до тех пор, пока не будут получены тесто­вые суждения оптимальной энтропии для каждого уровня обученности.

Пусть необходимо разработать ЭФТК трех уровней трудности по теме «Декодеры циклических последовательностей с расстоянием Хемминга d = 3».

Ключевым словом в нашем случае является термин «декодер». Выполним декомпози­цию этого понятия, разделив его на частные подмножества. Допустим, что термин «деко­дер» со специфическим признаком «циклические последовательности» мы подразделим на две группы: классические и кольцевые.

Используя результаты группировки, можно составить тестовые задания первого уров­ня трудности:

1. Выполнить синтез кодера циклического кода с d=3.

2. Выполнить синтез кодера кольцевого циклического кода с d=3.

3. Выполнить синтез декодера циклического кода с d=3.

4. Выполнить синтез декодера кольцевого циклического кода с d=3.

При этом на экране дисплея должны быть указаны параметры кода, степень образую­щего полинома и процедура декодирования.

Продолжая процесс декомпозиции (группировки), находим вспомогательные ПДТЗ второй меры трудности. Например, первое и третье тестовые задания можно разделить на две подгруппы:

5. Математическая модель классического циклического кода с исправлением ошиб­ки.

6. Математическая модель классического циклического кода с обнаружением двух ошибок.

При задании соответствующих параметров на экране дисплея правильный вывод мо­жет быть сконструирован однозначно. Аналогичные ПДТЗ можно составить, проводя группировку заданий 2 и 4. Допустим, что вспомогательные ПДТЗ оказались прагматиче­ски некорректными для объектов с низким уровнем обученности. Тогда, осуществляя де­композицию тестового задания 5, получим новое задание:

7. Понятия, свойства и способы задания (математическая модель) циклических кодов c d=3.

Произведя группировку второго и третьего ЭФТК, можно образовать вспомогатель­ные тестовые задания для второго и третьего уровней обученности.

Руководствуясь правилом декомпозиции, с использованием группировки удается све­сти трудные ПДТЗ к вспомогательным тестовым заданиям оптимальной энтропии для различной степени обученности телеологических объектов. Оптимальность энтропии ЭФТК означает достаточное количество информации, которым располагает конкретный объект или образ для формирования правильного следствия. Хотя операция группировки весьма интуитивна и зависит от профессиональных качеств разработчика тестовых зада­ний, а понятие оптимальной энтропии ПДТЗ не является строгим, применение этих тер­минов в практической деятельности считается вполне оправданным.

Итак, если индивид из данного образа (класса) не может дать корректный вывод на несколько ЭФТК заданной категории трудности, то на основании анализа его заключений и алгоритма адаптации, он должен быть отнесен тестирующей системой к другому классу – «подключен» к банку тестовых заданий с более низкой мерой трудности. Важно, что ЭФТК с различной категорией трудности формируется таким образом, чтобы вывод на за­дание был однозначным, т. е. правильное заключение превращало тестовое здание в ис­тинное суждение. Суждение как продукт мыслительной деятельности отражает умозак­лючение объекта/образа относительно запрашиваемой в ЭФТК информации, выраженное следствием.

Культура концептов и заключения

С созданием KCT3 заканчивается лишь творческая деятельность разработчиков, но процесс улучшения показателей БТЗ продолжается на уровне участников образовательно­го процесса и квазисубъекта. Культура деятельности реципиентов и тестирующей про­граммы проявляется здесь как человеко-машинная форма отношений, содержание которой составляет анализ качества их заключений и концептов, а также осуществление на этой основе целесообразных модификаций и преобразований содержательности и логичности тестовых ситуаций в интересах улучшения показателей функционирования системы СКДО УУД объектов нечисловой природы.

Процесс формирования заключения широко использует моделирование как средство преодоления трудностей, возникающих в ходе установления тестируемым истинного суж­дения. Эти проблемы могут быть психологического характера, когда для установления корректного вывода необходимо четко представлять условие задания, связи и отношения между исходными посылками и требованиями в обозримой форме. Для преодоления этих трудностей применяются модели в виде схем, чертежей и т. п., которые называют вспо­могательными. В другом случае, трудности могут носить содержательный характер, ко­гда для определения заключения тестируемый не может подобрать известный ему метод, и тогда он заменяет целостную тестовую ситуацию ее вспомогательной моделью (моде­лями).

Центр тяжести при выполнении требований ЭФТК лежит в установлении из посылок истинных суждений, называемых заключениями (следствиями, выводами). Истинное заключение тестируемого на требования ПДТЗ — это его корректное утверждение, которое дает информацию, затребованную в тестовой ситуации. Оно выражает форму деятельности эмпирического объекта, выраженную в построении истинного суждения. Опосредственное заключение на требование ПДТЗ по своему смыслу совпадает с поня­тием синтетического сорита Канта, если вывод состоит как минимум из двух концептов, в которых первый концепт служит посылкой для второго.

Заключение на требование ЭФТК – есть синтез содержания тестовой ситуации, а не формы. Оно зависит от функции синтеза и априорно его обуславливает. Базовые положе­ния стоической логики (философской системы античности), заложенные Зеноном Китийским и Хрисиппом из Сол, исходят из того, что истинным и явным суждением считается тогда и только тогда, когда заключение образуется из истинных посылок. В соответствии с буддийской логикой Дигнага и Тхарнмоттара правильным считается такой вывод, кото­рый не мог быть опровергнут. Это правило устанавливает определенное соответствие ме­жду исходной совокупностью тестовых посылок и однозначным суждением, называемым логическим (или логичным) следствием (заключением) из этих посылок. Данные посылки должны являться «причинами» конкретных заключений.

Правило заключения – способ порождения корректных тестовых суждений из мно­жества исходных посылок, имеющих характер общих утверждений. Если посылки ПДТЗ истинны, то истинные и следствия, порождаемые корректными выводами тестируемых. В этой ситуации краткое тестовое суждение – переход по правилам от посылок задания к заключению. Под посылками будем понимать известные в тестовых утверждениях и по­лученные во вспомогательных концептах суждения. Поскольку ПДТЗ снабжается семан­тикой, то вывод – это содержательное рассуждение, позволяющее от сформулированных посылок переходить к свернутым кратким тестовым суждениям, логически и логично вы­текающим из исходных посылок.

Термин «концепт» определяет формирование в сознании индивида такого представ­ления о содержании ПДТЗ (или его части – вспомогательного подзадания), которое слу­жит пониманию сущности задания, целостного подхода о плане его выполнения и как ие­рархию составляющих его элементов. Если изучать процесс формирования тестового су­ждения как разделение задания на части с последующим их синтезом для окончательного заключения, то выделение концептов и будет соответствовать истолкованию смысла ПДТЗ. Непосредственный вывод следует из одного концепта.

Исходные условия и требования ЭФТК интегрируют в себе цели действий. Мыслен­ное выделение в поведении телеологического объекта концептов означает временную дез­ориентацию ПДТЗ. Результирующее тестовое суждение выводимо, если существует кор­ректное следствие исходных посылок тестовой ситуации.

Цепочка правильно выстроенных целеустремленным объектом концептов – это части движения к корректному выводу. На данном этапе развития тестологии будем считать, что число концептов в конкретной тестовой ситуации определяет категорию трудно­сти ЭФТК. Совокупность действий, выполняемых в ходе формирования следствий на требования ЭФТК, – операционная деятельность тестируемого.

Каждое требование ПДТЗ, вызывающее ответную реакцию индивида и влияющее на качество его заключения, продуцирует информацию. Говоря об информации, необходимо иметь в виду особый способ коммуникации, посредством которого осуществляется пере­дача содержания и требований ЭФТК к респонденту в процессе отражения. Однако далеко не всякое сведение выступает в виде знания. Лишь преобразованная, зафиксированная и функционирующая в символических знаковых системах информация, имеющая смысл и значение, может рассматриваться как знание.

Заключение формируется объектом эмпирической системы тестирования в процессе мышления, когда в системе последовательных, взаимосвязанных концептов отражается объективная реальность – содержание конкретного ЭФТК. Эти абстрактные мыслитель­ные структуры складываются в связи с требованиями каждой конкретной тестовой ситуа­ции, выполняя которые индивид стремится формулировать истинные суждения.

Приняв учебную тестовую ситуацию к выполнению, эмпирический объект приступает к осознанию сути содержащегося в пей требования, формулирует схему построения кон­цептов. Конечно, сформировать истинное суждение он может и сразу, что имеет место, когда суть «лежит на поверхности задания». Но нередко выполнение требований ПДТЗ становится для индивидов настолько трудным, что он вынужден представлять (обобщен­ный) исход на основе концептов. При ощущении посильности проблемы, под влиянием ее значимости (например, с точки зрения установления собственного класса обученности, а возможно и познавательного интереса к ней) ситуативно рождается потребность как непо­средственный источник интеллектуальной активности в решении возникшей проблемы.

Эта новая проблемная ситуация, в свою очередь, может вызвать необходимость фор­мирования следующего концепта и, как следствие, возникновения новой ситуативной по­знавательной потребности, встроенной в предыдущую, и т. д. Включая в свою структуру познавательную потребность, тестовая ситуация сохраняется в поиске до момента полу­чения заключения. Следовательно, участвуя в синтезе встроенных друг в друга концептов, на всем протяжении выполнения задания тестируемый находится в интегральной про­блемной ситуации, вызванной требованием ЭФТК.

Поскольку тестовые утверждения обычно сопровождаются семантикой, то с инфор­мационно – эпистемологической точки зрения под заключением будем понимать логич­ное или логическое повествовательное предложение, которое переводит исходное тесто­вое суждение в истинное (или ложное). Можно утверждать, что с логико-методологической точки зрения результат деятельности тестируемого направлен на обос­нование корректного вывода на содержащее энтропию ПДТЗ. В данном контексте заклю­чение представляет собой особый вид учебной деятельности – результат на требова­ние ЭФТК. Сознательное следствие тестируемого – «это вершина, под которой имеется широкий фон динамики возбуждения мышления пропонента». Сущность учебного заклю­чения, методы формирования истинного суждения предполагаются заданными и рассмат­риваться нами не будут.

Содержание и форма тестовых суждений, полученные объектом эмпирической систе­мы КАТ из БТЗ, дают толчок процессу самоорганизации уже ранее известной и уложен­ной в памяти индивида стандартизованной информации, что, в свою очередь, может по­служить импульсом для достижения успеха. В этом случае приращение внутренней ин­формационной энтропии (по И. Пригожину) может быть и отрицательным, когда тести­руемым создается негативная энтропия, понимаемая нами как мера организованности це­лостного истинного суждения. Поток информации в таком эпистемологическом канале происходит в двух направлениях: получение негативной энтропии от культурной системы КАТ; генерирование тестируемым энтропии во внешний мир (заключение). Наша задача состоит лишь в изучении правил организации этой деятельности.

Совокупность концептов и заключений, выполняемых в ходе установления требова­ний ЭФТК, представляет собой операционную деятельность тестируемого. Чтобы сфор­мировать корректные следствия на требования ПДТЗ, надо представлять смысл и значе­ние каждого знака, которые им придали разработчики. В то же время необходимо пони­мать смысл и значение содержащего эти знаки контекста. Эта взаимосвязь части и цело­го образует «герменевтический круг». Процесс заключения, следовательно, представляет собой реализации процедур (интерпретации, конвергенции и т. д.) и операций, обеспечи­вающих преобразование содержащейся в ПДТЗ информации при установлении концепту­альной схемы перехода от незнания к знанию. «Истина» или «ложь» – это оценки, с по­мощью которых мы отделяем заключение, соответствующее объективной реальности, от несоответствующего ей. По сути дела культура поведения целеустремленного объекта есть явление им стратегии и тактики формирования истинного суждения.

Моральные принципы поведения объекта эмпирической системы образуют культур­ную среду, в которой заложена система правил его разумного поведения. С культуроло­гической точки зрения формулирование вывода подразумевает некоторую деятельность индивида, которая объединяет в себе анализ содержания задания, составление плана (метода, способа) поиска вывода, процесс осуществления этого плана, проверку пра­вильности заключения и его ввод в компьютер. При этом считается, что, основываясь на определенных теоретических предпосылках, в частности на теории КАТ, экспертами а priori построен образцовый БТЗ (идеальная с их точки зрения операционная деятельность тестируемых по выполнению ЭФТК).

При анализе содержания ПДТЗ (проникновение в его сущность) респонденту нужно расчленить формулировку тестового утверждения на посылки и требования. Глубина ана­лиза зависит от того, знаком ли он с предметной областью, к которой принадлежит зада­ние, и известны ли ему общие способы разрешения подобных проблемных ситуаций. По­следующая практическая рациональная деятельность объектов нечисловой природы по формированию заключений позволяет установить, насколько качественные предпосылки экспертов оказались относительно верны.

Структуру деятельности тестируемых при выполнении ППТ мы рассматриваем с че­тырех точек зрения. Во-первых, изучаются выводы конкретного телеологического объекта при формировании им заключений на ПДТЗ различной меры трудности, устанавливается исходный рейтинг (класс обученности) этого индивида. Во-вторых, анализируется пове­дение испытуемого при формировании им следствий на ЭФТК фиксированной категории трудности. Такой подход характерен для различения индивидов из одного класса обучен­ности, когда требуется установить реальную степень обученности каждого конкретного испытуемого. В системе КАТ на этом этапе уточняют меру трудности ПДТЗ и улучшают качественные параметры тестовых утверждений.

Возможен третий подход к изучению деятельности тестируемых по выполнению ЭФТК. Сущность его состоит в том, что анализ качества выводов производится на выбор­ке эмпирических объектов с учетом их успешных действий при выполнении ими ПДТ по­вышенной категории трудности. Этим методом удается добиться отбора индивидов толь­ко с высоким уровнем обученности. Четвертый подход к изучению поведения объектов нечисловой природы состоит в том, что им предъявляются КФТ с низкой категорией трудности. В этом случае результаты используются для отсева наиболее слабо подготов­ленных объектов эмпирической системы КАТ.

Разрешение тестовой ситуации осуществляется путем рассуждений, т. е. такого вида мыслительной деятельности, в котором на основе концептов на подзадания оптимальной энтропии получается заключительный контекст. Структура рассуждений состоит в том, что какие-то суждения известны тестируемому, а какие-то являются искомыми. Эти фак­ты связаны между собой некоторой логической или логичной операцией. Среди утвер­ждений могут быть предложения об условиях существования объектов (предметов, свойств, отношений) или о самих объектах, т. е. их формах, а могут быть законы или от­ношения между множеством целеустремленных объектов.

Рассуждение, в котором из априорно известных утверждений по правилам формаль­ной логики формируются заключения о смысле ПДТЗ, называются умозаключением. В культурологическом смысле этот термин представляет собой формирование концептов на основе присущих индивидуальному сознанию норм рассуждений, совпадающих с методо­логическими или теоретическими правилами мышления. Набор посылок представляемой тестовой ситуации должен быть всегда истинным. Это могут быть экспериментально ус­тановленные факты, если они приняты на веру или интуитивно очевидны для проектанта и тестируемого. В этом смысле говорят о ПДТЗ или, более точно, о логическом выводе из исходных посылок с помощью умозаключения корректного или ошибочного суждения.

Различают рассуждения дедуктивные и индуктивные. Формальные правила из истин­ных посылок образуют только истинные суждения. Здесь выводы делаются по правилам математической логики, когда обобщения относятся к «бесконечно – или конечно – необо­зримой области фактов». Индуктивные рассуждения основываются на правилах логично­го мышления, которые не гарантируют получение из истинных суждений только истинных концептов, а обобщения касаются обозримой области наиболее вероятных фактов. Рас­суждая, тестируемый строит рациональный план движения на пути к формированию за­ключения, использует психическое отражение содержания ПДТЗ, которое позволяет ему направить мыслительную деятельность на разрешение требований тестовой ситуации.

Можно утверждать, что с логико-методологической точки зрения способ формирова­ния следствия зависит от формы ЭФТК, меры его трудности и различающей способности, а заключение тестируемого об истинности суждения есть обоснование конкретного выво­да на содержащую заданную энтропию тестовую ситуацию. Это, во-первых, означает, что результаты концептов должны превращать ПДТЗ в корректные утвердительные предло­жения, а, во-вторых, в суждениях должны быть четко и конкретно указаны объекты, о ко­торых что-то утверждается, и те свойства и отношения, которые этим сущностям припи­сываются.

Рассмотрим структуру процесса формирования заключения (вывода). Перевод тесто­вого утверждения с низкой мерой трудности в истинное суждение не представляет особых проблем и должен пониматься однозначно. Здесь необходимо только знание соответст­вующих законов или фактов. В проблемно-эвристических и развивающих ПДТЗ прихо­дится разбивать формирование заключения на несколько этапов (концептов), в каждом из которых требуемая от тестируемых информация должна устранять энтропию редуциро­ванных подзаданий. Получив опосредованные концепты, можно обобщить вывод на цело­стное тестовое утверждение. Декомпозиция содержания ЭФТК и дедукция контекста со­ставляют главную сущность формирования заключения, определяющего смысл и значе­ние тестового контекста. Сложность проектирования такого ПДТЗ для преподавателя, а, следовательно, трудность формирования истинного заключения для тестируемого опреде­ляются отношением сведения содержания тестовой проблемной ситуации к вспомога­тельным подзаданиям и обобщением концептов на них в истинное суждение. Только в си­лу известности концептов на все редуцированные подзадания оптимальной энтропии можно сформулировать полное заключение на ПДТЗ как истинное или ложное суждение.

Можно утверждать, что процедура формирования вывода на требования ПДТЗ с за­данной мерой трудности включает в себя:

·  анализ содержания тестовой ситуации и редукцию его на подзадания;

·  формирования концептов на вспомогательные подзадания последних уровней разбиения на основе исходных посылок;

·  использование посылок для концепта различного уровня декомпозиции, вплоть до формирования целостного заключения;

·  обоснование подзадания оптимальной энтропии, исходя из принятых в тесто­вом утверждении посылок;

·  установление факта истинности и верности посылок для формирования концеп­тов и заключения;

·  проверку истинности суждения при подстановке в него правильного вывода.

Различают макроподход и микроподход к деятельности тестируемого при подготовке следствия. В первом случае культура формирования истинного утверждения состоит из этапов, представленных на рис.9.

Рис.9. Процесс формирования заключения

Дедуктивный вывод в соответствии с этой формой представления ПДТЗ имеет вид:

Здесь A, A → B – уже известные представления. Из этой записи видно, что на основе известных представлений получают однозначные неизвестные представления, что позво­ляет относительно легко проектировать однозначные тестовые ситуации с дедуктивным выводом.

Эвристический вывод выражается следующим образом

Здесь С – известное суждение; Q – гипотеза.

Смысл этой формулы в том, что задается некоторое уже известное суждение С. Если положить, что гипотеза Q истинна и С объясняется как следствие из этой гипотезы, то имеются все основания принять гипотезу Q за истину. Эта запись преобразования анало­гична по форме дедуктивному выводу, однако, по сложности формирования ПДТЗ, эври­стический вывод отличается от дедукции и ему невозможно непосредственно поставить в соответствие некоторый алгоритм генерации однозначных тестовых ситуаций. Сущность эвристического дерева вывода состоит в том, что гипотеза Q изначально неизвестна, ее необходимо установить из априорно известного суждения С.

При установлении меры трудности ПДТЗ разработчик также может исходить из структуры дерева вывода – способа записи концептов проблемной тестовой ситуации, при котором над каждым элементом W пишутся концепты, из которых различные W получены за одно применение правила вывода. Например, имея элементы W1, ... , Wn, среди которых W1, W2, и W4 – аксиомы (нуль – посылочные концепты, разрешение которых не требует от тестируемых затрат времени), концепт W3 получаются за одно применение правила из W1 и W2; концепт W5- – из W4 и W3; концепт W6 – из W3 и W5 . Запишем про­цесс формирования заключения в виде следующего дерева (по ).

По дереву вывода удобно прослеживать зависимости элементов друг от друга и уста­навливать категорию трудности задания, равную в нашем случае трем концептам. Заклю­ченная в дереве вывода информация может быть отображена и в виде графа:

Такой подход служит приближением метода обращения с формальными выводами к содержательным рассуждениям при разрешении проблемных тестовых ситуаций. Глубина анализа содержания ПДТЗ, поиск рационального метода выполнения требований задания в наибольшей степени характеризует культуру деятельности тестируемого и способствует превращению процедуры КАТ в объективный инструмент классификации и оценивания уровня достижений объектов нечисловой природы.

На этапе микроанализа деятельность тестируемого разбивается на элементарные шаги, из которых состоят перечисленные в макроподходе этапы формирования вывода. В случае информационно отражающих ПДТЗ проектирование истинных суждений не вызывает серьезных затруднений. Что же касается формирования элементарных шагов для разре­шения проблемно-эвристических тестовых ситуаций, то здесь появляются определенные трудности. Во-первых, тестируемому предлагается самостоятельно найти способ пред­ставления заключения на ПДТЗ, а, во-вторых, он должен на основе дедуктивных логиче­ских правил редуцировать проблемную ситуацию на элементарные составляющие (подзадания оптимальной энтропии) и осуществить синтез вывода из полученных им концептов. Правила логических преобразований высказываний и процедура их синтеза достаточно хорошо определены и весьма детально изучены. «Надо дробить каждую из трудностей, которую мы разбираем, на столько частей, на сколько можно, чтобы их лучше разрешить» (Р. Декарт).

Культура построения концептов и следствий на проблемно-эвристические ПДТЗ со­стоит в сочетании применения эвристических и алгоритмических процедур в деятельно­сти тестируемого. Приведем пример вероятных действий индивида при формировании за­ключения на разрешение следующей тестовой ситуации.

Полином F(x) представить произведением двух неприводимых трехчленов

На экране дисплея тестируемый видит исходный полином, места ввода элементов за­ключения и сами символы, которые он при помощи мыши должен разместить на соответ­ствующих позициях. Более того, из посылок ПДТЗ следует, что заключение должно быть представлено в виде произведения двух неприводимых трехчленов. Откуда сразу следуют места расположения скобок. Далее индивид делает второй элементарный шаг, направлен­ный на поиск подходящего способа формирования заключения. Например, используя эв­ристический подход и предшествующий опыт решения задач разложения многочленов на множители, он на бумаге в полиноме F(x) прибавляет и вычитает величину x2. Полученный в итоге многочлен х4 + 2х2 +1 – х2 легко приводится к виду (х2 + х + 1)(х2 – х + 1). Затем по­средством мыши символы размещаются на соответствующих позициях.

Большинство развивающих ПДТЗ для формирования вывода требуют деятельности, основанной на применении логичных правил и преобразований, которые создавались эм­пирически и, следовательно, плохо определены, а характер их приложений мало изучен. Культура выполнения ПДТЗ этого вида добывается тестируемым эмпирически – в процес­се опыта (выполнения многих заданий). Тем самым у наиболее способных индивидов вы­рабатывается интуиция, которая характеризует возможность тестируемого на основании личного опыта по разрешению подобных ситуаций догадаться, какой план формирования заключения следует применить при встрече с развивающим феноменом культуры.

При построении концептов и вывода на требования развивающего ПДТЗ тестируемо­му приходится применять правдоподобные рассуждения, с тем чтобы «выполнить требо­вания задания», «расчленить условие задания на части» и осуществить преобразования с учетом индуктивных правил. Метод математической индукции подразумевает, что тесто­вое утверждение, зависящее от натурального числа n, истинно для любого значения n, ес­ли выполняются условия:

·  утверждение справедливо для n = 1 (база индукции);

·  из справедливости высказывания для n = k (предположение индукции) вытекает его справедливость и для n = k + l (индукционный шаг).

Однако проверка второго условия требуется при доказательстве, а не при формирова­нии заключения на ПДТЗ. Поэтому в нашем случае объекту нечисловой природы доста­точно сделать несколько итераций (шагов), чтобы подтвердить свою догадку.

ПРИМЕР: свернутое выражение

представлено в виде

Используя метод индукции, тестируемый может поступить следующим образом.

1-ый шаг: ; n=l:

2-ой шаг: ; n=2;

3-ий шаг: ; n=3.

Полученные результаты говорят о том, что в числителе наиболее вероятно находится число шагов n, а в знаменателе 2n+l. Логично предположить, что

Культура деятельности индивида при формировании заключения на требования ПДТЗ помимо макро – и микро подхода, алгоритмического или эвристического характера его действий, включает умственные действия, направленные на достижение заданной цели. В этом контексте действия тестируемого разделяются на три группы: ориентировочные, ис­полнительные и проверочные. Ориентировочная умственная деятельность направлена на проникновение в содержание ЭФТК и отыскивание плана выполнения требований зада­ния. Культурологическая составляющая этого вида деятельности состоит в том, чтобы эм­пирический объект умел применять выбранный им метод преобразований для выполнения однотипных ПДТЗ. Если на этапе применения выбранного способа формирования заклю­чения индивид не может достигнуть истинного результата, то ему необходимо пересмот­реть исходный план решения и обязательно вскрыть истоки допущенных ошибок.

Модель хода формирования вывода респондента на тестовое задание содержит сле­дующий набор операторов:

ориентировка:

·  семантический анализ смысла и идентификация знаков, предлагаемых усло­виями (посылками) задания;

·  установление отношений между знаками;

·  выявление структуры тестового утверждения;

·  планирование этапов конструирования вывода, в ходе которого формируется несколько альтернативных планов, из которых акцентируется один или не­сколько запасных подходов;

исполнение:

·  поиск аналогичной проблемной ситуации, встречающейся ранее, и использова­ние в качестве «заготовок» сохраненных в памяти фрагментов ранее осуществ­ленных решений;

·  преобразование структуры, детализация и алгоритмизация плана выполнения задания;

·  действия, посредством которых осуществляется выполнение задания (согласно предписанных процедурой операторов);

проверка:

·  промежуточный контроль хода правильности получаемых концептов и анализ вывода на требование задания в целом;

·  осмысливание результата выполнения задания и интеграция его в деятельность;

·  ввод заключения в компьютер и переход к следующему ЭФТК.

Очевидно, что качество анализа допущенных ошибок определяется культурой мыш­ления конкретного респондента, мотивами тестовых проверок (одно дело, например, когда ПДТЗ выполняется в процессе аттестации, и совсем иное дело, если тестируемый работает в режиме самостоятельной проверки собственных достижений).

Каковы пути культуры поведения тестируемого при встрече с ПДТЗ незнакомого ви­да? Во-первых, не следует начинать поиск вывода без предварительного анализа содержа­ния тестовой ситуации; во-вторых, необходимо установить общую структуру деятельно­сти по выполнению данного задания, разложить его на части, выполнение которых из­вестно индивиду; в-третьих, осуществить проверку корректности полученного результата и установить рациональность выбранного плана действий. Безусловно, анализ рациональ­ности алгоритмического подхода при формировании заключения лучше всего осуществ­лять совместно с преподавателем в процессе проведения классификационных тестовых проверок.

Тестология исходит из признания существования независимо от состояния обученности объекта истинного вывода на каждое ПДТЗ. Здесь форма деятельности индивида вы­ступает как способ целенаправленного, творчески активного отражения тестируемым смысла конкретной тестовой ситуации, представления своего знания и/или умения в предметной форме. Заключение, как языковая система, обладает определенной структу­рой, в которой элементы ПДТЗ связаны между собой по известным правилам, заданным структурой того или иного тестового утверждения. Формирование вывода целеустрем­ленным объектом включает движение от восприятия ЭФТК через абстрактное к конкрет­ному в его мышлении и выступает как анализ и синтез. Абстрагирование предполагает мысленное разделение содержания ПДТЗ на его части с последующим созданием заклю­чения на основе сведения к единству многообразных свойств и отношений, обнаруженных объектом или образом в каждой конкретной тестовой ситуации.

В заключении этого параграфа укажем, что культура концептов и заключений – схе­ма деятельности тестируемых, общие принципы моделирования истинных тестовых ут­верждений, главный метод творческого поиска формирования корректных выводов в со­ответствии с требованиями ЭФТК. Приведем несколько соображений практического ха­рактера в помощь тестируемому, пребывающему в проблемной ситуации:

·  успех творческого поиска корректного вывода предопределяется умением ос­мыслить исходные данные и требования к каждой конкретной ситуации;

·  при затруднении дать заключение на ПДТЗ рекомендуется перейти к другому заданию. Пропущенные тестовые ситуации будут предъявлены тестируемому системой (например, ACT) в течение сеанса проверки.

Заключения тестируемых отображаются в другую систему с отношениями, носителя­ми которой являются уровни-интервалы обученности и множество действительных чисел. Задание такой шкалы предусматривает обязательное представление эмпирической систе­мы с отношениями, а также определенной интервальной и числовой системы с отноше­ниями, в которую отображается поведение тестируемых. С помощью шкалы качеству за­ключений каждого объекта нечисловой природы приписывается соответствующий балл и уровень-интервал оценки.

Триадная сущность оценки

В концепции КАТ, предложенной авторами, процедура установления значений ла­тентного параметра целеустремленных объектов разделяется на типологическую класси­фикацию объектов и рациональную аттестацию образов. Классификация связана с оцен­кой исходного уровня обученности тестируемого, когда его состояние заранее не установлено. При аттестации исходный уровень учебных достижений образа известен a priori и перед системой СКДО ставится задача различения уровня знаний, интеллектуальных уме­ний и практических навыков каждого конкретного испытуемого из заданного класса, т. е. установление реального балла на фиксированной шкале порядка в заданном уровне-интервале[11].

Оценка степени обученности объекта нечисловой природы может формироваться как путем установления соответствия или несоответствия его заключений данному уровню обученности (образу) – типа «да» – «нет», так и путем выбора более четкой стратегии, по­зволяющей установить причины того или иного поведения тестируемого и принять ра­циональное решение для совершенствования процесса обучения. Для построения шкалы оценки обратимся к ситуациям, возникающим в естественных науках, литературе, образо­вании и т. д., когда появляется проблема сопоставления друг с другом состояния телеоло­гических объектов произвольной природы.

Наиболее часто такие процедуры сводятся к проведению дихотомических операций, т. е. последовательным делениям понятия на две части. Такой подход связан с тем, что при обобщении исходов наблюдений многим явлениям действительности присущ полярный характер, в котором можно найти противоположности.

В математике – это дифференциальное и интегральное исчисление, плюс и минус; в механике – притяжение и отталкивание; в химии – анализ и синтез веществ; в биологии – жизнь и смерть – таков краткий перечень противоречивых тенденций. Этот диадный ре­дукционизм оказывается целесообразным и в поиске неисправностей, когда совокупность всех блоков технической системы в процессе проверки их работоспособности делится по­полам до тех пор, пока не будет установлено отказавшее устройство. Элементы вычисли­тельных систем также строятся с учетом выполнения двоичных операций; передача и об­наружение сигналов данных производятся чаще всего двумя символами «0» и «1»; разли­чают аналоговые и цифровые сообщения.

Из за большого объема эта статья размещена на нескольких страницах:
1 2 3 4 5 6 7 8 9 10 11 12