Выполнение правила Π4 предполагает, что в процессе конструирования ПДТЗ необ­ходимо поступать таким образом, чтобы деятельность тестируемого при формировании истинного суждения была четко ориентирована на достижение однозначного вывода. Та­кой аспект мыслительной деятельности индивидов, как выбор метода формулирования заключения, остается вне нашего поля зрения и в этом смысле подчеркивает отличие кон­тента ПДТЗ от содержания задачи.

Чтобы тестовое задание содержало объективную информацию, оно должно быть включено в контекст знаний, признаваемых на данном этапе развития науки, определен­ным образом соотнесено с ними, и только в этом случае запрашиваемая информация мо­жет эффективно использоваться как фактор деятельности. Так, например, конструирова­ние ЭФТК о представлении картины мира жестко связано с уровнем знаний, накопленных тестируемым к заданному моменту времени. Для модели картины мира, предложенной Декартом и Галилеем, справедлив закон сохранения количества вещества – M = const, в то время как для модели Н. Винера – закон сохранения массы – энергии – информации, т. е. M + E + H = const.

Содержание тестового утверждения обуславливает выбор определяющего признака в качестве существенного для превращения задания в истинное высказывание (для нашего случая в суждение). Успешное разрешение этой ситуации требует от объекта глубоких знаний, интеллектуальных умений, практических навыков и характеризует степень его обученности. Для примера составим ПДТЗ открытой формы, касающегося определения понятия линии [31]:

НЕ нашли? Не то? Что вы ищете?

«... – это длина без ширины»;

«... – это связанное компактное множество точек плоскости, не имеющее ни одной внутренней точки».

Правильным выводом для ученика школы будет первое определение, а для студента, изучающего топологию, – второе.

Отсюда следует правило:

Π5: тестовое задание конструируется с учетом накопленных реципиентами знаний в определенной предметной области.

Тестовые задания не только строятся на основе и с помощью синтаксических, семан­тических и прагматических правил, но сами содержат в себе исходные данные и вывод. С этой точки зрения ЭФТК представляют собой когнитивные структуры, предназначенные для получения истинных утверждений в случае формулирования испытуемыми прагмати­чески корректных заключений. Это требует, чтобы ЭФТК был поднят на высоту совре­менной науки, а тестируемый имел бы возможность постичь его своим умом.

В процессе создания ЭФТК нередко имеет место несогласованность формируемого разработчиком утверждения с тем контекстом, который используется другим автором не­которого суждения. Чтобы такие ситуации не возникали, надо пользоваться правилом:

Π6: при подстановке в тестовое задание определяющего термина полученный кон­текст должен оставаться истинным, при этом все утверждения, указанные в услови­ях ПДТЗ, должны быть также истинными.

Для уяснения сути дела приведем следующий пример. Допустим, преподаватель, про­ектируя тестовое утверждение или требование, пользуется справочником по математике A. A. Рывкина и других, где приводится определение простого числа: «Натуральное число, а называется простым, если его делителями являются только единица и само число а [36] В то же время авторы на странице 10 утверждают, что «числа 1, 2, 3,..., называются нату­ральными».

Согласно этим утверждениям преподаватель может записать тестовое задание: «Про­стые числа среди совокупности 1, 2, 3, 4, 5, 6». Очевидно, что правильным может быть признан вывод: «1, 2, 3, 5». Но вот далее авторы принимают за истинное высказывание следующее предложение: «Число единица рассматривается особо, оно не является ни про­стым, ни составным» (c.21). Этот контекст противоречит определению авторами простого числа. Поэтому заключение – «1, 2, 3, 5» является некорректным.

Ранее мы утверждали, что в математических науках ПДТЗ могут быть представлены и в виде высказываний, которые отличаются от суждений большей гибкостью, вариантно­стью, необязательностью фиксации синтаксиса и семантики. Из последнего примера вид­но, что использование явно фиксированных исходных посылок приводит к неточной фор­мулировке тестовой ситуации.

Когда Гегель говорит, что предмет мысли – это и есть мысль о предмете, то можно ут­верждать и обратное: мысль о предмете – это и есть предмет мысли. Для разъяснения смысла определяемого термина в этом примере используется это же самое понятие, а так как оно является неизвестным, то применять данное предложение для конструирования ЭФТК не представляется возможным. Тестовыми заданиями «с кругом» являются и ут­верждения: «материя – объективная реальность», «информация – сведения об объектах и явлениях окружающей среды», поскольку за определение можно принять только то ут­верждение, в котором нет разъяснения некоторого термина с помощью этого же понятия. Чтобы учесть эти тонкости при создании тестовых ситуаций, необходимо понимать смысл и значение контента этих терминов. Эта сложная проблема может быть разрешена, если пользоваться правилом:

Π7: тестовое утверждение не должно содержать логического «герменевтического круга».

При конструировании ПДТЗ определяющий признак должен быть указан непосредст­венно, а смысл и значение определяющих понятий должны быть хорошо представимы. Правило логичного мышления П8 указывает основу оперирования понятиями.

Π8: основные термины программно-дидактического тестового задания должны быть явно и ясно определены.

Явным считается ЭФТК, у которого специфический признак представлен непосредст­венно, когда о его смысле тестируемым не надо догадываться. У ясного тестового утвер­ждения смысл и значение определяющих терминов заранее известны и хорошо предста­вимы.

Сформулируем ПДТЗ для вербального определения понятия «человек».

... – двуногое животное без перьев (Платон);

... – разумное животное;

... – животное, делающее орудие труда (Б. Франклин).

Если известны определяющие термины «животное», «перья», «разумное», «орудие труда» и установлены специфические признаки, присущие только людям, то последние два вербальных определения можно считать правильными.

Не менее важно, чтобы тестируемому были ясны понятия «животное», «разумное», «орудие труда». В противном случае гусь без перьев подходит под понятие человек.

Другим примером использования Π8 является формулировка ПДТЗ открытого типа:

Автором строк

Достоинство обращения внутрь,

Выступает как совесть;

Достоинство обращения вовне,

Выступает как честь

является...

Формирование правильного вывода в данной тестовой ситуации затруднено, так как тестируемому неясно, как указать сведения об авторе – только фамилию, фамилию и имя, фамилию, имя и отчество. Для программно-дидактического тестового задания это сущест­венно.

Чтобы избежать появления в ЭФТК лишних определяющих признаков, необходимо пользоваться правилом:

Π9: в тестовом утверждении определяющий признак должен быть необходимым и достаточным.

Нет смысла в ПДТЗ «определение человека» к признаку «быть разумным» добавлять еще признак «чувства справедливости и достоинства», так как один из признаков будет в данной ситуации не необходимым.

П10: в тестовом утверждении определяющий признак должен быть существенным относительно рассматриваемого содержания учебной дисциплины.

Например, содержание ПДТЗ по физике должно отражать сущность проблемной си­туации в проведении экспериментальных наблюдений, а не оценивать знания испытуемых по математике.

Разрабатывая ЭФТК, необходимо помнить, что исходные термины тестового утвер­ждения могут быть определены остенсивно и вербально. Вербальные определения исход­ных понятий можно давать только через термины, не принадлежащие данной теории. Из сказанного следует практическое правило:

Π11: при конструировании ЭФТК пользуйтесь остенсивными определениями (если это способствует их лучшему пониманию).

Например, рассмотрим определение материи, принадлежащее M. B. Ломоносову: «Ма­терия есть то, из чего состоят все тела и от чего зависит их сущность. Сущность тел за­ключается в том, что они материальны». Здесь термин «сущность» не раскрывает понятия материи, (т. е. понятие раскрывается через этот же термин). Данное определение материи не может служить базой для формирования ПДТЗ. В философии понятие материи являет­ся исходным и его вербальное определение раскрывается через признаки «существова­ние», «независимо» и «сознание», которые не принадлежат философии. Только эти тер­мины следует использовать при формулировке ПДТЗ в виде тестового суждения о поня­тии «материя».

В процессе создания ЭФТК на установление соответствия необходимо иметь в виду следующее. В кибернетике соответствие из множества А во множество В определяется как произвольное подмножество G декартова произведения A*B, когда существует некоторая совокупность упорядоченных пар (x,y), где xA, y В. Более строго соответствие опре­деляется как тройка (G,A,B); G называют графиком данного соответствия.

Создание тестовой ситуации на установление соответствия с учетом вербального опи­сания этого термина может привести к тому, что исходные условия ЭФТК окажутся недоступными, например, для гуманитариев. Поэтому в данном случае можно воспользо­ваться правилом Π11 и перейти к остенсивному определению соответствия, заменив ма­тематическое понятие «множество» более понятным термином «совокупность», которые имеют одинаковый смысл и значение. В этом случае тестовое задание представляется формой, которая будет понятна для школьников, студентов технического и гуманитарного университетов:

В процессе компьютерного тестирования движение мысли индивида идет от внешней формы ПДТЗ к его внутреннему содержанию. Установление внешних свойств и отноше­ний, отражаемых структурой тестового утверждения, является переходом к раскрытию сущности и формированию истинного или ложного утверждения.

Любое тестовое суждение удовлетворяет этому определению истины в том случае, ес­ли предпосылки и заключения на требования данного утверждения являются также ис­тинными.

Используя индуктивный подход, дадим реальное определение ПДТЗ.

Программно-дидактическое тестовое задание (ПДТЗ, ЭФТК) — это свернутое краткое суждение стандартизированной формы и известной меры трудности, вклю­чающее в себя посылки и требования, составленное по правилам практической или теоретической логики, отвечающее условию предметной чистоты содержания и по­зволяющее тестируемому с фиксированной степенью обученности установить собст­венный уровень учебных достижений в течение ограниченного промежутка времени, а также являющееся единицей оценочного материала для синтеза теста.

Каждое ПДТЗ включает в себя:

·  инструкцию;

·  условия задания – посылки (содержательную часть и требования);

·  элементы условия задания и их атрибуты;

·  образец правильного заключения.

Каждое ПДТЗ характеризуется:

·  логичностью и содержательностью содержания тестовых ситуаций для испы­туемого с фиксированной степенью обученности;

·  уникальным идентификатором задания;

·  средним временем формирования вывода тестируемым на требование тестового задания;

·  мерой трудности проблемной тестовой ситуации для тестируемого с фиксиро­ванной степенью обученности;

·  ограничением по времени на формирование вывода (при необходимости);

·  краткостью, наглядностью и ясностью.

Культура формирования ПДТЗ предполагает:

·  возможность формулировки тестируемым однозначного заключения;

·  анализ содержания тестового утверждения в строгом соответствии с правилами их проектирования;

·  воспроизведение тестовой ситуации с учетом методологических правил и тре­бований стандарта с целью корректного представления смысла и значения ЭФТК и узнаваемости формы любого задания респондентом;

·  максимальную степень приближения смысла задания к содержанию исходного учебного материала;

·  соответствие каждого задания требованиям эстетических и эргономических по­казателей, когда его элементы не содержат ничего лишнего, а подчеркивают ясность и четкость смысла конкретного утверждения;

·  учет преподавателями и экспертами всех возможностей, которые им предостав­ляются инструментальными средствами;

·  проникновение в сущность требований задания, поскольку последние опреде­ляют меру трудности тестового утверждения для тестируемого.

Методологические правила, по которым корректные суждения могут быть получены из посылок, не зависят от содержания последних, а также ни от каких субъективных или внешних факторов, а определяются только формами представления ЭФТК и являются ин­вариантными для различных областей знаний. Процедура представления тестовых ситуа­ций только в форме кратких свернутых суждений хотя и не является формализованной, т. е. представленной с помощью символики, тем не менее достаточно надежна, поскольку состоит из рациональных правил рассуждений, фактически всегда присутствующих при создании валидных ПДТЗ. Учитывая это, можно утверждать, что предлагаемые в данной книге гипотетические правила удовлетворяют критериям научности Пойа в том смысле, что получены они с помощью правдоподобных рассуждений, употребляемых как инстру­мент методологических исследований и проверенный на многих областях знаний.

Множество рассмотренных выше методологических правил являются универсальны­ми нормативами для разработчиков ПДТЗ в различных областях знаний и составляют фе­номен нормативной системы культуры КАТ. Их применение является обязательной нор­мой деятельности преподавателей и специалистов-тестологов. С культурологической точ­ки зрения формальная логика в тестологии образует систему высказываний, логичность мышления формируется системой методологических правил, а деятельность разработчи­ков ЭФТК определяется системой правил разумного поведения.

Рассматривая структуру, смысл и значение ЭФТК как особый тип знания можно ут­верждать, что каждая тестовая ситуация наполнена своим содержанием и имеет свойст­венную ей содержательность, которая определяет меру трудности ЭФТК для индивида с фиксированной степенью обученности.

Исходя из представленных правил конструирования ЭФТК, известную педагогиче­скую притчу [16, стр.19] переформулируем следующим образом: начинающий разработ­чик ПДТЗ озабочен тем, чтобы не упустить чего – либо в содержании тестовой ситуации, а опытный тестолог – не допустить в представлении тестового утверждения чего-нибудь лишнего.

Мы рассмотрели содержательные правила построения ЭФТК. Их усвоение связано с немалыми трудностями. Они состоят в выработке практического навыка быстро и пра­вильно использовать совокупность правил, что достигается только в процессе длительной тренировки и реализуется методом проб и ошибок. Здесь уместно привести слова Ф. Бэ­кона ((): «Чтение делает человека знающим, беседы – находчивым, а привычка записывать – точным». Нормативная функция культуры при конструировании ПДТЗ про­является в том, что именно культура ответственна за создание гипотетических правил, норм и стандартов, регулирующих деятельность позиционеров различной категории.

Форма фиксирует момент «устойчивости» более подвижного и изменяющегося со­держания. По мере развития инструментальных средств строение ПДТЗ модифицируется, приспосабливается к отображению содержания фрагментов различных областей знания. В свою очередь появление новых форм обогащает содержание в направлении, обеспечи­вающем реализацию тех возможностей, которые они представляют позиционерам.

Различие между содержанием и формой его представления – это различие не по отно­шению к фрагменту реальной действительности, а лишь по этой роли, которую играет од­на сторона мышления по отношению к другой. Это есть различие в пределах самой куль­туры мышления, которая лишь в результате обогащения логического и логичного подхо­дов приводит к относительному обособлению форм представления тестовых ситуаций.

Такое обособление базируется на постепенном вычислении тех структур тестовых утвер­ждений, которые представляют собой инвариантные связи и отношения представления конкретных познавательных ситуаций.

Говоря о взаимосвязи содержания и формы в развитии теории КАТ, важно подчерк­нуть, что научно-теоретическая деятельность не сводится к применению некоторого набо­ра стандартизированных форм и инструментальных средств к имеющемуся содержанию знания. Она включает в качестве своей важнейшей компоненты совершенствование само­го логико-категориального аппарата тестологии и тестометрии, что свидетельствует о по­явлении новых научных парадигм культуры мышления как в области конструирования тестовых материалов, так и в описании диалектического по своему характеру взаимодей­ствия содержательных и формальных средств и методов оценки УУД тестируемых.

Оценка качества тестовых утверждений

Исходными условиями и требованиями ПДТЗ обусловлены необходимость установле­ния тестируемым заключения – потенциальной возможности формирования им истинного утверждения. Требование ЭФТК (событие – причина) обязательно влечет за собой необ­ходимость вывода (явление – следствие). К обогащению простой схемы тестовых испыта­ний с фиксированной категорией трудности ПДТЗ привел путь уяснения неоднородного состава ЭФТК, когда в БТЗ хранятся задания разной меры трудности.

Связи между требованиями ПДТЗ и заключениями на них тестируемыми носят веро­ятностный характер, когда между причиной и следствием допускаются альтернативные оценки. При этом вид траектории поведения тестируемого зависит от стечения обстоя­тельств, от не поддающихся точному учету и анализу условий учебной среды. Таким об­разом, неконтролируемое событие (значение оценки) наступает как результат воздействия некоторых из неопределенно большого числа разнообразных и в точности неизвестных причин.

Формирование оценки происходит не хаотично: возможность ее значения, хотя и не жестко, не однозначно, но закономерно связана с совокупностью всех обстоятельств, при наличии которых наступает заданный результат. Главным компонентом этого причинного основания является состояние обученности тестируемого, его мотивация к установлению собственного (потенциального) уровня достижений и категория трудности предъявляемых ему ПДТЗ. Оценки трудности тестовых ситуаций уточняются в процессе экспертизы тес­товых материалов.

Процесс проведения экспертизы ПДТЗ по мере трудности включает три этапа:

·  отбор и формирование группы экспертов;

·  заполнение экспертами-предметниками эмпирической таблицы с указанием ка­тегорий трудности тестовых ситуаций;

·  обработка результатов, их анализ и интерпритация.

От качества подбора экспертов-предметников во многом зависит успех проведения экспертизы. На этом этапе устанавливается количество экспертов и определяется качество их заключений. Чем больше экспертная группа, тем более верные результаты оценок мо­гут быть получены. Однако, привлечение слишком большого числа экспертов, особенно при отсутствии возможности их отбора, нежелательно. В этом случае мнения каждого специалиста слабо влияют на конечные результаты, поэтому оценки компетентных экс­пертов размываются во множестве оценок малокомпетентных специалистов. Более того, чем больше экспертная группа, тем больше времени затрачивается не только на подбор специалистов, но и удорожается процедура проведения экспертизы.

Наконец, количество экспертов зависит от их квалификации. Если имеются несколько квалифицированных специалистов в исследуемой области знания, владеющих методами тестометрии, то не имеет смысла значительно увеличивать группу экспертов-предметников.

С учетом вышесказанного, группа специалистов должна включать от 5 до 13 человек. Рассмотрим вопрос установления компетентности экспертов-предметников. Это необхо­димо сделать для того, чтобы в разной степени учитывать личные оценки выбранных спе­циалистов при вычислении групповых оценок.

Для отбора экспертов-предметников можно использовать специальную тест-анкету. Отвечая на вопросы теста, специалист должен показать свои знания в области анализа ка­чества тестовых ситуаций по конкретной области знания. Однако разработка анкеты-теста является процедурой трудоемкой, поэтому этот метод анализа компетентности оправды­вает себя только в тех случаях, когда для экспертизы привлекают более 10-ти специали­стов.

Если эксперты-предметники знакомы с деятельностью друг друга, можно применить меру взаимной оценки компетентности по некоторой шкале, например, от 1 до 10. Взаим­ные оценки компетентности представляются в виде квадратной таблицы, столбцом i кото­рой являются оценки, данные i экспертом всем другим специалистам из данной группы. Диагональные элементы таблицы принимаются одинаковыми для всех и равными любому неотрицательному числу (обычно bii=0).

Коэффициенты компетентности экспертов-предметников опреде­ляется решением векторного уравнения

Здесь λ – максимальное действительное собственное число эмпирической таблицы (матрицы) ||bii||).

Данные взаимной оценки компетентности экспертов позволяют выявить коалиции специалистов. Если подобное имеет место, то метод взаимной оценки компетенции ис­пользовать не целесообразно.

Анализ качества деятельности экспертов-предметников можно осуществлять no ре­зультатам оценок мер трудности тестовых утверждений, полученных непосредственно в процессе проведения экспертизы. Суть такого подхода заключается в том, что специалислы из данной группы, которые дали несогласованные с большинством экспертов оценки, получают низкие уровни своей компетентности и, соответственно, их оценки в меньшей степени учитываются при определении результатов экспертизы (или вообще не учитыва­ются).

Знание качества оценок эксперта Э; позволяет судить о степени его компетентности в формировании исходной таблицы ||C||. В таблице необходимо оставить мнения тех экс­пертов, которые имеют близкие в заданных вероятностных пределах суждения.

Для получения в окончательном виде эмпирической таблицы категорий трудности ПДТЗ необходимо удалить из исходной ||C|| экспертов, мнения которых по рассматриваемому вопросу считаются некомпетентными. В результате реализации этой процедуры полу­чается новая таблица ||W||.

Обработка экспертных данных по различным методам будет отличаться только про­цедурой определения шкальных значений оценок экспертов. Определение групповых оце­нок объектов, статистический анализ их верности требуют больших вычислений, поэтому для обработки предпочтений экспертов необходимо применять специальную компьютер­ную программу. Специалисты, которые будут использовать результаты экспертизы, должны участвовать в обработке, задавая требования к верности групповых оценок, ин­терпретируя результаты.

Прежде чем решать вопрос об установлении меры трудности тестовых заданий, не­обходимо четко уяснить математический и статистический смысл этого понятия. Ясно, что категория трудности ПДТЗ – понятие относительное. To, что трудно для одних, мо­жет оказаться легким для других. Так, например, тестовые задания, составленные по дис­циплине «высшая математика», и степень их трудности для специальности «Математиче­ские методы в экономике» отличаются от тестовых заданий по этой же дисциплине для специальностей «Менеджер» или «Финансы и кредит». В нашем случае логично устано­вить следующие интервалы качества программно – дидактических тестовых заданий (ПДТЗ):

0,1 < ПДТЗ < 1,5-легкое;

1,5 < ПДТЗ < 2,5 – средней трудности;

2,5 < ПДТЗ < 3 – трудное.

Приведем ПДТЗ различной категории трудности по математике для школьников.

1. Легкое тестовое задание

Площадь треугольника со сторонами: 5,7 и 8 равна...(результат округлить до первого после целой части десятичного знака).

Формулу Герона должен знать каждый выпускник школы:

В выполнении этого задания используется один концепт.

2. Тестовое задание средней трудности

Площадь шестиугольника равна сумме площадей шести правильных треугольников со сторонами (первый концепт).

Площадь каждого правильного треугольника можно найти по формуле

Заключение: площадь шестиугольника равна 6.

3. Трудное тестовое утверждение

Тестируемый должен уметь правильно составить уравнение параболы с вершиной, проходящей через точку (1,1). Это уравнение имеет вид:

y = l + (x – l)2 (первый концепт).

Тогда искомая площадь вычисляется за 60 – 100 сек. Респондент должен знать форму­лу определения площади (первый концепт) и уметь вычислить интеграл (второй концепт). Площадь равна

Задача по определению категории трудности множества тестовых ситуаций относится к тому научному направлению, которое занимается исследованием массовых явлений. Та­ким научным направлением является статистика. Только при изучении и статистической обработке информации можно делать конкретные выводы о мере предпочтения (трудно­сти) того или иного тестового утверждения.

Но оказалось, что современная математическая статистика не способна выполнить по­ставленную задачу. Не способна решить потому, что сам термин «категория трудности» не является мерой количественной. Мера трудности тестовой ситуации — понятие каче­ственное.

Параметрическая статистика, начиная с ее основоположника Карла Пирсона, основа­теля журнала «Biometrica» (1900), полностью построена на законах распределения число­вых случайных величин. Наиболее популярным было и по сей день остается нормальное (гауссово) распределение. Но, как показали многочисленные исследования последних двадцати лет, нормальных распределений в природе практически просто не существует. Особенно это касается признаков, отражающих образовательные, экономические, соци­альные, политические, психологические и другие явления. Как выяснилось, даже ошибки измерений не подчиняются нормальному распределению. Но тем не менее, именно эта теория, к сожалению, до сих пор продолжает использоваться основной массой тестологов.

Исходный объект в параметрической (количественной) статистике – это выборка из некоторой генеральной совокупности. В вероятностной теории статистики выборка — это совокупность независимых одинаково распределенных случайных величин, а элемен­ты выборки – это числа.

В связи с этим можно было бы процитировать аргументированные заключения многих современных ученых – практиков о том, что классический многомерный статистиче­ский анализ, основанный на нормальности, в принципе неприменим ни к одному практическому исследованию. Так, например, из работы (Липецкий государственный технический университет), которая так и называется – «О ненормально­сти нормального закона распределения» (http://elcomet. *****/synerg/ syn__2.htp); проци­тируем всего лишь один абзац: «Мы настаиваем на том, что одномерное распределение Гаусса является слишком частным практическим случаем, чтобы занимать центральное место в статистической теории. И что многомерное распределение Гаусса почти абсо­лютно несостоятельно для практического использования: Гауссовость предполагает линейную взаимосвязь составляющих, но нелинейность как принцип объективной реально­сти, пожалуй, на данный момент уже признана бесспорно.»

Из сказанного с достаточной ясностью можно сделать вывод о том, что к статистиче­ской обработке даже количественных значений признаков следует подходить с большой осторожностью. Очевидно, что степень обученности индивида не может быть выра­жена количественно, а меру трудности тестовых заданий также нельзя измерить числом.

Именно поэтому следует предостеречь экспертов, преподавателей, учителей и тестологов о неправомерности использования методов современной параметрической стати­стики для обработки нечисловых значений этих и подобных им качественных признаков. Любые попытки определения всякого рода вероятностных «доверительных интервалов» или установления взаимосвязи между признаками, отражающими категорию предпоч­тительности тестовых заданий или степень обученности тестируемого методами клас­сической статистики, мы считаем неправомерными.

В связи с этим в последние годы появилось новое и перспективное направление под названием «Статистика объектов нечисловой природы», которая занимается анализом и обработкой многомерных признаков, значения которых могут иметь произвольную (как числовую, так и нечисловую) природу. Статистика объектов произвольной природы ре­шает задачу поиска единой категории меры для всех разноименных показателей иссле­дуемых объектов (систем), так как различные параметры становятся сравнимыми только после того, как они сведены к одному и тому же основанию (началу). Только как выраже­ния одного и того же единства они являются одноименными (однородными), следова­тельно, соизмеримыми величинами [25].

Что же является таким единым основанием этого нового подхода? Нам представляет­ся, что выход из этого положения есть. И он заключается в том, чтобы определить общее основание всех систем через древнейшую и фундаментальную категорию человеческого познания – категорию качества. На протяжении многих веков понятие «качество» суще­ствовало как неопределяемая «данность». По мере прогресса науки и практики та часть качественного анализа, которая представляет собой «элементарный анализ», все более сращивалась с количественными и мерными характеристиками и явлениями.

Поскольку элементы системы КАТ являются объектами произвольной природы, то процесс установления УУД тестируемого связан с оценкой его поведения. В основе коли­чественных методов оценивания лежит понятие переменной (величины) – число. Устано­вить количественное значение УУД тестируемого – значит указать действительное место этого количества на порядковой шкале, т. е. положение в системе чисел и отношения к ним. Косвенный метод определения количества – оценивание. Количественные измене­ния внутри каждой триады оставляют испытуемого в заданном классе обученности и ото­бражаются индивидуальными баллами на перцентильной (процентильной) шкале порядка. Значения баллов позволяют ранжировать тестируемых по уровню их учебных достиже­ний.

Качественная граница УУД индивидов объективна – она определяется отношением конкретной степени тестируемых внутри данного уровня обученности образа к другому уровню-интервалу обученности. Меняется отношение – меняется и качество. Обращение к посредничеству количественных методов оценивания служит в нашем случае цели каче­ственного предсказания результата КАТ. Качественная шкала оценки использует предпо­ложение о равенстве степени обученности тестируемых внутри одного уровня-интервала. Качественная сторона оценки выражается ее названием – классом (например, почти от­лично, хорошо, и т. д.).

Если количественное определение состояния обученности эмпирического объек­та есть оценивание (вычисление), то качественное установление УУД есть узнава­ние, классификация. Это отнесение поведения индивида к образу является аналогом от­несения его поведения к какому-либо уровню-интервалу шкалы. Система классов играет в качественных методах ту роль, что и деление шкалы в количественных. Эти деления мо­гут быть организованы в иерархическую систему. Аналогичным образом и качественная классификация носит иерархический характер, и, следовательно, можно говорить о более высоком и менее высоком классах УУД индивидов.

Практика убедительно подтвердила тот факт, что при управлении образовательными системами удобнее пользоваться не количественными, а качественными значениями признака. Вопрос заключается только в том, каким должно быть оптимальное число каче­ственных значений признака.

Во многих случаях для оценки деятельности социальных систем и их элементов ис­пользуют только два качественных уровня «да» и «нет». Например, качественная оценка социальной организации или должностного лица может быть «удовлетворительной» или «неудовлетворительной». Качественный уровень учебных достижений студента определя­ет преподаватель (управляющий орган). Здесь принято использовать четыре качествен­ных уровня обученности: «неудовлетворительно»; «удовлетворительно»; «хорошо»; «отлично». Преподаватель ставит качественную оценку «удовлетворительно» студенту, который едва вытягивает на «тройку» и точно такую же качественную оценку получает тот сту­дент, количество знаний которого больше первого, но еще недостаточное для перехода на следующий качественный уровень. Подобные качественные оценки эксперт или ЛПР – лицо, принимающее решение, – может поставить и за различные количественные показа­тели значений признака меры трудности тестовых ситуаций.

Таким образом, значения признака, отражающие категорию трудности тестовых зада­ний, степень обученности тестируемых и непротиворечивость суждений экспертов о кате­гориях тестовых утверждений, имеют не количественную, а качественную основу. Однако важно в процессе экспертизы ПДТЗ установить компетентность экспертов, поскольку при установлении предпочтительности тестовых суждений следует опираться только на согла­сованные мнения специалистов.

Мы приходим к выводу, что существующие методы экспертных оценок, основанные на методах параметрической статистики, непригодны для решения поставленной нами за­дачи. Необходимо разработать другой метод.

Алгоритм оценки качества работы экспертов

Большинство задач, возникающих при управлении (адаптации, оценки) процессом КАТ, используют в той или иной степени экспертную информацию. Это объясняется тем, что между математическими моделями и реальными ситуациями, которые эти мо­дели описывают, существует, как правило, некоторые неопределенности, и мы не мо­жем утверждать, что применение того или иного теоретического или эмпирического знания всегда приводит к верному решению.

В ряде случаев эксперт является единственным источником информации, с исполь­зованием которой Принимается ответственное решение. Поскольку мы имеем дело с элементами эмпирических систем адаптивного тестирования, то возникает необходи­мость развития методов качественного анализа данных и методов принятия решения на основе экспертной информации.

Мы далеки от той мысли, что квалиметрический подход может быть использован для оценки поведения или состояния объектов произвольной природы одним числом. Подобное, как подчеркивал профессор , наблюдалось лишь в эпоху работор­говли, когда состояние человека оценивалось в единицах рыночной стоимости

Формальное решение задачи установления качества (смысла и меры трудности) ПДТЗ возможно лишь после того, как эксперты или группа независимых экспертов сформируют эмпирическую таблицу оценок трудности всех тестовых ситуаций. Успех этой операции зависит не только от выбранной математической модели обработки ре­зультатов экспертной информации, но и от того, насколько удачно подобран коллектив специалистов. Таким образом, наряду с определением показателей ЭФТК возникает задача оценки согласованности мнения членов экспертной группы, например, о кате­гории трудности представляемых тестовых утверждений. Задача решается с помощью применения специального алгоритма вычисления сходства мнения всех экспертов группы.

Каждому эксперту-предметнику тестологи поясняют, по какому принципу необхо­димо присваивать заданиям ту или иную качественную категорию трудности. Естест­венно, что экспертам неизвестны оценки, присвоенные разработчиками, и каждый экс­перт не знает о существовании другого (независимые эксперты).

Эксперты должны присвоить меру предпочтительности каждому из заданий. Дру­гими словами, разложить задания на три класса трудности. Реализацию алгоритма оп­ределения степени согласованности мнений экспертов (оценки непротиворечивости их суждений) рассмотрим на примере установления категории трудности для десяти ПДТЗ.

ПРИМЕР 1.

Приглашены восемь независимых экспертов. Результаты их качественной экспертизы десяти тестовых заданий представлены в табл.1. Требуется определить степень согласо­ванности не менее четырех мнений экспертов о категории трудности каждого ПДТЗ.

Данная задача относится к статистике объектов нечисловой природы, в которой рас­сматривается признак, значения которого могут быть только качественно оценены, а не измерены количественно. Для нашего исследования мера трудности тестовых заданий может быть оценена только качественно: «лёгкое —1», «среднее — 2», «трудное — 3».

Таблица 1

Эксперты

Номера тестовых заданий

1

2

3

4

5

6

7

8

9

10

Качественные оценки экспертов

1

1

2

2

3

1

1

3

3

1

2

2

3

1

1

1

3

3

1

1

3

3

3

2

3

3

3

1

1

2

3

2

2

4

3

2

1

2

3

2

1

2

3

1

5

2

3

2

2

2

1

3

2

2

2

6

2

3

2

3

1

1

3

3

2

2

7

2

3

3

1

3

3

1

1

3

1

8

3

1

2

3

1

3

1

1

2

2

Что же имеется в статистике для оценки степени согласованности или степени бли­зости объектов? К сожалению, следует признать, что на сегодняшний день ни в отечест­венной, ни в зарубежной литературе no статистике нет метрики, с помощью которой мож­но было бы оценить «степень близости» или «степень согласованности» объектов по сово­купности общих для этих качественных значений признаков.

Если мнения m экспертов, указавших ранжирования альтернатив, совпадают, сумма рангов для наиболее предпочтительной альтернативы равна m, следующая за ней по предпочтительности 2m и т. д. При экспертизе n тестовых ситуаций сумма рангов для наи­менее предпочтительной альтернативы составит величину nm.

Сумма квадратов отклонений всех сумм рангов от среднего значения равна m2 (n3 – n)/12.

Ясно, что S для любой совокупности m ранжирований n ПДТЗ не превосходит вели­чину m2(n3 – n)/12. Более согласованные мнения экспертов по мере трудности тестовой си­туации имеют значения S близкие к m2(n3 – n)/12. Чем больше разногласий, тем суммы рангов ближе к величине m(n+l)/12, а значение S приближается к 0 (согласованность мнения экспертов отсутствует). Для оценки согласованности оценок результатов экспер­тов-предметников в научной литературе предлагается использовать формулу коэффици­ента ранговой конкордации английского статистика Кендалла (1904) (см., например, . Экспертная информация, «Радио и связь», M., 1982г):

Но, к сожалению, эта формула к согласованности суждений экспертов никакого отно­шения не имеет. Поясним это на дополнительном примере 2.

ПРИМЕР 2.

Два независимых эксперта (m=2) анализируют категорию трудности трех тестовых за­даний (n=3) и дают им свои качественные оценки. Результаты экспертизы приведены в табл.2.

Таблица 2

Эксперты

Номера тестовых заданий

1

2

3

Качественные оценки экспертов

1

1

2

3

2

3

2

1

Требуется определить степень согласованности мнений экспертов по совокупности категорий трудностей всех трех тестовых утверждений.

Из табл. 2 видим, что заданиям 1 и 3 эксперты присвоили диаметрально противопо­ложные качественные оценки. Степень согласованности экспертов по этим двум заданиям равна нулю. Но, несмотря на эту частичную несогласованность, по тестовому заданию 2 экспертами достигнута абсолютная согласованность – 2 и 2.

Но так как по одному из трех заданий экспертами достигнута согласованность, то лю­бой специалист по экспертным оценкам скажет, что общая согласованность по категориям трудности трех ПДТЗ должна быть равна одной третьей – W = 1/3.

Определим степень согласованности суждений экспертов по формуле Кендалла.

Эксперты

Задания

1

2

3

1

1

2

3

2

3

2

1

Сумма рангов

4

4

4

Квадрат суммы рангов

42 = 16

42 =16

42 = 16

Сумма квадратов отклонений . Следовательно, W=0, т. е. суждения экспертов в данном примере совершенно не согласованы. В действительности W= 1/3. Этого примера вполне достаточно для того, чтобы утверждать, что формула Кен­далла к согласованности мнений экспертов о мере трудности ПДТЗ никакого отношения не имеет.

Для решения примера 1 нас, прежде всего, интересует оценка качества статистической процедуры. В данной книге мы ограничимся рассмотрением метрики B. B. Красильникова, которая позволяет установить сходства между классами трудности тестовых утверждений, когда функциональный вид распределений, участвующих в задаче, неизвестен.

Новый метод отбора экспертов

Классическая и современная теория тестов своим тезисом о «количественной нагруженности» эмпирических данных искаженно интерпретируют факт, который они косвен­ным образом считают общепризнанным: единство эмпирического и теоретического зна­ния. Большинство специалистов в области тестологии, утверждая, что количественная (традиционная) статистика является основой для обработки эмпирических данных, вступают тем самым в противоречие с основной гипотезой об обусловленности этих данных содержательными (концептуальными) предпосылками.

Это крайне зауженное истолкование процесса тестирования продиктовано субъекти­вистским отрицанием философской теории отражения, согласно которой истина не есть просто корректный логический вывод, а представляет собой адекватное воспроизведение поведения или показатель качества эмпирического объекта в познании. Обработка резуль­татов заключений специалистов о значениях параметров эмпирических тестовых материа­лов (ЭФТК, КФТ, KCT3) только на основе методов традиционной прикладной статистики идеалистическая концепция, поскольку она отвергает информационно-эпистемологическую интерпретацию работы с эмпирическими объектами нечисловой природы, а, следовательно, и практику как определяющую основу процесса установления согласованности мнений экспертов.

На основании изложенного выше можно утверждать, что изучение объектов нечисло­вой природы (поведения тестируемых и качества KCT3) приводит к новому познанию процессов тестовых испытаний, вскрывая их содержание и условия анализа, ведет к по­стижению конкретных форм всеобщности. Это значит, что эмпирическое исследование в своей конечной фазе может достигнуть такого уровня, когда оно преступает собственные границы и переходит в область теоретического познания. Следовательно, эмпирика не только описывает, анализирует процессы тестовых проверок, но и обобщает их многооб­разие, применяя общепризнанные виды абстракции, вскрывая качественно различные свя­зи, открывая необходимые, закономерные отношения.

Заметим, что не только постсовременная теория КАТ, но и значительная часть законов физики, химии, биологии и других наук определена эмпирическими законами. В них за­коны представляют собой методы познания существенных, повторяющихся, отличающих­ся в границах конкретных условий постоянством отношений, хотя в самой объективной реальности не существует различия между эмпирическими и теоретическими законами.

Если исследование атрибутов объектов произвольной природы открывает конкретные законы, то из этой констатации следует вывод, что существует и феноменологическая теория описания эмпирических процессов КАТ. И в этом смысле переход от эмпиричес­кого познания изучаемых нами объектов и процессов к собственно теоретическому иссле­дованию становится обоснованным. Таким образом, информационно-эпистемологический анализ эмпирического познания путем выявления многообразия содержательных форм и уровней описания объектов нечисловой природы приближает гипотетическое к теорети­ческому, не стирая качественного различия между ними.

При решении задачи установления экспертами меры трудности ПДТЗ успех во многом зависит от того, насколько удачно сформулирована таблица образов. Однако в настоящее время нет разработанных методов и процедур, с помощью которых в рамках какой-нибудь формальной модели эффективно решалась бы проблема формулирования образцовых по категории трудности ЭФТК. Поэтому при решении ее в тестологии используется опыт од­ного или группы экспертов-предметников. Ввиду того, что в практической деятельности число экспертов ограничено, бывает трудно избежать определенной доли субъективности при установлении образцов.

Теоретическое знание не может полностью и исчерпывающе отобразить содержание формализуемых объектов нечисловой природы. В свое время К. Гедель доказал, что воз­можности замены содержательного рассуждения формальным выводом ограничены и то, что понимается под процессом математического доказательства, не совпадает с примене­нием строго фиксированных и легко верифицируемых правил вывода.

Поэтому формализация процедуры обработки субъективных заключений экспертов, во-первых, предполагает достаточно высокий уровень развития методов тестологии и тестометрии, а также серьезные исследования на предыдущих этапах развития научного зна­ния. Во-вторых, для построения формальной системы экспертизы ПДТЗ необходимо в терминах естественного языка сформулировать логические правила, выработать относительно их определенные утверждения, в которых фигурировали бы содержательно-интуитивные рассуждения, опирающиеся на значение и смысл используемых терминов. В-третьих, правдоподобная теория описания свойств и поведения объектов нечисловой природы служит своеобразным «образцом», от степени соответствия которому зависят в значительной мере достоинства формализованной теории. В частности, класс выводимых в теории экспертных оценок теоретических положений должен совпадать с классом со­держательно истинных свойств (поведения) подвергшейся формализации теории (обрат­ное, как правило, неверно).

Формализации может быть определена как совокупность познавательных операций, обеспечивающих отвлечение от содержания понятий с целью исследования логических особенностей изучаемого параметра объекта. Подобная возможность внутреннего развер­тывания содержания теории экспертной оценки базируется не непосредственно на основе данных научных наблюдений, а путем определенных мыслительных операций с идеали­зированными объектами, которые делают теорию эффективным средством решения фун­даментальных задач, связанных с вычислениями близости заключений экспертов.

Опишем подход, позволяющий уменьшить степень необъективности экспертов в оценки показателя трудности тестовых суждений, включаемых в БТЗ. Подход основан на применении некоторой качественной меры, называемой степенью верности оценки каче­ства деятельности экспертов и вычисляемой в рамках формальной модели конкордации (согласованности) В. Красильникова [25].

Пусть дана эмпирическая матрица ||C|| оценок экспертов на тестовые задания. Каждое значение cij элемента матрицы указывает меру трудности i-го задния, данную j-м экспер­том, причем i = – номера тестовых заданий, j = – номера экспертов, , где k – максимально возможная оценка категории трудности тестового утверждений. Ограни­чимся тремя значениями (k=3): a) cij=I, задание считается легким; б) cij =2, задание средней трудности; cij =3, задание является трудным.

На основании матрицы ||C|| необходимо построить квадратную матрицу ||W|| размер­ностью т× т, где каждый элемент матрицы указывает степень сходства оце­нок трудности ПДТЗ экспертов x и у. Для решения задачи будем использовать формулу нахождения коэффициента сходства.

В качестве метрики в данной формуле выбрана дисперсия – сумма вариаций значений признака. Вычислим S(v), а затем Wxy для двух экспертов x и y.

Величина S(v) определяется как сумма дисперсий для каждой пары оценок тестовых заданий, т. е.

Дисперсия i-го задания:

Подставляя в (2), а затем и в (1), находим

При k=3 получим

В числии (4) ведется суммирование квадрата разности оценки двух экспертов для всех заданий. Очевидно, что максимальное расхождение мнений двух экспертов будет в случае, когда один из них присвоил конкретному заданию оценку «легкое ТЗ», cij = l, а другой эксперт дал этому же ПДТЗ оценку – «трудное ТЗ», cij = k. Т. е. в случае полного расхождения предпочтений двух экспертов по всем заданиям числитель вычитаемого пре­вращается в и становится равным знаменателю. В результате получим меру сходства равную 0. Если оценки двух экспертов совпали, т. е. , получаем в числителе 0 и мера сходства мнений экспертов становится равной 1.

Следует обратить внимание на тот факт, что формула (1) содержит параметр k, кото­рый отражает число качественных уровней или число категорий трудности. Эта формула пригодна не только для оценки степени согласия мнения экспертов. Она может быть ис­пользована для оценки степени согласованности любых многомерных объектов, заданных совокупностью общих для этих объектов как количественных, так и качественных значе­ний признаков. С увеличением числа экспертов верность результата оценки сходства воз­растает.

Отметим и тот факт, что эта формула определяет процент сходства объектов по сово­купности общих для этих объектов значений признака, а для нашего примера – процент согласованности мнений экспертов.

Для данных примера 2 по формуле (2) найдем реальную степень согласованности.

В этой таблице дисперсия D определяется по формуле

Тогда сумма квадратов отклонений мнений экспертов S(υ) = l + 0 + l = 2. Следовательно,

т. е. степень согласованности экспертов по совокупности всех трех заданий равна 1/3. Заметим еще раз, что (1) дает именно процент согласованности – 33,3%, что совпадает с логичной процедурой оценки согласия экспертов дополнительного примера. Следуя этому подходу, для данных табл. 1 найдем степень согласованности восьми экспертов по совокупности 10 заданий:

W(k) = 0,391.

Полученный результат говорит о том, что мера согласованности их мнений составляет всeгo 39,l%.

ВЫВОД – мнения экспертов не согласованы. Надо ли искать других экспертов?

Эксперты

1

2

3

4

5

6

7

8

1

1

0,375

0,875

0,475

0,850

0,925

0.300

0,550

2

0,375

1

0,450

0,800

0,625

0,450

0,625

0,775

3

0,850

0,450

1

0,600

0,875

0,950

0,525

0,625

4

0,475

0,800

0,600

1

0,725

0,600

0,775

0,725

5

0,850

0,625

0,850

0,725

1

0,925

0,650

0,600

6

0.925

0,450

0.950

0,600

0,925

1

0,425

0,575

7

0,300

0,625

0,525

0,775

0,650

0,425

1

0,600

8

0,55

0,775

0,625

0,725

0,600

0,575

0,600

1

С использованием (2) составим матрицу парных сходств оценок восьми экспертов (табл. 3).

Таблица 3

Из табл. 3 видно, что степень близости (сходства) парных оценок экспертов (1, 3, 5, 6) составляет 92,5 – 95% или, как «говорит» кластерный анализ, эти эксперты входят в один и тот же класс «родственных» объектов (экспертов).

Эксперты (2 и 4) входят в другой кластер со степенью сходства их суждений на уров­не 80%.Мнения экспертов 7 и 8 несогласованны как между собой, так и e мнениями ос­тальных специалистов-предметников. Посмотрим теперь на степень согласованности оце­нок пар экспертов из разных кластеров:

·  согласованность мнений 1-го и 2-го экспертов составляет всего лишь 37,5%.;

·  согласованность мнений 2-го и 6-го – 45%;

·  согласованность мнений 3-го и 4-го – 60%.

Таким образом, мнения экспертов из разных таксонов совершенно не согласуются с практически единодушным мнением половины экспертов, входящих в первый кластер (1, 3, 5, 6), суждения экспертов (1,3,5,6) являются близкими, и этих специалистов бу­дем считать компетентными.

Следует помнить, что при исключении из экспериментальной группы специали­стов-предметников, мнения которых не согласуются с суждениями большинства, могут быть отсеяны как неквалифицированные лица, так и эксперты с оригинальными мыс­лями. Поэтому стремление обеспечить заданною согласованность мнения экспертов по категории трудности ПДТЗ любой ценой может приводить к необоснованному реше­нию.

Установление меры трудности

Если теперь удалить из общей группы 2, 4, 7 и 8-го специалистов-предметников и вновь определить степень близости оценок оставшихся четырёх экспертов (1, 3, 5, 6), то по формуле (1) получим W(k) = 0,875 или 87,5%. Мы получили приемлемое значе­ние коэффициента сходства суждений четырех экспертов, тем более, что коэффициен­ты их парных сходств больше или равны 92,5%. Тем самым решена и вторая задача ус­тановления согласованного мнения компетентных экспертов о категории трудности представленных тестовых ситуаций. Результаты суждений этих экспертов сведены в табл. 4.

Таблица 4

Эксперты

Номера тестовых заданий

1

2

3

4

5

6

7

8

9

10

Качественные оценки экспертов

1

1

2

2

3

1

1

3

3

I

2

3

2

3

3

3

1

1

2

3

2

2

5

2

3

2

2

2

1

3

2

2

2

5

2

3

2

3

1

1

3

3

2

2

Средние оценки

1,75

2,75

2,25

2,75

1,25

1,00

2,75

2,75

1,75

2,00

Округлив средние оценки до ближайшего целого, получим табл. 5.

Таблица 5

Номера тестовых заданий

1

2

3

4 5

6

7

8

9

10

Средние степени трудности тестовых заданий

2

3

2

3

1

1

3

3

2

2

сред­няя

труд­ная

сред­няя

труд­ная

легкая

легкая

труд­ная

труд­ная

сред­няя

средняя

Разработанный алгоритм решил поставленные нами задачи отбора компетентных экс­пертов и определения меры трудности тестовых заданий. Полученный результат можно сравнить с оценками трудности, присвоенными автором этих тестовых заданий, и прийти к общей близости мнений. Естественно, что опытный эксперт-предметник потратит на просмотр и оценку ста тестовых заданий намного меньше времени, по сравнению со вре­менем, затраченным разработчиком на составление этих ПДТЗ. Таким образом, времен­ные и денежные затраты на экспертизу сравнимы с затратами на формирование банка ПДТЗ.

Качество ПДТЗ, подготовленных разработчиками и оцененных экспертами (по приве­дённой методике), дополнительно проверяются на репрезентативной группе студентов в реальных условиях. Одной из форм эмпирического исследования является научный экс­перимент. Его непосредственная цель определяется исследовательским поиском, незави­симо от того, что ожидаемый или запланированный результат может быть практически полезным продуктом. В отличие от научного наблюдения эксперимент предваряется соз­данием особых условий, исключающих влияние побочных обстоятельств и позволяющих тем самым наблюдать эмпирический объект исследования, так сказать, в чистом виде. Это достигается с помощью специального отбора групп тестируемых, обладающих априорно установленными УУД. Здесь экспериментатор действует подобно теоретику, который отвлекается от всякого рода сопутствующих обстоятельств, затемняющих процесс установ­ления реальной категории трудности ПДТЗ. Научный эксперимент, следовательно, пред­ставляет собой исследовательскую процедуру, которая позволяет подтвердить или опро­вергнуть результаты предварительного установления меры предпочтительности тестовых ситуаций, полученных экспертами.

Эксперименты, проводимые в постсовременной теории КАТ, требуют качественных инструментальных средств и рациональных методов управления, соединяющих опредмеченным образом теоретическое знание и эмпирическое исследование. Управление такими средствами и работа с ними предполагают специальную подготовку не только в конкрет­ной предметной области, но и в тестологии. Это – диалектическая целостность, единство тождества и различия, в котором примат в зависимости от условий проведения тестовых проверок и объектов исследования принадлежит то одной, то другой стороне.

ПРИМЕР 3

Для наглядности проверки категорий трудности ПДТЗ поместим в БТЗ 10 тестовых заданий. Каждому заданию присвоим номер с указанием категории трудности.

Протестируем группу из 10 студентов. Результаты тестирования поместим в табл. 6, где 1 – тестируемый правильно ответил на вопрос; 0 – не ответил или дал неверное заклю­чение.

Таблица 6

Номера тестируемых

Номера тестовых заданий

1

2

3

4

5

6

7

8

9

10

1

0

1

0

0

0

1

0

0

1

0

2

1

0

0

0

1

1

0

0

1

0

3

0

0

1

0

1

0

0

0

0

0

4

1

0

1

0

0

1

0

0

0

1

5

0

0

1

0

1

0

0

0

1

0

6

0

0

0

0

0

0

0

η

1

7

1

0

1

1

1

1

1

0

1

8

1

1

0

0

1

1

0

0

1

9

1

0

1

0

1

0

0

1

1

10

0

0

0

0

1

0

0

1

η

% ответивших P(i)

50,0

20.0

50,0

10,0

80,0

70,0

20.0

10,0

50,0

50,0

Ср

Тр

Ср

Тр

Лёг

Лёг

Тр

Тр

Ср

Ср

В табл. 6 приведены проценты правильных и ошибочных заключений тестируемых на требования десяти ПДТЗ.

Группа экспертов установила следующие границы трудности задания X(i):

P(i) < 20% – если ответивших верно менее 20%, то задание считать «грудным» (Tp);

20% < P(i) < 50% – задание «средней» трудности (Ср);

P(i) > 50% – задание считается «лёгким» (Лёг).

Сведем процент корректности заключений испытуемых в отдельную таблицу.

%

50,0

20,0

50,0

10,0

80,0

70,0

20,0

10,0

50,0

50,0

Ср

Тр

Ср

Тр

Лёг

Лёг

Тр

Тр

Ср

Ср

Рисунок наглядно отражает согласованность степени трудности ПДТЗ с процентом тестируемых, которые дали корректные заключения на задания различной категории трудности.

ПРИМЕЧАНИЕ. Испытуемые должны быть объединены в равные по количеству под­группы отличников, хорошистов и троечников, выбранных по ведомости результатов сда­чи ими последнего экзамена по конкретному предмету.

Завершая изложение этого раздела замечаем, что создание методологических правил конструирования ЭФТК и установление меры трудности тестовых суждений в основном получены на основе эмпирического знания. Сущность эмпирической теории состоит в объяснении тех или иных логичных ситуаций, когда наше внимание концентрируется на имеющихся фактических данных. Так, например, Рене Декарт в «Правилах для руково­дства ума» сформировал 21 правило для метода.

K. O. Гемпель ввел в философскую логику две схемы объяснения: дедуктивно-номологическую и индуктивно-номологическую. В первой схеме объясняемые поло­жения (экспландауны) следуют из объясняющих (экспланантов). При индуктивно-номологическом объяснении построения методологических правил роль «общезначимых законов» выполняют правдоподобные гипотезы, поэтому правила следуют из экспланан­тов с некоторой вероятностной частотой. В свете такого подхода становится возможной следующая структура объяснения действий проектировщика ЭФТК: «разработчик ПДТЗ находится в определенной ситуации. В то же время он является рационально действую­щим лицом, которое знает и умеет применять логичные (содержательные) правила конструирования свернутых кратких суждений. В ситуации подобного типа он обязательно свои действия подчиняет правилам. Поэтому проектировщик с высокой вероятностью сделает корректные тестовые утверждения».

Методологические правила придают мышлению разработчика ПДТЗ системность и строгость, стремясь превратить процесс конструирования тестовых ситуаций в формали­зованную систему. Мера соответствия смысла и значения тестовой ситуации содержанию фрагмента учебного материала определяется триадой представления знания, куда входят синтаксис, семантика и прагматика. Семантика характеризует правила установления смысла и значения тестового суждения. Форма мышления тестируемого регулируется правилами синтаксиса и определяет систему конструирования и передачи содержания тестового утверждения. Наборы и последовательность действий индивида на требование представляют прагматические правила.

Правильность конструкции ПДТЗ покоится на корректности образования суждения. Суждение признается целостным элементом анализа с логических и логичных позиций. В первом случае оно является элементарной единицей оценки – ПДТЗ есть то, что может быть истинным либо ложным. С логичных позиций тестовая ситуация служит единицей утверждения или отрицания.

Таким образом, свернутые краткие тестовые суждения задаются определенными фор­мализмами и образуют системы знаний, включающие отношения между:

·  тестируемыми и знаками (семантика);

·  знаками и деятельностью респондентов (прагматика);

·  формами представления тестовых ситуаций (синтаксис).

Иными словами, конструирование банка ЭФТК представляет собой описание содер­жимого некоторого диапазона знаний, а также наличие таких форм представления тесто­вых суждений, которые гарантируют, что методологические правила проектирования со­держания ПДТЗ и стандартные формы отображения этого содержания способны обеспе­чить (с заданной валидностью) корректное преобразование исходного знания в систему свернутых кратких тестовых утверждений. Согласно логике, универсальными способами упорядочения тестовых ситуаций считаются индуктивная и дедуктивная их организация.

Традиционные методы прикладной статистики, которые применяются в теории тестов, предс. тавляют собой формы всеобщности, распространяющиеся, однако, на ограниченную область объектов и процессов, которые могут быть описаны тем или иным идеализиро­ванным законом или понятием. Рассмотрение качественного отличия традиционной и постсовременной теории тестирования друг от друга не занимает пока еще надлежащего места в информационно-эпистемологических исследованиях. Нет необходимости доказы­вать, что описания эмпирических систем различной природы (социологии, образования, экономики и т. п.) не образуют дедуктивные системы.

Постепенная формализация правдоподобного качественного знания позволяет шаг за шагом приближаться ко все более полному выражению содержания через его форму. Примером этого может служить закономерный переход от качественных рассуждений об оценке деятельности экспертов к точному языку систематизированного коэффициента конкордации, своеобразному типу концептуальных построений мер сходства.

IV. СОДЕРЖАНИЕ, СОДЕРЖАТЕЛЬНОСТЬ, ЛОГИЧНОСТЬ

Тестовое задание как элементарный феномен культуры представляет собой особую форму утверждения, то есть знание о неизвестном. Умение конструирования ПДТЗ пред­полагает применение системы методологических правил и стандартов, показывающих, каким образом, в каких ситуациях, с помощью каких средств и для достижения какого ре­зультата могут применяться те или иные культурные нормы деятельности. В соответствии с правилами ЭФТК есть приписывание термину, смысл которого известен, другого терми­на, обозначающего свойство или отношение, смысл которого в принципе тоже должен быть известен тестируемому. Только в силу известности всех понятий ПДТЗ можно оце­нивать как истинное или ложное.

Формально краткое тестовое суждение определяет правило выполнения корректного заключения и записывается в виде:

(W и WL) → L.

Правильное выполнение ЭФТК имплицирует корректный вывод. Логические операто­ры (, → читаются соответственно «включает» и «влечет, следует») подчеркивают, что L выводимо из W. В такой интерпретации суждения выражение WL имеет значение «ложь» только тогда, когда W истинно, а заключение тестируемого L ложно.

Однако по правилам формальной логики человек мыслит сравнительно редко. Да и основная задача теоретической логики отнюдь не дидактическая, а научная. Она необхо­дима для создания общезначимых теорий, где логичные правила играют не основную роль. Содержательные правила относятся к компетенции методологии науки, когда тре­буется установить истинность смысла суждений, правила конструирования ПДТЗ, логич­ность тестовых ситуаций и т. п.

При конструировании ПДТЗ необходимо предварительно уточнить проблемную си­туацию, которую следует разрешить в процессе превращения фрагмента учебного мате­риала в краткое истинное суждение. Для этого можно пользоваться правилом Π12.

Π12: истинность тестового утверждения должна оцениваться исходя из выбранных эпистемологических посылок, определяемых спецификой области знания, упроще­ний и идеализации.

Из этого правила видно, что истинность Э ФТК относительна к принятым посылкам. Последние представляют собой идеализацию отображения содержания конкретной облас­ти знания, упрощения, которые всегда сопровождают любое ее модельное представление. Поэтому модель ПДТЗ всегда проще оригинала и учитывает только существенные для за­дания параметры фрагмента учебного материала. Например, классическая физика прини­мает свои эпистемологические посылки, а квантовая механика – другие. Поэтому у этих областей знаний различная природа истинности, а значит, при конструировании ПДТЗ не­обходимо учитывать теоретические посылки, с помощью которых формулируются эти за­дания. Аналогично геометрия Евклида и Лобачевского имеют разную интерпретацию терминов «точка» и «линия». Истинность одной теории основана на одних эпистемологи­ческих посылках, а истинность другой – на качественно иных.

Отсюда следует практическая рекомендация: при конструировании ЭФТК прове­ряйте действительный смысл и значение входящих в них терминов. При этом следует помнить, что корректность ПДТЗ зависит не только от содержания посылок, но и от цели, для которой формулируется тестовое утверждение.

Например, в эпистемическом плане интересно понять, как компьютерные программы распознают образы. Концептуальную основу построения теории зрительного восприятия составляет утверждение, что нейрофизиологические процессы, реализующие зрение, мо – гут быть описаны математическими уравнениями, хотя сам процесс зрения является пси­хологическим, а не нейрофизиологическим. Это означает, что для конструирования тесто­вого утверждения требуется четко знать, какие посылки положены в основу рассматри­ваемой проблемы. С философской точки зрения можно утверждать, что компьютеры вос­принимают зрительные образы не тем способом, как это делает человек. Но с прагматиче­ской точки зрения результаты восприятия становятся все более адекватными.

Конструируя ЭФТК о возможностях компьютерного мышления, следует помнить, что мышление – уникальная способность человека, а компьютерное мышление – модель ин­теллектуальной деятельности человека. В интеллектуальной деятельности целеустрем­ленный объект оперирует гештальтами (целостными образами) – неразложимыми компо­нентами мышления, механизмы формирования которых неизвестны. Компьютер работает с числами, целостность гештальта – непреодолимое интеллектуальное препятствие для компьютера. Поэтому при формировании тестового суждения по фрагменту темы искус­ственного интеллекта необходимо ясно ориентироваться, на каком контексте (философ­ском, математическом, инженерном) оно будет рассматриваться тестируемым.

Процесс формирования корректных заключений на требования ПДТЗ сопряжен у те­леологического объекта нечисловой природы с преодолением трудностей интеллектуаль­ного плана, с разрешением противоречий, заложенных в процессе проектирования тесто­вых утверждений. Формирование учебной ситуации начинается с того момента, когда тес­тируемый видит задание на экране дисплея. «Мыслить человек начинает, когда у него возникает потребность что-то понять» (). Ощутив какое-то затруднение, индивид, прежде чем приступить к его преодолению, осознает значимость проблемы для себя, т. е. соотносит необходимость выполнения правильного заключения с личными це­лями деятельности и вырабатывает свое мотивационно-ценностное отношение к содержа­нию и требованию ПДТЗ. Если необходимость формирования истинного суждения осоз­нается и содержательная сторона учебной проблемы привлекательна для тестируемого, то (при наличии у него заданной степени обученности) под действием обоих мотивов – субъ­ективной ценности корректного вывода и познавательного интереса к проблемной тесто­вой ситуации – контент и требование задания переходят во внутренний план деятельности индивида, приобретают для него личностный смысл. Учебная тестовая ситуация для рес­пондента превращается в его собственную проблему.

Отправляясь от античного мышления к теории гносеологии и далее к информацион­ной эпистемологии, удалось подняться до понятия того, что процесс создания проектан­тами ЭФТК происходит в соответствии с нормами культурной деятельности. Раскрывая сущность культуры мышления, мы установили, что конструирование тестовых суждений происходит благодаря обобщению эмпирических знаний и мыслительного эксперимента, рассматриваемых в контексте целенаправленной и осмысленной деятельности [8-10]. Во второй части книги мы также доказали, что суждение – это мысль, выраженная в содер­жании ЭФТК, в котором нечто утверждается об отношениях или процессах, являющаяся объективно либо истинной, либо ложной. Там же подчеркивалось, что к числу ПДТЗ не относятся формы мышления, которые не могут быть охарактеризованы с точки зрения ис­тины или лжи (вопросы, определения и т. п.).

Как специфическая форма мышления каждая проблемная тестовая ситуация характе­ризуется содержанием, содержательностью и логичностью. Содержание (контент) ПДТЗ отражает его смысл (знание того, что и о чем утверждается) и значение (его истинность или ложность) и выражается в виде совершенного повествовательного предложения (свернутого краткого суждения). Безусловно, что не всякий контент фрагмента учебного материала может быть адекватно представлен в виде тестовой ситуации. Можно утвер­ждать, что содержание БТЗ по конкретной учебной дисциплине – модель исходного мате­риала, как всякая кония, беднее своего оригинала, хотя связь между ними неоспорима.

Особого внимания и существенного пересмотра традиционных подходов к содержа­нию ЭФТК требует проблема учёта семантических аспектов теории информации. Под ceмантикой понимается содержание информации, заключённое в системе знаков, образую­щих ПДТЗ. Если форма представления задания устанавливает синтаксис ЭФТК, то содержаниеопределяет семантику тестового суждения.

Учение о двойственном отношении формы к содержанию было развито еще Гегелем. В этом смысле мы будем изучать форму, пронизывающую содержание – субстанциаль­ную рациональность – и форму безразличную к содержанию (формальную рациональ­ность). Содержательная форма означает внутреннюю организацию смысла и значения фрагмента конкретного знания, без которого последнее не может существовать. Суть культуры логичного мышления выражается не в том, что оно формально преобразует имеющееся содержание предметной области, а в том, что оно синтезирует новое содержание в виде свернутого краткого тестового суждения. Здесь переход от одной суб­станциальной рациональности к другой происходит через форму этого содержания, в от­личие от формальной рациональности, которая инвариантна по отношению к смыслу и значению области знания.

Под содержанием ПДТЗ подразумевается совокупность передаваемых с их помощью знаний, оценок, представлений фрагмента учебной дисциплины. У контента ЭФТК есть два главных параметра – форма и объем. Различные стандартизированные объемы пред­ставления тестовых ситуаций изложены во второй части книги из данной серии, а формы – в четвертой части книги. В зависимости от языка представления содержания различают вербальную и невербальную коммуникацию между тестируемым и квазисубъектом. Вер­бальное содержание ПДТЗ представлено системой знаков (слов, формул, символов), а не­вербальное – связано с использованием свернутых тестовых суждений в виде рисунков, графиков, таблиц и т. п.

Содержание тестового задания адекватно отражает события, предметы или процессы деятельности разработчиков и образует основную часть ЭФТК, представленного в кон­кретной стандартизированной форме, отвечающего единству его смысла и значения, а также связей между понятиями. Контент и форма существуют в единстве, причем содер­жание ЭФТК превалирует над структурой, несмотря на активность последней. Эта цело­стность проявляется в том, что определенное содержание задания представляется испы­туемому в материальной форме и имеет установленную меру трудности (значение). Удач­но спроектированное ПДТЗ, адекватно отражающее содержание фрагмента конкретного задания, способствует максимальной различающей способности задания, ясности и четко­сти его смысла. Нет бесформенного содержания, и не существует структуры ЭФТК, ли­шенной смысла. Утверждения Гегеля, Маркса и Энгельса о диалектическом единстве со­держания и формы как фактора организации того или иного фрагмента объекта познания составили основу классической и современной теории тестов.

Контент фрагмента учебного материала всегда формируется разработчиком в кон­кретные строения тестовых суждений, отображается системой знаков, выражающих связь исходных данных (посылок) и требований. Эта система отображения тестовых ситуа­ций имеет свои законы и правила проектирования, она непрерывно обогащается новыми формами по мере развития стандартов и инструментальных средств. Хотя содержание тестовых утверждений по формам своего выражения становится все более символиче­ским, в своем значении эти искусственные образования ясно и кратко отражают объек­тивное знание. Целостное содержание тестового суждения, несводимое к значениям составляющих его знаков, образует смысл ПДТЗ.

Тестовое суждение выполняет функцию отображения в систему знаков определенного свойства или отношения. При этом приписываемые содержанию ЭФТК свойство или от­ношение известны заранее. И в этом контексте содержанием суждения является знание того, что и о чем конкретно утверждается в тестовом задании, а также его истин­ность или ложность.

Анализ контента ПДТЗ испытуемым с фиксированной степенью обученности может рассматриваться как творческий процесс, если его изучение – путь к пониманию и к последующему рассуждению. Этот процесс един по своей природе, его структура остается инвариантной к любому содержанию тестового утверждения. Понимание сущности и тре­бований ЭФТК тестируемым означает его умение приблизить к себе отчужденную систе­му знаков, способность «найти в чужом свое и найти самого себя новым в чужом». При этом не должно возникать различных толкований содержания тестовых ситуаций как со стороны проектировщиков ПДТЗ, так и со стороны тестируемых. Можно утверждать, что качество заключения телеологического объекта на требование свернутого тестового суж­дения представляет собой его отношение к содержанию ЭФТК и связано с убеждением или сомнением индивида в истинности или ложности формируемого им утверждения.

В изложенном контексте содержание проектируемого ЭФТК выступает как объект тщательного изучения и спецификации разработчиком исходного учебного материала, а его формирование в виде ПДТЗ – как предмет изобретения, подразумевающего умение проектанта находить адекватные этому контенту стандартные формы представления тес­товых суждений. Это утверждение соответствует реальности, если разработчик конструи­рует ЭФТК не просто как четкое расположение тестовой ситуации на экране дисплея, а пытается создать гармоничное сочетание конкретной формы и содержания задания с на­глядностью. Не случайно Н. Бор () называл понятием «дополнительным к Исти­не, не Ложь, а Наглядность». По характеру отображения контент ПДТЗ представим знако­выми моделями (текстовыми, графическими, звуковыми), смыслы и значения которых вы­ступают как представители различных областей духовной культуры. Модель любого тес­тового утверждения задается в исходных посылках и требованиях, связана с величиной энтропии ЭФТК, причем определяющим фактором в данной ситуации выступает коррект­ный вывод пропонента, необходимый для снятия этой неопределенности.

Способность разработчика к созданию свернутых форм представления ПДТЗ лежит в основе целостного представления ситуации, когда исходная сложность части предметной области «превращается» в единое качество-содержание. В таких ЭФТК расширение вос­приятия содержания тестового утверждения эмпирическим объектом достигается благо­даря применению законов эстетики. Источником идей и примером для подражания в этом случае является искусство, которое остается «наиболее эффективным средством познания человеческой души во всей ее сложности и индивидуальной неповторимости». В части II мы особо отмечали, что при конструировании проблемных тестовых ситуаций желательно смысл и значение задания сводить к качественно новому целостному представлению фрагмента учебного материала. Свернутое краткое ПДТЗ воспринимается в сознании тес­тируемого как качественное своеобразное представление, не нуждающееся в разложении на элементы. Содержание свернутых ЭФТК – новые эмпирические элементы, которые входят в понятийную спецификацию и в композиции ПДТ. Такие принципиально новые качества организации контента ЭФТК открывают путь к рациональному отображе­нию содержания области знания, их появление составляет главный момент развития компьютерной технологии.

Основой построения культурного семантического пространства тестирования являет­ся парадигма особенностей восприятия и конструирования смысловых и значимых струк­тур ПДТЗ, где тестируемый более активно реагирует и адекватно осознает, прежде всего, содержание исходных понятий тестовых посылок, а не его строение (форму).

Умение ясно и явно отображать содержание проблемных тестовых ситуаций в стан­дартизированных формах складывается у разработчика в процессе опыта. По этому пово­ду Ф. Бэкон писал «Чтение делает человека знающим, беседа – находчивым, а привычка записывать – точным». Точность выражения контента ПДТЗ в адекватной для него струк­туре – искусство и профессионализм тестолога.

Перед проектированием содержания ПДТЗ разработчик должен знать (или задать) цель создания банка тестовых заданий (БТЗ). Эта цель ставится для того, чтобы сразу кон­кретизировать основной замысел проведения адаптивного тестирования и информировать пользователей, какого рода результаты будут достигаться при использовании создаваемой им культурной системы тестовых заданий (KCT3). Формулировка требований, предъяв­ляемых к тестовым заданиям, должна отражать результат компьютерного адаптивного тестирования (КАТ) и определять логическую организацию содержания БТЗ. Наименова­ние KCT3 должно полностью детерминироваться приложением ее результата[1,14].

Из сказанного следует, что для проектирования банка ПДТЗ предварительно должно быть проведено соответствующее исследование, структурирован учебный материал, по­лучена его ясная и конкретная понятийная спецификация [1]. Не имея предварительного результата КАТ (отбор, отсев, типологическая классификация и т. п.) и спецификации KCT3, ничего нельзя сказать о содержательной валидности KCT3. Если уровень специфи­кации приводит к тестовым ситуациям оптимальной энтропии для объектов нечисловой природы с различными степенями обученности, то редукцию содержания тестовых мате­риалов можно закончить и приступить к проектированию смысла и значения каждой кон­кретной тестовой ситуации.

В [35] приведен пример структуризации философского понятия причинности в объек­тивной действительности. Результатом укрупненной редукции являются следующие раз­делы и параграфы.

Раздел 1. Причинность в неорганической природе

§ 1 .Микропричинность

§ 2. Макропричинность

§ 3. Мегапричинность

Раздел 2. Причинность в органической природе

Раздел 3. Причинность в обществе

Это разбиение, является основой для дальнейшей корректной спецификации KCT3 о причинности в масштабе областей Вселенной. Дальнейшая декомпозиция разделов и па­раграфов до понятий и фактов приводит к спецификации тестового материала.

При формировании содержания ПДТЗ разработчик, встретившись с новой ситуацией, начинает с догадки. Первая версия задания может не устроить его, и он будет вынужден изменить контент ПДТЗ. В конечном счете, используя методологические правила конст­руирования ЭФТК, после некоторых попыток и модификаций, он может прийти к удовле­творительному решению. Если проектант знает правила создания ПДТЗ различной меры трудности, то он в определенной мере предвидит результат и у него имеются шансы на успех. Проблема состоит в том, что нужно научиться догадываться. В этом отношении могут оказаться полезными примеры ЭФТК, приведенные в приложении. Знание правил упорядочивают действия разработчиков, дают их догадкам «ориентированные обобще­ния». Результат творческой работы проектанта – содержательное и логичное ПДТЗ, кото­рое достигнуто с помощью правдоподобных рассуждений, с помощью догадки.

Мало сомнений в том, что обычный индуктивный прием состоит в обобщении утвер­ждений путей изучения их частных следствий. Нельзя утверждать, что индукция приводит разработчика к окончательному заключению. Но она способствует принятию им рацио­нального решения. Напомним, что Эйлер, используя метод индукции, сделал открытия о бесконечных рядах в теории чисел и в других областях математики. Это подтверждают и догадки Данте (1265 – 1321) «Круг – наиболее совершенная фигура»; Рене Декарта «Круг имеет наименьший периметр из фигур с одинаковой площадью»; лорда Рэлея «Из десяти мембран, имеющих одну и ту же площадь, первая, круглая мембрана, имеет наиболее низ­кий основной тон»; Д. Пойа «Из всех плоских фигур равного периметра наибольшую площадь имеет круг». Подобные примеры использования индуктивных методов читатель мо­жет найти в [33].

В соотношении между формальной правильностью (которую несут обобщенные пра­вила) и содержательной истинностью (содержательностью и логичностью ЭФТК) ведущая роль должна принадлежать последней. Критерием истинности здесь выступают результа­ты тестовых испытаний, когда в процессе КАТ устанавливается реальная мера трудности ПДТЗ и достигается заданная цель тестовых проверок.

По содержанию различают три вида ПДТЗ:

·  информационно-отражающие;

·  проблемно-эвристические;

·  развивающие.

Первый вид ПДТЗ не содержит в себе требований к разрешению каких-либо про­блемных ситуаций. Отношение уровня достижений тестируемого к содержанию ЭФТК выражается здесь в понятии отражения, когда от индивида запрашивается информация лишь о знании определенного факта, объективная истина которого в принципе доступна целеустремленному объекту с фиксированной степенью обученности – испытуемому. Информационное отражение связано с возможностью воспроизведения тестируемым за­ключения в гносеологическом смысле, когда оно понимается как способность получения адекватных требованиям ЭФТК действий индивида. Этот вид заданий базируется на ней­рофизиологическом отражении, которое предполагает наличие у элемента эмпирической системы представлений или знаний для достижения значимой для него цели. ПДТЗ, пред­ставленные на основе информационных заданий, обладают низкой категорией трудно­сти.

Содержание проблемно-эвристических ЭФТК предполагает такую проверку состоя­ния обученности, при которой тестируемый применяет научный способ формирования ис­тинного суждения, планирует поиск концептов и при возможности генерирует коррект­ный вывод. Подобного вида проблемные тестовые ситуации обязательно включают в себя какое-то предварительное умение или навык путей разрешения индивидом реальных си­туаций. Это могут быть результаты теоретических и эмпирических знаний, верность кото­рых установлена ранее. Здесь прошлый опыт телеологического объекта нечисловой при­роды в разрешении проблемы является основой проверки его знаний и умений для фор­мирования корректного заключения. Стандартные задания данного типа содержат в каче­стве основного признака дедуктивные правила, формулы и положения, которые однознач­но представлены известными алгоритмами.

Проблемно-эвристический метод предполагает такую проверку УУД, при которой тестируемый применяет научный способ формирования истинного содержания, планирует поиск и генерирует корректный вывод. Моделями проблемно-эвристических ЭФТК явля­ются знаковые суждения, которые строятся с помощью естественного и логико-математического языка. Источник активности респондентов находится здесь в противоре­чиях между имеющимися у них знаниям и необходимостью разрешения проблемных учебных ситуаций. Познавательное ПДТЗ формируется таким образом, чтобы его форму­лировка не подсказывала прямого способа нахождения истинного суждения, а прошлый опыт индивида не содержал бы готовой схемы решения.

Проблемно-эвристическое отражение связано с активной внутренней работой объекта нечисловой природы при формировании схемы его поведения. Здесь от индивида требует­ся наличие глубоких знаний и умений, опирающихся на всякого рода автоматизм, моби­лизация его схемы поведения на основе применения известных теорий или методов необ­ходимых для разрешения проблемных тестовых ситуаций. Чем труднее ПДТЗ, тем в большей степени опосредуется эффект воздействия на тестируемого контента тестовой ситуации, тем больше степеней свободы имеет респондент в построении корректного вывода. Эти тестовые испытания предполагают активную внутреннюю работу, поиск пра­вильного заключения и ориентировку в проблемной ситуации.

Разумеется, осуществляя целенаправленное действие, тестируемый опирается на имеющиеся знания и прошлый опыт. Однако это представляет собой необходимое, но не­достаточное условие для построения прагматически корректного вывода на требование ПДТЗ. Основанием для его конструирования, выступающим интегратором имеющихся ресурсов отражения, их синтезирования в истинное суждение, является реальное ориенти­ровочное движение в действительности. Умения формулировать истинные контексты, ко­торые мобилизуют уже «закодированную» в нервной системе схему поведения, превраща­ет их в навыки. В любом случае решение проблемных тестовых ситуаций строится здесь благодаря установлению для тестируемого новых отношений и связей между знаками, ко­торые выделяются объектом или образом в качестве средства для формирования верного следствия.

Именно поэтому проблемно-эвристические ЭФТК обладают большей мерой трудно­сти, чем информационно – отражающие. Если в первом случае основой для формирования истинного тестового суждения требуется психическое отражение ЭФТК, то во втором – эффектом мобилизации внутренних отражающих ресурсов выступает более низкий уро­вень нейродинамического мышления, основанного на синтезе учебного материала (зна­ние теоретических положений, синтез фактов и т. п.).

Наибольшей различающей способностью обладают ПДТЗ, построенные на основе развивающего метода. В развивающе-вопросном способе преподавания достиг совер­шенства один из крупнейших философов – Сократ. Содержание подобного рода заданий требует от тестируемого наличия развитого индуктивного мышления, когда оказывают­ся недостаточными уже имеющиеся ресурсы отражения, а известные из прошлого дедук­тивные методы не позволяют разрешить конкретные тестовые ситуации. Развивающие ПДТЗ предполагают активный поиск новых подходов к формированию концептов и заключения, причем построение схемы формирования вывода обязательно предполагает не только ориентировку разработчика и тестируемого в заданной ситуации, но и применение логичного мышления. Эти ЭФТК требуют от позиционеров наличия креативного мышле­ния, которое отталкивается от предшествующего знания содержания учебного материала.

Накопление фактов переходит в догадку – первоначальное предположение для фор­мирования контента ПДТЗ и корректного вывода. Здесь способности и опыт разработчика, строй его критического мышления влияют на догадки и воспринимаются как «озарения». Переход от догадки к гипотезе, в основе которой лежит путь формирования корректного развивающего ПДТЗ, – характеристика глубокого рационального мышления проектанта.

Типовое выполнение развивающего задания, как правило, отсутствует, и от телеоло­гического объекта требуется формирование нового знания. Этот вид ЭФТК обладает наи­большей различающей способностью и требует творчества и от их разработчиков, и от тестируемых. Развивающие ЭФТК должны быть по возможности предельно наглядными, чтобы объекты нечисловой природы могли «увидеть» регулярность и установить зависи­мость, которую от них требуется получить. Умение извлекать и воссоздавать из накоп­ленной информации корректные тестовые ситуации данного вида – показатель уровня культуры логичного мышления индивида. Креативность выступает здесь как творческий акт, как компактный способ «консервации знания» и умений применять их в практической деятельности, как искусство проектирования корректных нестандартных тестовых утвер­ждений.

Для формирования заключений на требование учебных развивающих ПДТЗ тестируе­мый должен создать или изобрести неизвестные ему ранее правдоподобные схемы. Здесь эмпирический объект или образ сталкивается с принципиально новыми учебными ситуа­циями, не имеющими точных аналогов в его прошлом опыте. Это вынуждает индивида работать с полной отдачей творческих сил и служит механизмом приспособления поведе­ния объекта нечисловой природы к выработке новых приемов деятельности, что является важным условием развития у него критического мышления. Воспроизводимые сознанием проектанта и тестируемого связи и отношения о содержании развивающих ЭФТК приоб­ретают логичные функции и носят характер правдоподобных рассуждений. Эти логичные рассуждения подразумевают целенаправленное, стройное и последовательное формиро­вание разработчиком трудных ПДТЗ, а объекта или образа значимых мыслительных уси­лий для достижения желательных успехов (см. стр.215).

Из за большого объема эта статья размещена на нескольких страницах:
1 2 3 4 5 6 7 8 9 10 11 12