План-проспект книги
«ПРАКТИЧЕСКАЯ ТЕСТОЛОГИЯ:
Тестирование в образовании, прикладной психологии и управлении персоналом»
(планируемый примерный объем – 39 п. л., или более 700 страниц;
планируемый срок выпуска – второй квартал 2013 года)
Данный план-проспект состоит из четырех разделов:
1. Цены и способы оплаты.. 1
2. Оглавление. 2
3. Об авторе. 10
4. Аннотация. 10
1. Цены и способы оплаты
Цены.
По желанию пользователей-заказчиков сразу же сообщаем, что номинальная (базовая) цена книги в 2013 году – 700 рублей. Но с помощью предоплаты (или более ранней оплаты) можно получить скидки. Вот таблица цен с учетом скидок, с учетом стоимости электронной версии и доплаты за доставку по почте (если она требуется)
Дата оплаты | Твердая копия без электронной копии | С электронной копией | Доплата за доставку почтой (не нужна при «самовывозе» из офиса) | Итого (в скобках цена с электронной копией) |
до 1 июня | 385 руб | 434 | 100 руб | |
до 1 сентября | 595 руб | 644 | 100 руб | |
после 1 сентября | 700 руб | 749 | 100 руб |
Приобретение автономной электронной копии (без твердой копии) станет возможным после реализации тиража твердой копии (1000 экземпляров). Цена автономной электронной копии – 99 рублей.
Способы оплаты.
Предусмотрены различные виды Интернет-платежей, а также оплата по квитанции сбербанка. Все реквизиты (номера счетов и т. п.) доступны после саморегистрации покупателя на сайте книги в системе HT-LINE.
2. Оглавление
Предисловие (или краткая аннотация) 3
Благодарности. 4
Введение: Тесты могут быть полезны и… вредны.. 16
Глава 1. Определения и классификация. 31
1.1. Что такое тест и тестология?. 32
Житейское и научное понимание. 32
Краткое и полное определение. 37
Тест в ряду других методов: наблюдение, эксперимент, опрос, анкета. 43
Тест как часть исследования и часть обследования. 47
Предмет и объект тестирования. 50
Предмет и объект тестологии. 53
Тестирование как одна из возможных оценочных процедур. 54
Определение понятия «тестовая система». 56
Практическая тестология как организационно-технологическая дисциплина. 59
1.2. Основные метрологические понятия тестологии. 60
Психометрические тесты и их отличие от квазиизмерительных тестов. 60
Ключи, нормы, сырые и стандартные тестовые баллы.. 64
Психометрические свойства тестов в самом простом изложении. 67
Надежность. 67
Валидность. 69
Репрезентативность. 70
Достоверность. 70
Краткие определения психометрических параметров теста. 71
Прагматическое значение психометрических параметров теста. 71
Различение надежности и валидности. 74
1.3. Какие бывают тесты (классификация) 78
Образовательные, медицинские, профессиональные и психологические тесты.. 79
24 основания для классификации тестов и тестовых заданий. 83
Являются ли проективные методики тестами?. 96
1.4. Место тестов в ряду комплексных систем обследования и оценивания. 98
Тесты и экспертные оценки. 99
Достоинства и недостатки тестов. 103
Тесты и кадровый ассессмент (метод Центра Оценки) 106
1.5. Тестирование и принятие решений. 109
Модели принятия решений: житейская логика и одношкальный подход. 110
Недостатки аддитивных моделей принятия решений. 112
Формула взвешенного рейтинга. 114
Подсчет рейтинг-процента с помощью лимитов по критериям.. 116
Формула близости к идеальному профилю и «логический коридор». 119
Планирование этапов тестирования «от целей». 122
Глава 2. Конструкция и конструирование измерительных тестов. 126
2.1. Компоненты теста и порядок их создания. 127
Примеры ключей к психологическим и образовательным тестам.. 128
Порядок разработки компонентов теста. 131
НОРТ: статистические тестовые нормы.. 134
КОРТ: критериальные тестовые нормы.. 136
«Прозрачность» квалификационного теста как один из целевых критериев. 140
2.2. Этапы конструирования и проведения практического теста. 143
Этап 1. Постановка и уточнение задачи в организационном контексте. 143
Этап 2. Методическое решение: статистическая модель теста. 146
Этап 3. Спецификация, или структурная модель теста. 149
Этап 4. Выбор организационно-технического решения. 154
Этап 5. Авторский цикл подготовки банка тестовых заданий. 155
Этап 6. Экспертный цикл подготовки банка заданий и вариантов. 156
Этап 7. Первичная апробация теста. 164
Этап 8. Оргтехническая подготовка тестовой сессии. 165
Этап 9. Пилотное тестирование. 169
Этап 10. Массовое обследование. 171
Этап 11. Шкалирование, баллирование и анализ достоверности результатов. 175
Этап 12. Ревизия теста на основе углубленной статистической обработки. 177
Специфика этапов для коммерческих тестов. 178
2.3. Тест как объект интеллектуальной собственности и «секрет производства». 183
2.4. Процедура тестирования как сценарий и алгоритм.. 188
Предписывающая информационная технология. 189
Экспертная система. 192
2.5. Языковая и компьютерная адаптация теста. 193
Компьютеризация бланкового теста. 194
Чем локализация отличается от адаптации?. 196
Модификация и разработка аналога. 198
Охраноспособность отдельных компонентов теста. 200
2.6. Профессиональные стандарты и сертификация тестов. 202
2.7. Стандарты в области аттестационных экзаменационных технологий. 206
Глава 3. Разработка тестовых заданий и образцы заданий. 209
3.1. Оперативное конструирование КБТЗ (банка заданий) 210
Формирование авторского коллектива. 211
Инструкция (памятка) для авторов тестовых заданий. 213
Цель и задачи создания теста. 215
Условия работы авторов. 215
Нормативно-инструктивная база для создания тестовых заданий. 216
Техническое оформление заданий в электронной форме. 217
Четыре основных правила (для «памятки авторам») 219
Контроль трудности заданий на авторском этапе. 222
3.2. Когда нужны задания различных форматов?. 223
Задания с выбором единичного ответа. 224
Задания с множественными правильными ответами. 226
Задания на ранжирование и соответствие. 230
Задания с кратким свободным ответом.. 234
Задания с развернутым ответом и свободным структурированным ответом.. 235
Задания с рисуночным ответом.. 238
Кластер вопросов на понимание одного текста. 241
Контекстная вставка. 242
3.3. Логико-семантическая типология тестовых заданий. 243
Простейшее деление на 3 категории. 245
Более полное деление на 15 категорий вопросов: 245
Фактологические и персонологические. 246
Терминологические и концептуальные. 246
Логико-теоретические. 247
Методические, конструктивные, процедурные. 250
На понимание текста. 251
Задания типа «кейс» (случай из жизни) 252
3.4. Рефлексивные игры и психологика испытуемых. 253
Социальная желательность ответов. 256
3.5. Особые технические проблемы при разработке заданий. 257
Частотно-классификационные таблицы тестовых заданий. 257
Двух - и трехсимвольная нотация тестовых заданий. 258
Тематические кластеры заданий в кейс-тестах. 259
Несовместимые и фасетные задания. 260
3.6. Коррекция заданий на основе статистики. 263
Осторожно: завышенные коэффициенты дискриминативности. 268
Глава 4. Математическая тестология. 271
4.1. Элементарный матминимум практического тестолога. 271
Подсчет баллов с поправкой на случайное угадывание. 272
Процентильные шкалы и процентильные нормы.. 275
Гаусcовская модель и стандартные шкалы.. 281
Форсированная нормализация и конверсионные таблицы.. 285
Ошибка измерения и надежность теста. 288
Числовой пример расчета надежности по формуле Рюлона. 292
Корреляционные методы измерения надежности и валидности теста. 295
Четырехклеточная корреляция. 302
4.2. Элементы современной психометрики (IRT) 309
Шкала логитов и метафора взвешивания. 309
Модель Раша и однопараметрические алгоритмы IRT. 314
Характеристические кривые тестовых заданий (ICC) 316
Двухпараметрические алгоритмы IRT. 320
4.3. Рекомендации по измерению психометрических свойств теста. 322
Измерение надежности. 322
Измерение внешней валидности. 324
Измерение репрезентативности (от фр. – перепроверка тестовых норм.. 327
Измерение устойчивости распределения оценок. 330
Измерение достоверности. 331
Диссертабельность психометрических исследований. 337
4.4. IRT-модели за пределами тестов на знания и способности. 338
Модифицированная модель Раша для ресурсных кейс-тестов. 339
IRT-модель для диагностики стилистических черт и установок. 344
4.5. Важные прикладные формулы.. 352
Оптимальная трудность тестовых заданий в тестах с выбором ответа. 352
Подсчет баллов с учетом трудности тестовых заданий. 353
Глава 5. Организационно-технологическое обеспечение тестовых систем.. 362
5.1. Системный подход к внедрению тестов в организации. 362
Различение понятий обучающей и тестовой системы.. 363
Признаки автоматизированной системы тестирования (TMS) 367
Организационно-управленческая модель тестовой системы.. 367
Электронный документооборот при создании TMS (АСТ) 369
Электронные онлайн-опросы на этапе подготовки TMS (АСТ) 373
Кадровое обеспечение и организационные роли. 374
5.2. Классификация программных средств практической тестологии. 376
Инструменты подготовки тестовых заданий (IWS-программы) 376
Конструкторы, или редакторы тестов (TCS-программы) 381
Тест-плейеры для реализации тестового диалога (TDS-программы) 384
Инструменты психометрического анализа результатов (IRT-программы) 390
Инструменты управления тестированием (ТМS-программы) 394
Экспертные системы интерпретации результатов тестирования (EIS) 399
Программы управления ассессментом (AMS) 401
5.3. Особенности компьютерного тестирования в эпоху Интернета. 404
Самотестирование в Интернете и проблема достоверности. 406
Телетестинг и модель «онлайн-обработка». 410
Веб-портфолио результатов тестирования. 411
Распределенные базы тестов и тестовых заданий в Интернете. 414
Виртуальные профессиональные сообщества тестологов. 417
Проблемы супервизии и аутентификации испытуемого. 421
5.4. Модели, алгоритмы и подходы в компьютерном тестировании. 422
Случайный выбор из банка заданий. 422
Контроль времени на компьютерах. 425
Адаптивное тестирование (AT-алгоритмы) 427
Компьютерные тесты контекстной вставки. 435
Имитационно-игровое моделирование и его ограничения. 438
Новые возможности для контроля достоверности. 440
5.5. Компьютерная интеграция тестовых и экспертных оценочных процедур. 442
Куб данных и место результатов тестирования. 442
Альтернативные и сквозные подмножества факторов и критериев. 445
Мгновенное тиражирование сложных оценочных проектов. 448
Оперативное управление формулами расчета рейтинга. 449
5.6. Революционный переход к онлайн-тестированию.. 450
Глава 6. Валидность, рентабельность и достоверность психометрических тестов. 452
6.1. Проблема валидизации и виды валидности. 454
Экспертная валидизация по содержанию тестовых заданий. 454
Эмпирическая валидность различных тестов по внешнему критерию.. 456
Прогностическая валидизация. 460
Конструктная валидность. 463
Конвергентная и дискриминантная валидность. 465
Экспертная валидизация с помощью оценивания испытуемых. 469
Дискриминантная валидность тестовых баллов и экспертных оценок. 470
6.2. Валидность и эффективность профессиональной деятельности. 472
Различные KPI – откуда их брать и как сводить в единый показатель. 473
Дефекты субъективного оценивания на производстве и псевдо-KPI. 475
«360 градусов» как попытка объективизации субъективных оценок. 477
6.3. Упрощенная формула точности бинарного прогноза. 479
6.4. Рентабельность теста. 489
Простые формулы для расчета экономического эффекта тестирования. 489
Расчет рентабельности слабовалидного, но дешевого инструмента отбора. 491
Расчет рентабельности высоковалидного, но дорогого инструмента отбора. 493
Как считать эффективность через производительность труда. 494
6.5. Экологическая валидность и типы диагностических ситуаций. 499
Различение ситуации клиента и ситуации экспертизы.. 501
Мотивационные искажения, стратегии фальсификации, их признаки. 502
Эффект самоорганизующейся выборки (добровольцев) 504
6.6. Мотивационные искажения в тест-опросниках. 505
Что могут и что не могут шкалы лжи в личностных тест-опросниках?. 505
Ипсативные тест-опросники и их недостатки. 508
Четырехполюсная модель личностной черты.. 510
6.7. Технологии обеспечения достоверности. 513
Технический местный контроль достоверности. 514
Жесткие временные лимиты и стресс дефицита времени. 516
Утечка, списывание, подсказка, подставные испытуемые, подтасовка. 517
Существует ли рациональная этика честного тестирования?. 520
Глава 7. Внедрение тестов в систему вузовских экзаменов. 522
7.1. Тесты и традиционные оценочные процедуры.. 524
Устные экзамены глазами тестолога. 524
Являются ли письменные экзамены тестами?. 527
Опросы студентов и абитуриентов. 531
7.2. Текущий контроль с помощью оперативных онлайн-тестов. 532
Система накопленных баллов. 532
Управление доступом к тестам, имеющим очковый вес в СНБ. 535
Трудности применения СНБ в условиях конкуренции между спецкурсами. 536
Адаптивное тестирование в тестах допуска «зачет-незачет». 537
Баллы самоконтроля или все-таки «данные для экзаменаторов»?. 541
7.3. Организация компьютерного тестирования на экзаменах. 542
Расписание и самозапись на сеансы тестирования. 542
Демоверсия, консультация, предварительная регистрация. 545
Должен ли экзаменуемый что-то подписывать?. 546
Соответствие между баллами и оценками. 547
Обратная связь после экзамена. 548
Апелляции по процедуре и содержанию экзамена. 549
А что, если «нет Интернета»?. 550
Как договариваться о вкладе тестовых оценок в итоговую оценку?. 551
Суммировать оценки или баллы?. 553
7.4. Опыт валидизации тестовых и традиционных испытаний. 554
7.5. Организационное обеспечение тестовых экзаменов. 563
Организация работы авторов и экспертов. 563
Сезонная организация работ по обновлению тестов. 567
Организация работы технического персонала. 568
7.6. Образцы нормативных документов. 569
Соглашение с автором-экспертом.. 569
Положение о конкурсе авторов тестовых заданий. 571
Памятка участнику компьютеризированного тестирования. 573
О порядке учета результатов тестового испытания. 576
О порядке выставления оценок на основе схемы СНБ (новый проект) 578
Образец ВЕДОМОСТИ с результатами тестирования. 580
7.7. Критический анализ системы ЕГЭ в России. 580
Глава 8. Социально-психологические проблемы внедрения тестовых систем.. 584
8.1. «Тест как оружие» – эвристическая метафора. 584
Обсуждение тестов в СМИ.. 585
В чем сходство теста и оружия?. 587
Тесты и экспертные оценки в логике принятия кадровых решений. 594
8.2. «Песнь о Вещем Олеге», или корни отвержения тестов. 599
Контекст, методика и результаты исследования установок студентов. 599
Форма и способ представления тестовой информации. 613
8.3. Личностная тревожность, экзаменационная тревожность и тестирование. 613
8.4. Компьютерная тревожность и тестирование. 625
8.5. Субъективная готовность испытуемых к оценочным процедурам.. 629
8.6. Тестирование и тестовые шкалы как инструмент конкуренции. 640
8.7. Природа, причины и факторы сопротивления тестам.. 643
8.8. Когда тесты в самом деле вредны.. 649
8.9. Профессионально-этические принципы тестолога. 652
Примеры путаницы и «этические конфликты». 655
Принципы и требования в ситуации обследования клиента. 656
Принципы и требования в ситуации профессионального тестирования. 658
Образец документа «информированное согласие». 660
ЗАКЛЮЧЕНИЕ: «Тест как лекарство». 661
БИБЛИОГРАФИЯ И ВЕБЛИОГРАФИЯ.. 665
ПРИЛОЖЕНИЯ.. 676
1. Словарь-глоссарий сокращений и основных терминов. 676
2. Контрольные вопросы.. 684
Вопросы к главе 1 «Определение и классификация». 685
Вопросы к главе 2 «Конструкция и конструирование». 686
Вопросы к главе 3 «Разработка тестовых заданий». 687
Вопросы к главе 4 «Математическая тестология». 689
Вопросы к главе 5 «Организационно-технологическое обеспечение». 690
Вопросы к главе 6 «Валидность, рентабельность и достоверность». 691
Вопросы к главе 7 «Внедрение тестов в вузы». 692
Вопросы к главе 8 «Социально-психологические проблемы». 694
3. Временный стандарт требований к психодиагностическим методикам.. 695
4. Предметно-именной указатель. 702
3. Об авторе
– доктор психологических наук, заслуженный профессор МГУ им. , научный руководитель Лаборатория и Центра тестирования «Гуманитарные Технологии» (сайты www. *****, www. *****, www. *****), член Экспертного совета Российского психологического общества и других профессиональных ассоциаций, включая международные. - разработчик психологических тестов и компьютерных тестовых систем, обладатель патентов и авторских свидетельств на систему тестирования «Телетестинг» (1998 год), систему тестирования «К-ЕГЭ» (2005 год), систему Интернет-сервисов HT-LINE (2010 год), многофакторные тесты «Профориентатор» (2008 год) и «Бизнес-профиль» (2010 год), а также другие методики и программные средства. С 1995 года входил в состав комиссии по тестированию при министерства образования Российской Федерации, а с 2001 года – в состав министерской комиссии по проекту ЕГЭ, им разработан сайт www. *****, а затем портал информационной поддержки ЕГЭ (www. ege. *****), но в 2006 году из-за принципиальных расхождений в вопросах методологии и подходах к внедрению тестовых экзаменов покинул состав этих комиссий, а позднее вышел из ученого совета ФИПИ – Федерального института развития образования.
4. Аннотация
Книга представляет собой практическое руководство, основанное на тридцатилетнем интенсивном опыте автора по созданию и внедрению тестов и компьютеризированных тестовых систем, а также преподаванию курса «Психологическое тестирование» на факультете психологии МГУ, начиная с 1981 года. Кому адресована эта книга? Эффективная тестовая система создается в настоящее время и внедряется благодаря содружественной работе специалистов, как минимум, пяти различных профилей, поэтому этим разным специалистам в разной степени будут интересны разные главы книги:
1) во-первых, практически ВСЕ главы этой книги адресованы тестологам-психометристам, которые осуществляют логико-математическое проектирование тестов, ставят задачу и организуют работу авторов тестовых заданий, помогают им осмыслить статистические результаты с целью совершенствования тестовых заданий; эти же специалисты в случае экспертных тестовых систем выполняют функции так называемых «когнитивных инженеров» и фактически возглавляют проекты по внедрению систем тестирования;
2) главы 1, 2 и 3 будут и полезны, и доступны предметным экспертам - авторам тестовых заданий, которые являются специалистами в конкретной предметной области; в случае психологических тестов эти авторы являются психологами, но в случае предметных тестов это специалисты из других наук;
3) главы 5, 6, 7 и 8 будут полезны менеджерам-управленцам, которые редко оказываются специалистами в двух предыдущих областях, но без них невозможно решить организационные, юридические и технические проблемы проведения тестов в конкретных организационных условиях,
4) главы 4 и 5 нужны математикам-программистам, которые обеспечивают компьютеризацию многих процессов по подготовке, проведению и обработке результатов тестирования (главное, чему научит их эта книга, – тому, чтобы они внедряли готовые инструменты, а не изобретали велосипеды);
5) главы 1, 7 и 8 адресованы организационным психологам-консультантам, призванным помочь персоналу любой организации адаптироваться к внедрению тестовой системы, а руководителям – не совершить грубых ошибок, связанных со скрытыми процессами сопротивления этому внедрению.
Основная задача книги - помочь перечисленным пяти различным типам специалистов нащупать общий язык для взаимопонимания и продуктивного взаимодействия. Книга снабжается компакт-диском, на котором собраны как полезные электронные таблицы (Эксель-модели), иллюстрирующие простейшие расчеты, необходимые в области практической тестологии, так и каталог полезных ссылок на важные Интернет-ресурсы. Последнее объясняет, почему в книге Вы не найдете того, что обычно ищут читатели, заинтересованные в тестах, - Вы не найдете конкретных тестов. Книга учит искать их в Интернете, причем искать не все подряд, а именно – качественные тесты, соответствующие требованиям тестологической науки, учит применять к оцениванию и выбору тестов научно-обоснованные критерии качества. Обладатели книги получат доступ к нескольким пробным бесплатным запускам психометрических тестов, разработанных в Лаборатории «Гуманитарные Технологии» (на новом сайте Лаборатории – www. *****).
Обладая большим опытом преподавания тестологии для студентов и слушателей с самой разной базовой подготовкой, автор старается писать о сложном простым языком, дополняя абстрактные понятия иллюстративными примерами и схематическими рисунками; материал каждой главы снабжается вопросами на понимание. В приложении - на компакт-диске - даются свыше двадцати Эксель-моделей, помогающих читателям освоить, а иногда и практически применить определенные расчетные психометрические процедуры. Зарегистрированные пользователи могут получить на сайте www. ***** электронную копию книги, снабженную личным идентификатором-паролем для защиты от несанкционированного распространения. Книга тесно взаимосвязана с дистанционным обучающим курсом «Квалификационное тестирование», который каждый читатель может пройти на сайте www. *****, выполняя там после каждого урока тестовые задании, упражнения на понимание текста, практические работы по созданию и управлению проектами тестирования.
