Методические указания и задания к лабораторным работам по курсу «Программные системы компьютерного обучения» (стр. 6 )

Тема: Определение статистических характеристик тестовых заданий

Цель работы: Овладение методикой статистической оценки характеристик тестовых заданий для оценки и мониторинга знаний и умений обучаемых.

Методические указания к выполнению лабораторной работы

Рассмотрим самые простые и необходимые процедуры статистической обработки результатов тестирования знаний и методы оценки качества теста в соответствии с классической теорией тестирования.

Обозначим через xij числовую оценку успешности выполнения j-го задания, выполненного i-м испытуемым. Результаты тестирования обычно представляются в виде матрицы {xij} с n строками и m столбцами (i=1,…,n; j=1,…,m). В практике тестирования принято, как правило, пользоваться дихотомической шкалой оценок результатов, когда множество возможных оценок состоит всего из двух элементов {0;1}: 0 – задание не выполнено, 1 – выполнено правильно. Это, конечно, не единственно возможная шкала. Расчет, однако, ведется по формулам, приведенным ниже, независимо от выбранной для оценок шкалы.

Процесс статистической обработки матрицы результатов тестирования будем рассматривать последовательно, по шагам.

· 1 шаг. Вычисляются индивидуальные баллы испытуемых yi (i=1,…,n), показывающие результат выполнения теста каждым студентом:

.

Поскольку для проверки статистических гипотез, которые применяются в классической теории тестов, используют предположение о нормальном распределении суммарных баллов испытуемых, то рекомендуется исследовать распределение частот. Для сравнения распределения баллов с нормальным можно использовать любой из критериев, применяемых обычно для этой цели.

· 2 шаг. Вычисляются средние результаты суммарных баллов испытуемых:

.

· 3 шаг. Вычисляются средние результаты испытуемых по каждому заданию:

.

Для дихотомических данных величины, вычисляемые по аналогичной формуле, обозначаются через pj и традиционно называются в тестологии мерой трудности задания j (j=1,2,…,m):

.

Заметим, однако, что чем больше величина коэффициента pj, тем большая часть испытуемых успешно справляется с заданием j. Так что на самом деле коэффициенты pj (j=1,2,...,m) должны интерпретироваться как показатели легкости заданий.

· 4 шаг. Вычисляется дисперсия и стандартное отклонение суммарных баллов испытуемых:

, .

· 5 шаг. Вычисляется дисперсия результатов испытуемых по j–ому заданию (j=1,…,m). Если успешность выполнения задания оценивается баллами 0 или 1, мера вариации определяется по формуле:

.

Когда множество оценок состоит из более чем двух значений, применима формула:

.

Вычислив дисперсию, можно найти и стандартное отклонение .

· 6 шаг. Определяется связь каждого j–го задания (j=1,…,m) с суммой баллов по всему тесту. Для этого можно использовать коэффициент корреляции Пирсона:

.

· 7 шаг.Определяется попарная корреляционная связь заданий между собой. Здесь тоже можно использовать коэффициент корреляции Пирсона rjk, (j, k=1, 2,…,m):

.

Для дихотомических оценок успешности выполнения заданий тот же результат можно получить, оценив эту связь посредством коэффициента корреляции (j, k=1, 2,…,m) для такого рода данных:

,

где A– количество испытуемых, верно выполнивших задания jи k; B, - количество испытуемых, верно выполнивших задание jи неверно - задание k; C - количество испытуемых, неверно выполнивших задание j и верно задание k; D - количество испытуемых, неверно выполнивших задания jи k.Очевидно, величины A, B,C и D вычисляются по формулам:

, ,,.

· 8 шаг. Вычисляется индекс Ij(j=1, 2, … m)дискриминативности задания, то есть его различающая способность, указывающая на возможность разделять отдельных испытуемых по уровню выполнения теста в целом. Для этого из общей совокупности испытуемых выделяют две подгруппы – тех, кто получил самые высокие суммарные баллы, и тех, кто получил самые низкие. Тогда индекс дискриминативности может быть определен как разность между относительными численностями испытуемых, правильно выполнивших задание jв этих двух подгруппах. Например, упорядоченную совокупность суммарных баллов делят на три части и сравнивают результаты выполнения каждого задания j первой и последней третями испытуемых. В этом случае для дихотомических данных индекс приобретает вид:

Чем больше коэффициент Ij, тем больше дискриминативность задания.
При наличии больших выборочных совокупностей дихотомических данных и нормального распределения индивидуальных сумм баллов рекомендуют рассчитывать для всех заданий бисериальные коэффициенты корреляции Вj (j=1, 2, … m):

где Mj1– среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 1 балл; Mj0– среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 0 баллов; nj1– число испытуемых, получивших по данному заданию 1 балл; nj0– число испытуемых, получивших по данному заданию 0 баллов. Очевидно, входящие в формулу величины могут быть рассчитаны следующим образом:

,

· 9 шаг.Очередной шаг делается на основе вектора корреляций {Rj} (или {Вj}), корреляционной матрицы } (или {}) и вектора коэффициентов трудности {pj}. Из собрания тестовых заданий удаляются задания, не обладающие дискриминативностью, то есть задания слишком легкие (pj>0,9) и слишком трудные (pj <0,2). Затем исключаются задания, плохо коррелирующие с суммой баллов (Rj<0,15), и имеющие отрицательные коэффициенты корреляции (или rjk).

· 10 шаг. Для укороченного списка заданий вновь подсчитываются суммарные баллы испытуемых yi. Затем составляется новая, упорядоченная, матрица данных тестирования, в которой столбцы располагаются в порядке возрастания трудности заданий, а строки – в порядке уменьшения, сверху вниз, суммарных баллов испытуемых. Для редуцированной матрицы пересчитываются средний суммарный балл, дисперсия суммарных баллов и коэффициенты корреляции заданий с суммой баллов.

Задание к лабораторной работе

Для создаваемого электронного учебника разработать программный модуль «ОПРЕДЕЛЕНИЕ СТАТИСТИЧЕСКИХ ХАРАКТЕРИСТИК ТЕСТОВЫХ ЗАДАНИЙ».

Лабораторная работа № 4

Тема: Проверка качества педагогического теста.

Цель работы: Овладение методикой статистической оценки качества педагогических тестов для оценки и мониторинга знаний и умений обучаемых.

Методические указания к выполнению лабораторной работы

Чтобы полученное собрание тестовых заданий можно было считать тестом, оно должно удовлетворять определенным критериям надежности и валидности.

Надежность теста r тем выше, чем более согласованы результаты одного и того же человека при повторной проверке знаний посредством того же теста или эквивалентной его формы (параллельного теста). Согласованность результатов можно измерять коэффициентом корреляции Пирсона.

Если значения коэффициента r попадают в интервал 0,80-0,89, то говорят, что тест обладает хорошей надежностью, а если этот коэффициент не меньше 0,90, то надежность можно назвать очень высокой.
Другие, более практичные, методы оценки надежности теста, основаны на однократном применении единственной формы теста.
При применении метода расщепления откорректированную выше описанным образом тестовую матрицу разбивают на две половины, состоящие из заданий с четными и нечетными номерами. Коэффициент корреляции r1/2 Пирсона между двумя совокупностями суммарных баллов результатов сам по себе уже может служить оценкой надежности всего теста.
Оценку надежности полного теста можно делать также с использованием коэффициента корреляции r1/2, по формуле Спирмана-Брауна :

.

Другой способ оценки надежности расщепленного теста основан на формуле Рюлона:

,

- дисперсия суммарных баллов результата, а - дисперсия разностей между результатами каждого испытуемого по обеим половинам теста. Она вычисляется по формуле :

Здесь ( yiчет-yiнечет), (i=1,2,…n) - разность сумм баллов в строках с номером i субматриц с четными и нечетными заданиями.

Еще один метод определения надежности, основанный на однократном предъявлении единственной формы теста, носит имя Кьюдера-Ричардсона. Он использует данные о выполнении испытуемыми каждого задания. Коэффициент надежности Кьюдера-Ричардсона вычисляется по следующей формуле:

Показано, что такой коэффициент равен среднему арифметическому значений коэффициентов надежности, найденных по методу расщепления при всех возможных разбиениях теста.

Чем выше показатель надежности, тем меньше стандартная ошибка измерения индивидуального результата. Показатель надежности можно использовать для построения доверительного интервала, в пределах которого с выбранной вероятностью Р находится истинное значение оценки знаний испытуемого: , где tP – значение статистики Стьюдента, найденное для выбранной вероятности P, когда число испытуемых равно n.

Валидность теста показывает, насколько хорошо тест делает то, для чего он был создан. Определить коэффициент валидности теста – значит определить, как выполнение теста соотносится с другими независимо сделанными оценками знаний испытуемых. Для определения валидности требуется независимый внешний критерий, то есть оценка эксперта (преподавателя). За коэффициент валидности принимают коэффициент корреляции результатов тестовых измерений и критерия. Если экспертная оценка знаний испытуемых, полученная независимо от процедуры тестирования, представлена числовой последовательностью Y1,Y2, …, Yn, то коэффициент валидности теста может быть рассчитан по формуле:

,

где - средняя арифметическая экспертных оценок, sY - стандартное отклонение этих оценок:

, .

Из двух тестов, предназначенных для одной и той же цели, более эффективен тот, который быстрее, дешевле и качественнее измеряет знания данной группы испытуемых.

Задание к лабораторной работе

Для создаваемого электронного учебника разработать программный модуль «ПРОВЕРКА КАЧЕСТВА ПЕДАГОГИЧЕСКОГО ТЕСТА».

Цель работы: Изучить методы и приемы создания объектов в Corel DRAW и научиться следующему:

· с помощью инструментов и команд Corel DRAW создавать основные геометрические фигуры, стандартные формы;

· сочетая объекты, создавать новые формы;

· инструменты изменения формы (Сварка, Обрезка, Пересечение и т. д.);

· выделять объекты и выполнять различные трансформации созданных объектов;

· задавать заливку объектов и создавать свои собственные заливки.

Методические указания к выполнению лабораторной работы

Модель кривой

В основе принятой в CorelDRAW модели линий лежат два понятия: узел и сегмент. Узлом называется точка на плоскости изображения, фиксирующая положение одного из концов сегмента. Сегментом называется часть линии, соединяющая два смежных узла. Узлы и сегменты неразрывно связаны друг с другом: в замкнутой линии узлов столько же, сколько сегментов, в незамкнутой — на один узел больше.

Отрезки прямых линий представляют собой всего лишь частный случай объектов этого класса (кривая с бесконечно большим радиусом изгиба) и отдельно не рассматриваются. Любая линия в CorelDRAW состоит из узлов и сегментов, и все операции с линиями представляют собой операции именно с ними. Узел полностью определяет характер предшествующего ему сегмента, поэтому для незамкнутой линии важно знать, который из двух ее крайних узлов является начальным, а для замкнутой — направление линии (по часовой стрелке или против нее). По характеру предшествующих сегментов выделяют три типа узлов: начальный узел незамкнутой кривой, а также прямолинейный (line) и криволинейный (curve) узлы. На рисуноке 5.1 промежуточный узел 1 и конечный узел — прямолинейные, а промежуточный узел 2 — криволинейный.

Выделенные при редактировании узлы также отображаются на экране квадратиками увеличенного размера. Для узлов, смежных хотя бы с одним криволинейным сегментом, имеется еще одна классификация типов: они подразделяются на точки излома (cusp) и сглаженные узлы (smooth). Частным случаем сглаженного узла является узел симметричный (symmetrical), но таким может быть только узел, расположенный между двумя криволинейными сегментами.

Рисунок 5.1 - Сегменты и узлы линии

Все компоненты узла, представленные на рис. 2, отображаются на экране, только если этот узел предварительно выделен с помощью инструмента Shape (Форма) и при этом на той же кривой не выделено более ни одного узла.

Со стороны примыкания к выделенному узлу криволинейного сегмента отображается так называемая направляющая точка. На экране она показана в виде зачерненного квадратика, соединенного с узлом штриховой линией. Эта штриховая линия совпадает с касательной к криволинейному сегменту в точке его вхождения в узел. Чем дальше направляющая точка располагается от узла, тем медленнее криволинейный сегмент отклоняется от касательной но мере удаления от узла.

Рисунок 5.2 - «Устройство» узла линии

При выделении узла, разделяющего два криволинейных сегмента, на экране отображаются четыре направляющих точки — с обоих концов каждого сегмента.

Тип узла (он отображается в строке состояния) определяет возможное взаимное расположение его направляющих точек.

Точки излома

Узел называется точкой излома в том случае, когда касательные, проведенные в узле к двум прилегающим к нему сегментам, не лежат на одной прямой, образуя угол, отличный от развернутого. Примеры точек излома приведены на рисунке 5.3.

Рисунок 5.3 - Точки излома: а) на стыке прямолинейных сегментов; б) прямолинейного и криволинейного сегментов; в) двух криволинейных сегментов

Сглаженные узлы

Узел называется сглаженным, если касательные, проведенные к двум прилегающим к нему сегментам, лежат на одной прямой. Примеры сглаженных узлов приведены на рисунке 5.4.

Рисунок 5.4 - Сглаженные узлы: а) на стыке прямолинейного и криволинейного сегментов: б) на стыке двух криволинейных сегментов

Узел, лежащий на стыке двух прямолинейных сегментов, не может быть сглаженным, даже если оба сегмента лежат на одной прямой. Это объясняется тем, что узлы должны сохранять свой тип при перемещении. А перемещение такого узла в направлении, перпендикулярном примыкающим сегментам, нарушило бы условие сглаженности, поскольку прямолинейные сегменты не могут деформироваться.

Симметричные узлы

Симметричным называется сглаженный узел, направляющие точки которого равноудалены от него. В отличие от точек излома и сглаженных узлов симметричные узлы используются достаточно редко. Пример симметричного узла приведен на рисунке 5.5.

Рисунок 5.5 - Пример симметричного узла

Линии и инструмент Freehand

Инструмент Freehand (Произвольная кривая) преобразует траекторию перемещения мыши в кривую. При этом узлы и сегменты линии формируются автоматически в соответствии с параметрами настройки инструмента Freehand (Произвольная кривая), менять которые без особой нужды не следует. Как, впрочем, не следует ждать и очень хороших результатов от применения этого инструмента. Дело в том, что рисовать мышью совсем не то, что рисовать карандашом или шариковой ручкой, и даже самому опытному рисовальщику таким способом шедевра не создать. Правда, в последнее время появились графические планшеты, оснащенные пером вполне традиционного вида, воспринимающим не только перемещения по поверхности планшета, но и силу нажатия. Применение таких планшетов резко повышает качество линий, построенных от руки инструментом Freehand (Произвольная кривая). В результате исследования можно сделать следующие выводы:

· узлы и сегменты кривой при работе с инструментом Freehand (Произвольная кривая) создаются автоматически;

· большинство создаваемых узлов представляют собой точки излома;

· большинство создаваемых сегментов — криволинейные.

Частота расположения узлов на строящейся кривой зависит от скорости перемещения указателя мыши. Чем быстрее перемещается указатель, тем дальше отстоят вновь создаваемые узлы друг от друга, и наоборот, при медленном перемещении мыши построенная кривая может оказаться сплошь усеянной узлами. Последнее нежелательно, поскольку избыточное количество узлов не только снижает плавность кривой, но и усложняет изображение.

Если при работе инструментом Freehand (Произвольная кривая) возникает необходимость ограничивать наклон прямолинейных сегментов ломаной линии, пользуйтесь клавишей-модификатором Ctrl. Если удерживать эту клавишу нажатой, то следующий прямолинейный сегмент будет наклонен к горизонтали под углом, кратным 15°.

Линии и инструмент Bezier

Работая с инструментом Bezier (Кривая Безье), пользователь не пытается воспроизвести мышью строящуюся кривую линию. Вместо этого он задает положение узлов будущей кривой и получает возможность уже в процессе построения воздействовать на направляющие точки в каждом из них. Приемы работы этим инструментом сложнее и требуют для освоения некоторой тренировки, зато и результаты получаются намного лучше, чем при работе инструментом Freehand (Произвольная кривая). Построение кривой инструментом Bezier (Кривая Безье) представляет собой последовательность циклов работы с каждым из узлов кривой. Цикл начинается с установки указателя инструмента в точку расположения будущего узла. Затем нажимается кнопка мыши, и, удерживая ее, пользователь уточняет положение направляющих точек, перетаскивая одну из них (вначале из узла, а потом — вокруг него) мытью. По умолчанию создаются симметричные узлы, но если пользователь в момент отпускания кнопки мыши воспользуется клавишей-модификатором узла, будет создан сглаженный узел пли точка излома. В момент отпускания кнопки мыши фиксируются тип узла и положение направляющих точек, после чего начинается цикл определения следующего узла. Для выхода из цикла следует нажать клавишу Пробел.

В процессе создания точки излома следует удерживать нажатой клавишу С (начальный символ английского термина для обозначения этого типа узлов — cusp). Клавиатура при этом должна работать в режиме ввода латиницы. После нажатия клавиши-модификатора направляющие точки начинают вести себя в соответствии с выбранным типом узла, и дальнейшее перетаскивание мышью будет влиять только на одну из них. Для создания сглаженного узла используется клавиша-модификатор S (smooth).

Рисунок 5.6 - Построение первого узла линии

При построении следующего узла, узел должен располагаться строго под вторым, поэтому по окончании работы со вторым узлом клавишу Ctrl можно даже не отпускать. На этот раз «вытаскивать» направляющую точку из узла следует не вправо, а влево, не отпуская клавишу Ctrl. Чтобы закругление получилось симметричным, расстояние от направляющей точки до узла должно быть примерно таким же, как у второго узла (рис. 5.7).

Рисунок 5.7 - Изображение перед отпусканием кнопки мыши после построения узла

Следующий узел строится точно так же, как третий (рис. 5.8, а). Теперь кривую следует замкнуть. Для этого указатель мыши перемещается на начальную точку (до появления в качестве указателя инструмента «стрелочки» вместо символического изображения узла) и нажимается левая кнопка мыши. Остается только перетащить направляющую точку вправо при нажатой клавише Ctrl (чтобы левое закругление стало симметричным), и замкнутая кривая будет построена (рис. 5.8, б).

Рисунок 5.8 - Завершение построения замкнутой кривой

Не забывайте, что клавиша-модификатор Ctrl позволяет ограничивать перемещение указателя не только вертикалями и горизонталями, но и линиями с наклоном, кратным 15°. Возможно, что поначалу приемы работы с инструментом Bezier (Кривая Безье) покажутся вам чересчур сложными. Окончательная настройка узлов и сегментов выполняется на втором этапе методами редактирования кривой.

Линии переменной ширины и инструмент Artistic Media

С помощью инструмента Artistic Media (Художественные средства, живопись) строятся составные объекты класса «суперлинии». Каждый из этих объектов состоит из двух частей — линии, играющей роль управляющего объекта и определяющей основные параметры формы составного объекта в целом, и подчиненного объекта, определяющего детали этой формы. В роли подчиненного объекта может выступать замкнутая кривая или даже произвольный объект CorelDRAW, причем и управляющая линия, и подчиненный объект могут строиться как заранее, до построения суперлинии, так и создаваться в ходе него. Для реализации такого широкого спектра возможностей инструмент Artistic Media (Суперлиния) может работать в нескольких режимах. Каким бы режимом мы ни воспользовались, результаты будут относиться к одному классу, что позволяет их редактировать одинаковыми приемами. Выбор режимов работы инструмента Artistic Media (Суперлиния) выполняется с помощью панели атрибутов, которая после его выбора в наборе инструментов принимает вид, приведенный на рисунке 5.9.