Теоретическое обоснование уточнённого расчёта оценок трудности заданий диагностического средства и уровня подготовки студентов

УДК 519.677: 004.021

ТЕОРЕТИЧЕСКОЕ ОБОСНОВАНИЕ УТОЧНЁННОГО РАСЧЁТА ОЦЕНОК ТРУДНОСТИ ЗАДАНИЙ ДИАГНОСТИЧЕСКОГО СРЕДСТВА И УРОВНЯ ПОДГОТОВКИ СТУДЕНТОВ

, к. ф.-м. н., доцент, , д. т.н., доцент

Институт сферы обслуживания и предпринимательства (филиал) Донского государственного технического университета. (ИСОиП (филиал) ДГТУ). 346500, г. Шахты Ростовской области, ул. Шевченко, 147

E-mail: *****@***ru, *****@***ru

Аннотация

Теоретически обоснован итерационный процесс совместного оценивания уровней подготовки студентов и трудностей заданий диагностического средства по дихотомической матрице ответов А =(aij) размера , учитывающего вклад заданий разной трудности в получаемые оценки. Сформулированы требования к дихотомическим матрицам ответов, при выполнении которых итерационный процесс достаточно быстро сходится к пределам, не зависящим от начального приближения.

Ключевые слова: дихотомическая матрица ответов, уровень подготовки студента, трудность задания, итерационный процесс, итерационная последовательность.

Большим недостатком существующих программно-алгоритмических средств обработки дихотомических результатов тестирования (анкетирования) является наличие больших погрешностей расчёта уровня подготовки студентов (УПС) и уровня трудности заданий (индикаторов) (УТЗ) диагностического средства, с помощью которого получена дихотомическая матрица ответов (входные данные). Это связано с тем, что вычисление значений УПС и УТЗ осуществляется по индивидуальным баллам студентов и индивидуальным баллам заданий , которые определяются только количеством выполненных заданий и числом студентов, верно выполнивших конкретное задание [1-7]. По этой причине два задания разной трудности вносят одинаковый вклад в оценку УПС, а два студента с разным уровнем подготовки одинаково влияют на оценку УТЗ диагностического средства, искажая их.

В работе [8] в качестве количественной меры УПС предложено использовать отношение суммы трудностей всех верно выполненных заданий к сумме трудностей всех заданий используемого диагностического средства - теста. А в качестве количественной меры УТЗ – отношение суммы уровней подготовки студентов, неверно выполнивших задание, к сумме уровней подготовки всех студентов выборки. Авторами работы [8] был экспериментально обоснован единый итерационный процесс вычисления оценок УПС и УТЗ, в котором учитывается вклад студентов разного уровня подготовки и заданий различной трудности в получаемые оценки. На примере обработки результатов централизованного тестирования школьников было показано, что оценки уровня трудности заданий, рассчитанные с помощью предложенного итерационного процесса, могут на 30 ÷ 66 процентов отличаться от . Использование предложенного подхода на практике затрудняется отсутствием его теоретического обоснования.

Пусть каждый из N студентов выполняет M автономных заданий теста. Результат выполнения j-ого задания i-ым тестируемым оценивается дихотомически: , если студент верно выполнил задание, и в противном случае (i=1,2,…,N; j=1,2,…,M). Результаты тестирования представляются в виде дихотомической матрицы ответов А размера с элементами . Обозначим через вектор УТЗ, а через = - вектор УПС, подлежащие определению.

Пусть задано начальное приближение к вектору или начальное приближение к вектору (координаты исходного вектора неотрицательны, причём хотя бы одна из них положительна). Тогда предложенный в работе [8] единый итерационный процесс сводится к попеременному применению рекуррентных соотношений

(1)

(2)

на основе которых cтроится смешанная последовательность

(3)

приближений к искомым векторам и Из формул (2), (3) видно, что координаты сначала второго и далее всех последующих векторов последовательности (3) (при условии их существования) принадлежат отрезку [0;1]. Используя в качестве начального условия только векторы с единичными координатами, авторы работы [8] пришли к выводу о достаточно быстрой сходимости подпоследовательностей и последовательности (3). Причем пределы и этих подпоследовательностей не зависят от выбора одного из двух начальных условий или .

Однако последовательность (3) не всегда можно продолжить до бесконечности. Это имеет место, например, в том случае, когда все элементы дихотомической матрицы А одинаковы. Пусть, например, – произвольное начальное приближение, . Используя формулу (1) при , получаем , из-за чего нельзя выполнить уже следующую итерацию, т. е. найти вектор по формуле (2) при . Если же в качестве начального условия выбрать неотрицательный ненулевой вектор то с помощью тех же формул (1), (2) можно определить лишь приближения и на чём итерационный процесс обрывается. Подобный результат наблюдается и в том случае, когда .

Кроме того, анализ показывает, что в случае существования бесконечной последовательности (3) её подпоследовательности и могут расходиться.

Целью настоящей работы является теоретическое исследование и обоснование требований к дихотомическим матрицам результатов тестирования, при выполнении которых последовательность (3) развёртывается до бесконечности, и существуют пределы , к которым достаточно быстро сходятся оценки векторов при .

Для достижения этой цели из класса всех дихотомических матриц размера выделен подкласс, охватывающий практически все дихотомические матрицы ответов, получаемые в результате тестирования обучаемых. Средствами матричного анализа доказано, что итерационный процесс совместного оценивания уровней подготовки студентов и трудностей заданий диагностического средства по дихотомической матрице ответов А, учитывающего вклад в получаемые оценки заданий разной трудности и участников тестирования с разным уровнем подготовки, сходится, если:

- матрица А содержит не менее трёх различных столбцов;

- при расположении её столбцов в порядке неубывания столбцовых сумм для любого положения вертикальной разграничительной линии между столбцами найдётся строка, в которой левее линии имеется хотя бы одна единица, а правее линии - хотя бы один ноль.

Выделенный подкласс дихотомических матриц обладает следующими свойствами:

1) для всякой матрицы подкласса и любого, за некоторыми неизбежными исключениями, неотрицательного ненулевого начального вектора последовательность (3) развёртывается до бесконечности, причём

2) существуют пределы не зависящие от этого вектора, а

3) последовательности и стремятся к нулю не медленней некоторой бесконечно убывающей геометрической прогрессии.

Перечисленные свойства теоретически подтверждают пригодность итерационной процедуры (1), (2) для обработки дихотомических результатов тестирования. Больше того, свойство 2) позволяет отказаться от ограничений по выбору начального приближения при её использовании, за исключением упомянутых выше ограничений по существу.

Доказано, что принадлежность матрицы А рассматриваемому подклассу равносильна примитивности квадратной матрицы В порядка М с элементами .

Для координат векторов получены формулы

где - m-ая координата собственного вектора матрицы В, отвечающего её наибольшему по модулю собственному значению .

Обоснуем высказанное выше утверждение о том, что практически все дихотомические матрицы ответов, получаемые в результате тестирования обучаемых, относятся к выделенному подклассу. Число строк в эмпирической дихотомической матрице ответов А составляет, как правило, от нескольких сотен до нескольких тысяч и во много раз превосходит число её столбцов, количество которых не превышает нескольких десятков. В связи с этим крайне маловероятно совпадение профилей ответов даже на два тестовых задания, не говоря уже о массовом совпадении таких профилей, когда среди столбцов матрицы А имеется не более двух различных. Не вызывает сомнений и практическая невозможность выделения по итогам тестирования нескольких (не менее одного, но не всех) тестовых заданий таким образом, чтобы всякий тестируемый, верно выполнивший хотя бы одно невыделенное задание, успешно выполнил и все выделенные задания. Поэтому принадлежность эмпирической матрицы ответов А рассматриваемому подклассу, а значит, и примитивность соответствующей ей матрицы В практически гарантированы.

Полученные в работе результаты могут быть использованы в качестве теоретической основы создания надёжного программного обеспечения для обработки результатов обучения студентов, получения объективной информации о качестве образования с целью разработки эффективных средств интеллектуальной поддержки принятия управленческих решений.

Литература

1. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests / G. Rasch. With a Foreword and Afterword by B. D. Wright. - The Univ. of Chicago Press. Chicago & London, 1980. - 199 p.

2. Wright B. S., Masters, G. N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. -206pp.

3. Елисеев, итерационных процедур вычисления оценок уровня подготовки студентов / // Известия высших учебных заведений. Электромеханика. - 2013. № 3. С. 83-90.

4. Елисеев, существования и единственности оценок максимального правдоподобия параметров латентных переменных однопараметрической дихотомической модели Раша / , И. С Шрайфель // Информатизация образования и науки. - 2011. - № 3 (11). - С. 117-129.

5. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования: монография / . –2 изд., перераб. и доп. - Новочеркасск: Лик, 2013. -285 с.

6. Елисеев, оценивания латентных параметров дихотомической модели Раша / , // Известия высших учебных заведений. Сев.-Кавк. регион. Технические науки». - 2011. - № 6. –С. 37-46.

7. Елисеев, И. Н. О состоятельности дихотомической модели Раша / , // Известия высших учебных заведений. Северо-Кавказский регион. Технические науки. - 2012. - №5. - С. 127-136.

8. М., А., Хлебников итерационный процесс совместной количественной оценки трудностей заданий и уровней подготовленности участников тестирования / Труды Центра тестирования, выпуск 2. –М: Прометей, 1999. – С. 54-60.

THE THEORETICAL BASIS TO CALCULATE ESTIMATION OF TASK DIFFICULTY OF ADVANCED DIAGNOSTIC TOOL AND THE LEVEL OF PREPARATION OF STUDENTS

Shreifel I. S. Candidate of physical and mathematical sciences, associate professor

Eliseev I. N., Doctor of Technical Science, associate professor

Institute of service and business (branch) Federal State Budget Educational Institution of Higher Professional Education «Don State Technical University»

Abstract

In the article we study the iterative process of joint numerical assessment of levels of training students and task difficulty diagnostic tool for dichotomous response matrix А =(aij) of size , in the same time taking into account the influence of the parameters on the final estimate. We have formulated requirements for dichotomous responses matrices for which the iterative process will converge quickly enough to the values independent of the initial approximation.

Keywords: a dichotomous response matrix, the level of training of the student, the difficulty of the test questions, : iterative process, iterative sequence.