Рациональная экспертная оценка знаний учащихся

Рациональная экспертная оценка знаний учащихся

(фирма CuBe Matrix, Hamburg, *****@***net)

Рациональная экспертная оценка знаний учащихся позволяет оценить объём усвоенных учащимся знаний как долю всего объёма знаний, определённого учебной программой в регламентируемый промежуток времени.

Ключевые слова: экспертные оценки, проценты, объём знаний, биномиальное распределение, алгоритм, примеры.

Введение

Согласно исторически сложившейся традиции, знания учащихся (сотрудников предприятий на курсах повышения квалификации, школьников, студентов и др.) оценивают в баллах (Х): в странах СНГ – по четырёхступенчатой порядковой шкале от Х = 2 (плохо) до Х = 5 (отлично); в странах Западной Европы – по обратной шестиступенчатой порядковой шкале - от Х = 6 (плохо) до Х = 1 (отлично).

Традиционным оценкам знаний учащихся присущи следующие недостатки.

1. Используемые оценки относятся к порядковым шкалам [1]. Это делает операции сложения, вычитания и отношения оценок не интерпретируемыми. Так, например, «…вряд ли кто-либо будет утверждать, что знания хорошиста в два раза превышают знания двоечника (хотя 2 × 2 = 4)» [2].

2. Не интерпретируемость используемых для оценивания чисел. Например, отсутствие знаний лучше интерпретируется числом 0, а не 2-мя баллами (как в СНГ) и, тем более, - не 6-ю баллами (как в Западной Европе).

3. Узкий диапазон оценок - от 4-х (в СНГ) до 6-ти (в Западной Европе) ступеней, что затрудняет сравнение успеваемости учащихся в разных группах с помощью медиан [3] (а традиционно используемые для сравнения средние арифметические значения оценок [4] являются также не интерпретируемыми статистиками).

4. Субъективность экспертных оценок (один и тот же ответ ученика может быть по-разному оценен разными экзаменаторами).

Рациональная оценка знаний

Рациональное оценивание знаний учащихся заключается в формализации процедуры экспертизы.

Будем исходить из того, что объём усвоенных учащимся знаний равен доле А (в диапазоне от 0% до 100%) всего объёма необходимых знаний, определённого учебной программой в регламентируемый промежуток времени.

Оценки «в процентах» имеют следующие достоинства.

1. Они относятся к метрической шкале отношений [1]. Это делает операции отношения оценок интерпретируемыми и позволяет утверждать, что объёмы знаний учащихся относятся как их оценки; оценка А = 0% означает отсутствие знаний. Например, можно утверждать, что отличник с оценкой А = 100% обладает в 4 раза большими знаниями, чем плохой учащийся с оценкой А = 25%.

2. Широкий диапазон оценок облегчает сравнение успеваемости учащихся в разных группах как с помощью медиан, так и с помощью средних логарифмических значений (являющихся в данном случае интерпретируемыми статистиками [1, 3]).

3. Объективность экспертных оценок может быть обеспечена следующим формальным методом оценивания знаний учащихся.

На экзамене учащемуся даётся выборка в количестве N вопросов (или задач) из изученного объёма знаний с неизвестными ответами. Если учащийся даёт Х правильных ответов и вопросы (или задачи) имеют равные степени трудности, то расчёт формальной оценки А количества усвоенного объёма знаний будет иметь простой вид:

(1) А = 100(Х/N)%.

Например, если учащемуся даётся для решения N = 30 задач и он дал Х = 23 правильных ответов, то оценка А = 100(23/30)% ≈ 77%.

Если же задачи на экзамене имеют разную степень трудности, то каждой i – й задаче из N задач (i = 1, 2, …, N) надо придать “вес” (экспертную оценку степени трудности) bi, i = 1, 2, …, N, bi  Ζ. Например, самые лёгкие задачи могут иметь веса bi, равные 1, а более трудные – 2, 3, 4 и т. д. в зависимости от степени трудности. Тогда формула для оценки знаний будет иметь чуть более сложный вид

(2) А = / ,

где ki – индикатор правильности ответа: ki = 1, если ответ правильный и ki = 0, если ответ неправильный.

Если количество N вопросов (или задач) велико, то для ускорения и формализации процедуры оценивания, к каждому вопросу придаётся несколько (п) ответов (например, от 2-х до 8-ми), среди которых один – правильный и п – 1 неправильных [4]; чем важнее экзамен, тем большие значения должны принимать величины N и п (таблица).

Таблица. Количество u правильных ответов из N возможных, которые учащийся может случайно угадать (с доверительной вероятностью Р{u- ≤ u ≤ u+} = 0,95).

Вопросов N	30	50	100
Ответов п	2	3	4	5	6	7	8	2	3	4	5	6	7	8	2	3	4	5	6	7	8
Уга- да- но	минимум u-	10	5	4	3	2	1	1	18	11	7	5	4	3	2	40	24	16	13	10	7	6
среднее u0	15	10	8	6	5	4	4	25	17	13	10	8	7	6	50	33	25	20	17	14	13
максимум u+	21	16	14	12	11	10	9	32	24	20	17	16	14	13	60	44	35	30	26	23	21

Каждый из п ответов на каждый из N вопросов должен быть составлен экзаменатором так, чтобы вероятность угадать правильный ответ учащимся, не знающим его, была равной 1/п (соответственно - от 1/2 до 1/8 – см. табл.) [4]. И всё же, не знающий правильных ответов учащийся может из множества N тестовых вопросов случайно угадать u из них. Если N вопросов имеют равные степени трудности, то формальная оценка количества усвоенного объёма знаний в этом случае будет иметь вид

(3) А = [100(Х - u)/(N - u)]%,

где Х – общее количество правильных ответов.

Количество ответов, которые учащийся может случайно угадать, можно представить суммой

(4) U = .

Здесь индикаторы ki (определенные выше) можно считать независимыми случайными величинами, принимающими значения 1 или 0 с вероятностями 1/п и 1 - 1/п соответственно. Вероятность появления любой случайной последовательности u единиц и N – u нулей равна (1/п)u(1 - 1/п)N–u, а все сочетания С из N по u [С= N!/((N – u)!u!)] последовательностей несовместны. Следовательно, величина U подчинена биномиальному распределению с функцией распределения вероятности

(5) Р(U ≤ u) = (1/п)i(1 - 1/п)N–i,

биномиальными коэффициентами С, математическим ожиданием N/п, и дисперсией N/(п2 - п) [5]. Подставляя в уравнение (5) значения N, n и Р, можно найти число u угаданных правильных ответов. Минимальное количество u = u - случайно угаданных правильных ответов найдено (с помощью номограммы [5, с. 537]) при вероятности Р = 2,5%; среднее u = u0 - при вероятности Р = 50% и максимум u = u+ - при вероятности Р = 97,5% (см. табл.).

В зависимости от степени строгости экзаменов предполагается следующее распределение коэффициентов u (см. табл.) в формуле (3): малая степень строгости (u = u-), когда учащемуся даётся максимальная возможность угадывать правильные ответы; средняя степень (u = u0), когда даётся возможность угадать около половины правильных ответов и высокая степень строгости (u = u+), когда возможности угадывать правильные ответы практически нет.

Замечания

1. Из формулы (3) и таблицы видно, что оценка А может получиться отрицательной (А < 0 когда Х < u). Это свидетельствует о полном отсутствии знаний у учащегося. Причём, если при u = u-, получено А < 0, можно утверждать (с вероятностью ошибки менее 2,5%), что учащийся умышленно ответил на поставленные вопросы неверно.

2. Для расчёта значений u - и u+ достаточно точности номограммы в книге [5, с. 537]. Более точные расчёты не нужны, потому что всё равно на практике невозможно безукоризненно соблюсти равные вероятности нахождения не знающим учащимся всех пN правильных и неправильных ответов.

3. Как видно из таблицы и формулы (5), возможность обычным учащимся случайно угадывать большое количество правильных ответов делает такую методику менее эффективной, чем экзамен с вопросами без готовых ответов.

Пример. Каждому учащемуся на экзамене даётся 30 вопросов с одним правильным и 5 неправильными ответами в каждом; степень строгости малая. Минимальное количество правильно угаданных ответов может быть 2 (см. табл.). Поэтому формула (3) для расчёта формальной оценки количества усвоенного объёма знаний будет иметь вид

(6) А = [100(Х - 2)/28]%.

Выводы

Если учащемуся даётся выборка в количестве N вопросов (или задач) из изученного объёма знаний с неизвестными ответами, то в формуле для расчёта рациональной экспертной оценки знаний необходимо учитывать разную степень трудности задач; если же учащемуся даётся выборка в количестве N вопросов с одним правильным ответом и несколькими неправильными каждый, то в формуле для расчёта рациональной экспертной оценки знаний необходимо учитывать количество правильных ответов из всех возможных, которые незнающий правильных ответов учащийся может случайно угадать.

Литература

1.  ЦЕЙТЛИН Н. А. Из опыта аналитического статистика. - М.: Солар, 2007. - 906 с.

2.  ОРЛОВ А. И. Эконометрика. - М.: Экзамен, 2002, 2003, 2004. - 575 с. (http://orlovs. pp. ru/econ. php#ek1)

3.  ЦЕЙТЛИН Н. А. Средне-медианный показатель положения выборки экспертных оценок. – Настоящий сборник, с. ХХ - ХХ.

4.  ГОРБАЧ А. Н., КОВАЛЕВА И. Д., РЕДЬКО О. А., СОРОКА Ю. Г. Нетрадиционные методы преподавания социологии. Уч. пособие. Под ред. . - Харьков, 2001. - 328 с.

5.  ДЖОНСОН H., ЛИОН Ф. Статистика и планирование эксперимента в технике и науке. Кн. 2. Методы обработки данных. / Пер. с англ. Под ред. . - M.: Мир, 1980. - 612 с.