Методические рекомендации по разработке оценочных средств в соответствии с требованиями ФГОС ВО (стр. 19 )

Метод Эбеля

Метод Эбеля (Ebel's) обычно применяется к тестам, включающим формы заданий с выбором ответов. Одно преимущество метода со Ebel's стоит в том, что, хотя он пока не был применен к другим формам, кажется, нет никакой причины, почему они не может быть использован всякий раз, когда оценка по заданию дихотомическая. Возможно даже расширить применение метода на тесты, включающие сочетание дихотомических и политомических оценок по заданиям.

Метод Ebel's требует, чтобы эксперты вынесли два суждения для каждого задания: одно суждение, являющееся приближенной оценкой трудности каждого задания, другое суждение относительно релевантности задания. Суждения экспертов выражены не в виде вероятностей, а как ­размещения заданий по отдельным категориям. Например, эксперты обычно должны классифицировать задания по одной из трех категорий трудности (легкое, среднее и трудное) и в одну из четырех категорий релевантности (существенное, важное, приемлемое и сомнительное).

Эти суждения проводят кросс-категоризацию всех заданий в одну из 12 ячеек (например, задания, которые оценивается как средней трудности и приемлемой релевантности и так далее). Важно отметить, что суждения экспертов о характеристиках трудности и релевантности заданий не делаются относительно гипотетического экзаменующегося, но соотносятся с целью теста и ­популяцией экзаменующихся. Таким образом, эксперты просто обязаны вынести суждение, полагают ли они, что отдельные задания являются трудными, средними, или легкими для экзаменующихся как группы, и являются ли отдельные задания теста, используемого для установления стандарта, существенными, важными, приемлемыми или сомнительными по отношению к классификационным решениям, которые будут сделано.

Таблица 6.2.4 иллюстрирует использование процедуры метода Эбеля и анализ данных для этого метода. Первый шаг в получении пороговой оценки должен собрать и суммировать суждения относительно релевантности и трудности задания. Таблица 6.2.4 представляет гипотетические классификации для 100 заданий, проведенные группой 5 экспертов, что приводит в общей сложности к 500 суждениям о заданиях. Оценки для каждой из этих 12 ячеек показаны в столбце "Число заданий, оцененных, как принадлежащие категории (A)." С пятью экспертами каждое задание будет оценено каждым из ­пяти экспертов, что приводит к 500 общим суждениям (100 заданий умножить на 5 экспертов). Для данных, показанных в таблице, при суждениях о релевантности 94 задания из 100 классифицированы как "Существенные", 259 – как "Важные", 125 – как "Приемлемые", и 22 - как "Сомнительные". В общем числе оценок ­трудности заданий, как ­таблица показывает, 228 заданий были классифицированы экспертами как "Легкие" (94 + 106 + 24 + от 4 до 228). Общее число оценок для двух измерений (то есть, релевантность и трудность) несколько трудно интерпретировать точно, поскольку суждения, возможно, были получены различными путями. Например, отнесение 228 заданий к категории "Легких" возможно, было получено разными способами.

Вторая задача оценивания для экспертов, использующих метод Ebel's состоит в том, чтобы назначить величины для каждой из 12 ячеек на пересечении релевантности и трудности, которые представляют суждение экспертов относительно того, на какой процент заданий в каждой ячейке экзаменующийся (пограничный, минимально компетентный) должен ответить правильно, чтобы быть отнесенным к категории прошедших за пороговый балл по тесту. Часто, это оценивание ведется путем достижения консенсуса группой экспертов с привлечением ссылок на характеристики гипотетического пограничного экзаменующегося, групповых дискуссий и так далее. Таблица 6.2.4 также показывает результат группового консенсуса относительно процентов в ячейках в столбце, обозначенном как "Оцененный процент правильных ответов (B)" Например, эксперты согласились, что пограничные экзаменующиеся, как следует ожидать, ответят на все "Существенные" задания правильно, независимо от того оценивалось ли задание как легкое, среднее, или трудное. Эксперты в этом примере присвоили различные проценты трудности заданиям из категории «Важные». Таблица показывает, что группа экспертов указала, что экзаменующиеся должны ответить правильно на 90 % заданий, которые оцениваются как легкие, на 70 % заданий - средней трудности, и только на 50 % заданий из категории трудных.

Таблица 6.2.4

Иллюстрация метода Ebel's по установлению стандарта

Категория релевантности	Категория трудности	Число заданий, оцененных как принадлежащие категории (A)	Оцененный процент правильных ответов (B)	Произведение (AxB)
Существенное	Легкое	94	100 %	9 400
	Среднее	0	100 %	0
	Трудное	0	100 %	0
	Общее число	94
Важное	Легкое	106	90 %	9 540
	Среднее	153	70 %	10 710
	Трудное	0	50 %	0
	Общее число	259
Приемлемое	Легкое	24	80 %	1 920
	Среднее	49	60 %	2 940
	Трудное	52	40 %	2 080
	Общее число	125
Сомнительное	Легкое	4	70 %	280
	Среднее	11	50 %	550
	Трудное	7	30 %	210
	Общее число	22
ОБЩЕЕ ЧИСЛО СУЖДЕНИЙ		500		37 630
		Проходной процент ()= 37,630/500 = 75.46 %

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1.  «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры». Приказ № 000 Министерства образования и науки Российской Федерации от 19 декабря 2013 г. № 000 – http://минобрнауки. рф.

2.  Григоренко в вузе: методические рекомендации по созданию и использованию. – Томск, 2007.

3.  , , Смирнова внешней оценки уровня сформированности ключевых компетентностей учащихся: Метод. пособие для руководителей и педагогов образовательных учреждений /Под ред. . – Самара, 2006.

4.  , Челышкова качества результатов обучения при аттестации ( компетентностный подход).- М.:Логос,2012

5.  , Челышкова средства оценивания результатов обучения: Учеб. пособие. – М.: Издательский центр «Академия». 2014.

6.  , Муравьева стандарты: принцип формирования, назначение и структура. Методическое пособие. - М.: АНО Центр ИРПО, 2011.

7.  Переверзев разработки тестовых заданий: справочное руководство. – М.: Е-Медиа, 2005.