ИСПОЛЬЗОВАНИЕ ЛАТЕНТНО-СЕМАНТИЧЕСКОГО АНАЛИЗА В КОМПЬЮТЕРНОМ ТЕСТИРОВАНИИ

,

Воронежский государственный университет

Тел.: (07, , e-mail: *****@

Компьютерное тестирование знаний является на сегодняшний день достаточно актуальной и широко распространенной технологией оценки качества знаний студентов. Наряду с такими достоинствами как относительная простота технической реализации, высокая степень автоматизации и минимизация затрат времени на проведение процедуры тестирования опыт практического использования этой технологии позволяет говорить о следующих проблемах:

–  Практически в большинстве из широко распространенных компьютерных систем обучения при тестировании используются вопросы, основанные на прямом сравнении ответа с заранее заданным вариантом правильного ответа. Такие тесты подходят для проверки фактологических знаний и понимания концептуальных связей в предметной области, косвенной проверки практических навыков решения задач в определенной предметной области. При этом, однако, не доступны для оценивания дискурсивные аспекты знания, связанные со способностью тестируемого практически демонстрировать свои знания и умения в рассуждениях, дискуссиях, ответах на вопросы собеседников.

–  Практически невозможно проводить автоматическое тестирование творческих способностей студентов, например, в рамках таких специальностей как журналистика, литература и перевод.

–  Наличие правильного(ых) ответа(ов) в вопросе не исключает возможность простого угадывания или нахождения правильного ответа по принципу исключения. Качественно подготовленный вопрос может существенно минимизировать такую вероятность, но не по любой тематике это возможно сделать.

НЕ нашли? Не то? Что вы ищете?

Традиционная система контрольных работ, коллоквиумов, экзаменов и т. д. основывалась на оценке развернутых ответов обучаемых. Однако автоматическое оценивание таких ответов при компьютерном тестировании натолкнулось здесь на огромные трудности. Имеются отдельные подходы с позиций компьютерной лингвистики, технологий искусственного интеллекта, но ввиду ряда теоретических и технологических проблем на сегодняшний день нет решений, допускающих их широкое практическое применение.

Достаточно интересным является привлечение метода латентно-семантического анализа (ЛСА) [1] для решения задачи автоматического оценивания качества развернутых ответов. Этот метод позволяет извлекать контекстно-зависимые значения слов при помощи статистической обработки больших наборов текстовых данных, и в его основе заложены принципы факторного анализа. Совокупность всех контекстов, в которых встречается и не встречается данное слово, задает множество обоюдных ограничений, которые позволяют определить похожесть смысловых значений слов и множеств слов между собой. Он достаточно прост для компьютерной реализации, при этом позволяя моделировать отдельные когнитивные и психо-лингвистические процессы у человека. Его серьезным недостатком является то, что для получения достаточно точных результатов требуется огромное количество вычислений. Это может приводить к тому, что при обработке массивов текстов, содержащих сотни тысяч терминов, система будет работать очень долго.

Имеются коммерческие разработки, позволяющие автоматически оценивать и анализировать тексты студентов, с поддержкой обратной связи через Web, например Intelligent Essay Assessor (http://www. /IEA. shtml), которая требует наличия порядка сотни предварительно оцененных текстов для калибровки и предъявляет высокие требования к аппаратным ресурсам сервера.

На факультете компьютерных Воронежского госуниверситета был проведен эксперимент, в рамках которого 6 студентам, обучающимся по программе дополнительной квалификации “Переводчик в сфере профессиональной коммуникации”, было предложено перевести отрывок текста с английского языка на русский. До проведения машинного анализа на основе ЛСА преподавателя попросили расположить переводы в порядке ухудшения их качества. Далее, используя ЛСА, оценивалась релевантность каждого перевода студента к переводу преподавателя, после чего было проведено ранжирование переводов по этому показателю. В итоге была получена следующая картина:

Ранг

Номер студента

Оценка релевантности

1

5

72,51

2

4

71,45

3

2

64,14

4

6

63,61

5

3

60,38

6

7

47,32

По мнению преподавателя, худший перевод был 7, лучшие – 4 и 5. Это отобразила и система. Преподаватель испытывал затруднение, в выборе того, какой из переводов был лучше – 3, 6 или 2. Из результатов наглядно видно, что система оценила второй перевод как более качественный.

В настоящее время разрабатывается и проходит испытания система для оценивания развернутых ответов студентов на вопросы контрольного тестирования по нескольким спецкурсам. Предполагается провести исследование на основе сравнения развернутых ответов студентов:

–  c ответами других студентов, предварительно оцененными преподавателем;

–  c эталонными ответами, составленными преподавателем или экспертом;

–  c текстами, взятыми из учебника или других источников по данной тематике.

Как нам представляется, применение данного метода в реальных условиях, даже если и не позволит точно оценить развернутый ответ студента (поскольку он не анализирует смыслового содержания ответа), может, тем не менее, оказаться оправданным для предварительной фильтрации ответов с последующей точной их оценкой преподавателем.

Литература

1. Landauer, T. K., Foltz, P. W., & Laham, D. Introduction to Latent Semantic Analysis.

Discourse Processes, v.25, 1998, pp. 259-284. (http://lsa. colorado. edu/papers/dp1.LSAintro. pdf).