Лекция

Лекция 1

Что такое информационный поиск?  Примеры поисковых систем Связанные задачи с информационным поиском Цель информационного поиска. Модель поисковой системы Задачи информационного поиска Принципы булевого поиска Как интерпретируется запрос в булевском представлении Что такое ранжированный поиск Как реализовать булев поиск Пример матрицы «термин-документ» Обратный индекс Как реализуется обратный индекс Как создается обратный индекс Разбиение документа на токены Словари и координатные блоки Каковы затраты на хранение обратного индекса? Какая логическая операция быстрее выполняется AND, OR, NOT? Что такое прямое индекс?

Лекция 2

Чем занимается лингвистика Зачем нужна фонетика в информационном поиске Диахрония, синхрония Чем занимается психолингвистика? Порождающие грамматики. Чем занимается количественная лингвистика, статическая лингвистика? Рациональный и эмпирический подходы к языку. Грамматика в терминах Хомского Чем занимается морфология. Аллмоморфы

Лекция 3

Что такое токен, термин? Какие виды письменности существуют? Как осуществляется детекция языка? Принципы N-граммной детекции языка Ранговый и марковский подходы анализа частотности языка Пословный анализ частотности языка Программные инструменты детекции языка Нормализация терминов языка Токенизация чисел

Лекция 4

Что такое коллокация, зачем их искать? Признаки коллокации (некомпозиционность, незаменяемость, немодифицируемость) Частотность биграмм Фильтр по частям речи в биграммах Пример построения окна в биграммах Рассчитать отклонение для устойчивого словосочетания Построить гистограмму отклонений Как проверяется гипотеза Как осуществляется поиск коллокаций

Лекция 5

Что такое частота n-грам Как осуществляется валидация моделей Что такое кросс-валидаия Линейное смешение моделей Цепи Маркова, применимость в информационном поиске Стохастическая матрица переходов Графическое представление матрицы переходов Скрытые марковские модели. Применение Алгоритм "вперед" и алгоритм "назад"

Лекция 6

Что такое машинный перевод Подходы к машинному переводу Структура системы машинного перевода Из чего состоит словарная статья Уровни анализа предложения для перевода Преимущества и недостатки машинного перевода на основе правил (RBMT) Преимущества и недостатки статического машинного перевода Что такое параллельный корпус Источники параллельных корпусов Выравнивание по предложениям Функция выравнивания при машинном переводе Ограничения в модели пословного перевода