Предисловие (стр. 37 )

BPWin и Erwin. CASE-средства разработки информационных систем. – М.: Диалог-МИФИ, 1999. – 256 с.

Мартин Дж. Организация баз данных в вычислительных системах: Пер. с англ. /Под ред. и . - М.: Мир, 1980. - ­664 с.

тратегические технологии баз данных. - М.: Финансы и статистика, 1999.

Смит Дж., ринципы концептуального проектирования баз данных //Требования и спецификации в разработке программ: Пер. с англ. - М.: Мир, 1984. - С. 165-198.

Фрай Дж. Проектирование структуры баз данных: В 2-х кн.: Пер. с англ. /Под ред. . - М.: Мир, 1985.

Ульман Дж. Основы систем баз данных: Пер. с англ. /Под ред. . - М.: Финансы и статистика, 1983. - 334 с.

Ульман Дж., Видом Дж. Введение в системы баз данных: Пер. с англ. - М.: ЛОРИ, 2000.

Фридман объектно-ориентированной разработки программных систем. – М.: Финансы и статистика, 2000. – 192 с.

Цаленко семантики в базах данных. - М.: Наука. Гл. ред. физ.-мат. лит. (Проблемы искусственного интеллекта), 1989. - 288 с.

Цаленко и математические модели баз данных. - М.: ВИНИТИ АН СССР (Итоги науки и техники. Сер. Информатика/ ВИНИТИ; т.9), 1985. - 208 с.

одели данных: Пер. с англ. - М.: Финансы и статистика, 1985. - 344 с.

Язык описания данных КОДАСИЛ: Пер. с англ. /Под ред. и . - М.: Статистика, 1981. - 183 с.

Глава 9. Основы технологий текстового поиска

Обмен информацией в обществе осуществляется главным образом в текстовой форме. Поэтому не случайно, что весьма значительную долю информационных ресурсов современных информационных систем составляет текстовая информация. Разработкам эффективных технологий хранения, обработки и поиска текстовой информации стало уделяться большое внимание уже на ранних стадиях развития информационных систем. Активные исследования и практические разработки в этой области  начались в 50-х годах прошлого века, с того времени, когда средства вычислительной техники обеспечили возможность ввода-вывода текстовой информации.

Среди информационных систем, имеющих дело с текстовой информацией, наиболее распространенными являются системы текстового поиска. Их задача заключается в том, чтобы находить в хранимой в компьютере коллекции текстовых документов на естественном языке такие документы, которые интересуют пользователя.

Развитие систем текстового поиска стимулировалось в значительной мере потребностями информационной поддержки научных исследований и образования, разработками автоматизированных библиотечных систем. Однако в последние годы они все активнее используются в управлении компаниями и во многих других сферах деятельности. 

В этом разделе кратко обсуждаются основные понятия и принципы текстового поиска, функциональные возможности предназначенных для этой цели современных информационных систем, нетрадиционные применения технологий текстового поиска, а также некоторые перспективы их развития.

9.1.  Введение

Поиск информации с помощью компьютеров имеет уже почти полувековую историю. Первые автоматизированные информационные системы начали разрабатываться еще в 50-х годах прошлого века, и главной их функцией был именно поиск информации. Поэтому их назвали информационно-поисковыми системами (ИПС). 

В зависимости от характера поддерживаемых информационных ресурсов эти системы было принято разделять на две категории. Одну из этих категорий составляли фактографические ИПС. Такие системы оперировали фактами, представленными в виде сущностей реального мира и их свойств. Фактографические ИПС позволяли находить сущности, обладающие заданными пользователем свойствами, а также свойства заданных сущностей. Когда в начале 60-х годов начали зарождаться технологии баз данных, стало ясно, что информационная система этой категории представляет собой частный случай системы базы данных (см. разд. 5). В результате это направление в области информационного поиска постепенно было «поглощено» технологиями баз данных. 

Другую категорию информационно-поисковых систем составляли документальные ИПС. Системы этой категории предназначены для хранения и поиска документов, содержащих тексты на естественных языках. Такие ИПС и представляют собой ранние системы текстового поиска.

Разрабатывавшиеся в этот период системы текстового поиска назывались дескрипторными ИПС. В таких системах содержание каждого текстового документа и пользовательских поисковых запросов представляется наборами слов или словосочетаний, называемых дескрипторами. В процессе поиска ИПС оперирует не самими текстовыми документами, а такими их «заместителями», которые в большинстве систем формируются вручную авторами документов, экспертами в предметной области документов и другими лицами. Сопоставление наборов дескрипторов, представляющих в системе документы, с набором дескрипторов, представляющим пользовательский запрос,  позволяет находить требуемые пользователю документы. Дескрипторные ИПС обладают относительно несложными механизмами поиска, но качество поиска является сравнительно невысоким.

Одна из наиболее распространенных областей применения дескрипторных систем был библиографический поиск. В таких системах хранятся коллекции библиографических описаний документов, и система позволяет находить публикации заданного автора, публикации, выпущенные указанным издательством и/или вышедшие в некотором году и т. п. Многие библиографические дескрипторные ИПС используются до настоящего времени.

В процессе развития средств вычислительной техники компьютеры обрели устройства внешней памяти прямого доступа достаточного большого объема, значительно повысилась производительность процессоров. Это позволило создать и практически использовать в документальных ИПС более совершенные технологии, называемые технологиями полнотекстового поиска.

Благодаря возможности хранения и обработки в таких системах полных текстов документов удалось в большой мере автоматизировать процессы лингвистического анализа и поиска документов. Разработаны подходы и реализуются средства автоматизации  составления ряда используемых при этом словарей и тезаурусов. В технологиях полнотекстового поиска важное место занимают статистические методы анализа документов.

Первоначально в полнотекстовых системах обеспечивался, главным образом, контекстный поиск, т. е. поиск документов, тексты которых содержат вхождение заданного в пользовательском запросе контекста. Позднее стал использоваться поиск по булевскому критерию. Были разработаны также различные более тонкие модели поиска.

На протяжении всей истории систем текстового поиска активно проводились научные исследования в этой области. Большое влияние на развитие систем текстового поиска оказали новаторские исследовательские проекты и разработки экспериментальных прототипов полнотекстовых поисковых систем, выполненные в 60-х годах прошлого века. Этот период характеризуется значительными продвижениями в разных аспектах организации систем текстового поиска и используемых в них методов. В настоящее время перспективные разработки в рассматриваемой области концентрируются вокруг авторитетной международной конференции по текстовому поиску TREC (Text Retrieval Conference), учрежденной в 1992 году в США Американским национальным институтом по стандартам и технологиям (NIST).

Активное развитие технологий текстового поиска и информационных потребностей пользователей стимулировали трансформацию ИПС из систем текстового поиска в системы более общего класса, которые имеют дело не только с текстовыми документами, но и с документами, содержащими информацию иной природы. В таких системах (их называют мультимедийными) содержание их объектов поиска - документов - представляет собой сочетание информационных ресурсов, представленных в различных средах - текстовых элементов, статических изображений, аудиоданных (музыкальные произведения, текст, произнесенный голосом и т. п.), мультфильмов, видео клипов и т. п.

Вероятно, для того, чтобы различать системы текстового поиска и поисковые системы, оперирующие этими иными видами информационных ресурсов, в последние годы наряду с термином «информационно-поисковая система» (Information Retrieval System) стал употребляться термин «система текстового поиска» (Text Search System или Text Retrieval System).

Поскольку пользователи предъявляют к системам текстового поиска довольно высокие требования, современные технологии текстового поиска стали весьма сложной синтетической областью исследований и разработок, охватывающей большой спектр проблем - от теории информационного поиска до методов удовлетворения потребностей пользователей в сборе, организации, хранении, поиске и распространении информации, проблем обеспечения интерфейсов между пользователем и средствами управления ресурсами неструктурированной или слабоструктурированной информации, поддерживаемой в компьютерной среде. В системах текстового поиска находят применение как аналитические, так и эмпирические подходы.

Значительное место в технологиях текстового поиска занимает обработка естественного языка. Под обработкой естественного языка понимается компьютерное решение задач, связанных с пониманием, анализом, выполнением различных операций над текстами на естественном языке, а также с их генерацией. Этот класс задач относят к области искусственного интеллекта.

В современных технологиях текстового поиска используются не только аппарат лингвистики для анализа текстов, но и статистические методы, математическая логика и теория вероятностей, кластерный анализ, методы искусственного интеллекта, а также технологии управления данными.

Работы по информационной супермагистрали, в частности, связанные с созданием электронных библиотек, развернувшиеся во многих странах мира в середине 90-х годов, в значительной мере оживили интерес к проблемам текстового поиска. Возникли такие совершенно новые направления, как обнаружение информации в глобальной компьютерной сети, текстовый поиск в Веб, мультиязыковой поиск.

За свою почти полувековую историю развития технологии текстового поиска сделали огромный шаг от простейших дескрипторных информационно-поисковых систем к изощренным системам полнотекстового поиска, от поисковых систем к системам с более богатой функциональностью. Ресурсы современных вычислительных систем позволяют хранить огромные объемы информационных ресурсов в системах текстового поиска, осуществлять в них тонкую обработку документов, выполнять алгоритмически сложные процедуры обработки хранимых коллекций документов – их классификацию, кластеризацию, глубинный анализ текстов, перевод документов с одного языка на другой и т. д.