В последние годы количество текстовой информации в электронном виде возросло настолько, что возникает угроза ее обесценивания в связи с трудностями поиска требуемых сведений среди множества доступных текстов. В настоящее время все большее распространение получают полнотекстовые базы данных. Крупные образовательные центры организуют в Интернете для студентов и сотрудников базы научных статей, авторефератов, многие организации предоставляют доступ к ресурсам электронных библиотек, оргкомитеты конференций публикуют тысячи полных текстов докладов и т.п. Данная работа исследует проблему и предлагает научно- обоснованную методику создания полнотекстовых баз данных на основе текстовой информации, накопленной в электронном виде.

В данной диссертации предполагается рассматривать полнотекстовые базы данных, создаваемые библиотекой, как часть электронного фонда библиотеки, а электронный фонд, по существу, есть часть общего фонда библиотеки со всеми приданными ему характеристиками. В общедоступных библиотеках такой массив текстов документов обычно возникает как результат сканирования текстов по частным заказам пользователей. С возрастанием объемов накопленной информации возникает задача смыслового поиска и экспертного статистического анализа данных с целью предоставить пользователю возможность правильно ориентироваться в среде электронных фондов большого объема, а эксперту – возможность выделять подклассы текстов по заданной тематике (в дальнейшем - естественно-тематические группы текстов).

В настоящее время в мире существуют и активно развиваются системы смыслового поиска в полнотекстовых базах данных, которые поддерживаются ведущими фирмами - производителями серверов баз данных, например, Oracle, Microsoft, IBM и др. Такие системы строятся на основе многомерных хранилищ, из которых данные извлекаются и обрабатываются с помощью алгоритмов для заранее определенных субъект- объектных отношений между ними. Крупные поисковые серверы в Интернете (например, Yahoo, Yandex) поддерживают алгоритмы поиска текстов “схожих” с данным и расчета релевантности найденных документов исходному запросу. Специализированные системы полнотекстового анализа (например, в России это “Следопыт”, ”ТекстАналист”) позволяют проводить автоматическую классификацию и реферирование текстов.