Конспект лекций для специальности «Прикладная информатика в экономике»

Вид материала

Содержание

4.2. Методы индексирования
4.2.1. Позиционные методы назначения весов
4.2.2. Статистические методы назначения весов
4.2.2.1. Частотные модели
Модель, учитывающая соотношение «сигнал-шум»
4.2.2.2. Модель, учитывающая различительную силу термина
4.2.2.3. Модель, использующая динамическую оценку информативности

Подобный материал:

1 ... 8 9 10 11 12 13 14 15 16

4.2. Методы индексирования

Как видно из описаний методов организации ТБД, в них активно используются ключевые слова. Задача выделения в том или ином тексте ключевых слов имеет самостоятельное значение и рассматривается в данном разделе.

Выделение ключевых слов в тексте называется его индексированием. Эта процедура сводится к последовательным действиям:

выделение из текста всех слов на основании различных разделителей (пробелов, знаков препинания и т.д.). При этом в состав выделенных слов попадают такие, которые не отвечают смыслу ключевого слова, например, союзы, предлоги, числительные и другие служебные слова;
удаление из полученного списка упомянутых служебных слов. Они известны для каждого естественного языка и заранее включаются в так называемые стоп-словари;
нормализация оставшихся слов, которая состоит в приведении существительных и прилагательных в единственное число, именительный падеж, глагола – в неопределенную форму, причастий и деепричастий – в неопределенную форму глагола и т.д. Кроме того, средствами морфологического анализа слова возможно выделение его основы и использование ее в качестве ключевого слова. Для этого используются обширные лингвистические данные, и вся эта задача в целом носит прикладной лингвистический характер, а потому в данном пособии не рассматривается. В результате получается список ключевых слов (или их основ), подобный тому, что был использован в приведенных ранее примерах (внимательный читатель заметил, что ключевые слова из справочников отличались местами от тех, которые встречались в исходных текстах);
для придания бóльшей значимости выделенным словам присваиваются весовые коэффициенты (веса), которые позволяют числовым образом оценить, насколько хорошо данное слово отражает смысл текста в целом. На практике, как правило, применяются не просто списки ключевых слов, как это было сделано в предыдущих примерах, а списки взвешенных ключевых слов. Методы назначения весов могут быть статистическими и позиционными и рассматриваются далее.

Таким образом, приведенные ранее примеры упрощали представление индексов, а также процедуры просмотра и добавления новых текстов в ТБД: на самом деле они включают и используют веса ключевых слов.

В результате описанных действий формируется список индексационных терминов (далее – терминов) – это ключевые слова, снабженные весами.

4.2.1. Позиционные методы назначения весов

На значение веса термина влияют следующие факторы:

более значимыми являются термины, входящие в заглавие всего текста или его разделов, в начальные абзацы и т.д.;
повышаются веса терминов, входящих в толковые словари по некоторой предметной области, значимой или совпадающей с предметной областью.

К сожалению, в литературе отсутствуют публикации аналитических зависимостей веса термина и его позиции в тексте. Решение данной задачи выполняется эвристическими методами на усмотрение разработчиков соответствующего программного обеспечения.

4.2.2. Статистические методы назначения весов

Используют частотные параметры терминов t^k в тексте D_i, которые характеризуют частоту встречаемости того или иного слова в том или ином тексте. Эти параметры называют частотами и обозначают f_i^k, где i – обозначение текста, k – обозначение термина. Следует иметь в виду, что методы используют абсолютную частоту терминов, т.е. число их появлений. Данные методы включают частотные модели; модель, учитывающую различительную силу термина, и ее модификацию; модель, использующую динамическую оценку информативности.

4.2.2.1. Частотные модели

В применение частоты для оценки значимости термина вкладывают следующий смысл: чем чаще используется тот или иной термин, тем теснее он связан с семантикой текста. Этот тезис побуждает связать вес w_i^k термина t^k в тексте D_i напрямую с частотой, т.е. w_i^k = f_i^k. Однако этого делать нельзя по двум причинам:

бóльшей частотой могут обладать служебные слова типа предлогов, союзов и т.п., которые не связаны с выражением семантики текста;
минимальной частотой могут характеризоваться «узкие» термины, которые хорошо отражают семантику текста.

По этим соображениям формула для расчета веса термина приобретает вид:

w_i^k = f_i^k* К,

где К – коэффициент, который рассчитывается по разным зависимостям в соответствии с разновидностью частотных моделей.

Так, модель, использующую текстовую частоту термина, определяет К:

К = IDF^k,

где IDF^k (Inverse Document Frequency) – обратная частота t^k в наборе из n текстов:

IDF^k =

,

D^k – текстовая частота - число текстов набора из n, в которых есть t^k.

Модель, учитывающая соотношение «сигнал-шум», рассчитывает К как:

,

где N^k – шум термина t^k в наборе из n текстов:

- суммарная частота термина t^k в наборе из n текстов,

S^k - сигнал термина t^k в наборе из n текстов:

.

Модель, учитывающая распределение частоты термина, определяет К по формуле:

,

где

- средняя частота термина t^k в наборе из n текстов:

,

(V^k)² - среднеквадратическое уклонение термина t^k:

4.2.2.2. Модель, учитывающая различительную силу термина

В этой модели «хорошим», т.е. имеющим бóльший вес, считается термин, уменьшающий коэффициент подобия текстов. Вес термина здесь также прямо пропорционален его частоте, однако в расчете коэффициента К учитывается роль термина в усилении или уменьшении подобия текстов, что исключает данный метод из числа частотных.

Введем некоторые понятия:

вектор V_i текста D_i: V_i = {(t^k, f_i^k)} или V_i = {(t^k, w_i^k)};
коэффициент подобия S(D_i, D_j) текстов D_i и D_j:

где T = |{t^k}| - число индексационных терминов.

Коэффициент подобия принимает значения от 0 до 1: при 0 тексты различны, при 1 – полностью идентичны (по смыслу).

В данной модели К = DV^k

где

- различительная сила (Difference Volume) термина t^k:

- среднее значение коэффициента попарного подобия текстов данного набора в присутствии термина t^k:

- то же в отсутствие термина t^k.

Недостатком данной модели является то, что для вычисления средних попарных подобий текстов из набора n текстов требуется n² операций. Модификация этого метода использует понятие пространства текстов и его характеристик - профиля и плотности пространства текстов.

Пространство текстов – множество текстов, каждый из которых характеризуется вектором. Профиль П пространства из n текстов – это виртуальный текст, вектор которого V_П определяется как:

V_П = {(t_П^k, f_П^k)},

где {t_п^k} =

, т.е.множество {t_п^k} индексационных терминов есть объединение индексационных терминов текстов набора,

, т.е. частоты терминов есть усредненные частоты терминов по текстам набора.

Плотность Q пространства текстов:

,

где S(П,D_i) – коэффициент подобия профиля и текста D_i:

Чем больше Q, тем больше сходство между текстами набора.

С использованием плотности пространства Q можно по другому определить различительную силу DV^k термина t^k:

DV^k = Q^k – Q,

где Q^k – плотность пространства текстов, когда термин t^k исключен из всех текстов набора n,

Q - плотность пространства текстов в присутствии термина t^k.

4.2.2.3. Модель, использующая динамическую оценку информативности

Вес w_i^k термина t^k в тексте D_i определяется как:

w_i^k = IV_i^k,

где IV_i^k – информативность (Information Value) термина t^kв тексте D_i, принимает значения от 0 до 2.

И

нформативность того или иного термина определяется экспериментально, а первоначально всем терминам приписываются одинаковые значения информативности, например, равные 1 (точка на рисунке). Таким образом, начальными условиями для динамического назначения информативности для каждого t_i^k являются: IV_i^k = 1 и x_i^k = 0. Тогда в случае полезности термина в процессе его использования его информативность увеличивается, а в случае бесполезности – уменьшается, причем указанные изменения имеют синусоидальный характер.

IV IV=1+sin(x)

0 -/2 0 /2 x

Увеличение (+) или уменьшение (-) информативности выполняется по формуле