Спектральное оценивание лексических единиц в задачах лингвистического моделирования.

Илья Зябрев, Олег Пожарков

В области лингвистического моделирования неизбежно возникают задачи, связанные с оцениванием лексических единиц. Наиболее распространенной мерой, используемой для этой цели, является обратная частота документа (IDF), равная отношению количества всех документов некоторой коллекции к числу документов, в которых встречается оцениваемая лексема. Основным недостатком данной оценки является ее независимость от частоты слова внутри документа. Частично данная проблема решается использованием TF*IDF, где TF - относительная частота слова внутри оцениваемого документа, но при этом частота слова в других документах не учитывается.

В настоящей статье предлагается метод оценивания лексических единиц, учитывающий их внутренние частоты во всех документах коллекции.

Введем основные определения и обозначения:

• Лексическая единица (лексема) - слово как самостоятельная единица языка, рассматриваемая во всей совокупности своих форм и значений.
• Лемма L_k – каноническая форма лексемы k, k=1..M (M-размерность множества лемм коллекции документов).
• Встречаемость леммы в документе (внутренняя частота леммы IF(L_k,d)) – число вхождений леммы L_k в документ d, где =1..D (D-размерность множества документов коллекции).
• Условная частота леммы – число документов удовлетворяющих заданным условиям. В данном исследовании будут использоваться следующие условия:
  1. Лемма L_k имеет встречаемость IF(L_k,d)=v:
  
  CLF(L_k,v)=card(d|IF(L_k,d)=v) (1.1),
  
  где card(d|A) -число документов коллекции удовлетворяющих условию A, v – целое число. Т.е. CLF(L_k,v) – число документов коллекции, в которых лемма L_k встречается v раз.
  2. Лемма L_k имеет встречаемость IF(L_k,d)>=v
  
  CLF2(L_k,v)=card(d|IF(L_k,d)>=v) (1.2)
  
  Т.е. CLF2(L_k, v) – число документов коллекции, в которых лемма L_k встречается не менее v раз.
• Абсолютная частота слова AF(L_k) – число вхождений леммы некоторого слова во все документы коллекции.
  
• Абсолютная документальная частота слова DF_k – число документов, в которые некоторая лемма входит не менее 1 раза:
  
  DF(L_k)=CLF2(L_k,1) (3)
  
  
• Относительная условная частота леммы RCLF – отношение условной частоты леммы некоторого слова к его абсолютной частоте:
  
  Для примера обычная IDF во введенных понятиях будет равна отношению размерности множества документов коллекции к условной частоте документа вида:
  
  
• По аналогии с обратной частотой документа введем обратную условную частоту леммы:
  
• Спектр внутренних частот (встречаемости) лемм – зависимость относительных условных частот от встречаемости леммы в документе:
  
  F(L_k,v)=RCLF(L_k,v), при v<V
  F(L_k,v)=RCLF2(L_k,v), при v>=V (7),
  
  где V – предельная встречаемость леммы (глубина построения распределения).

Полученное таким образом распределение (спектр) является векторной оценкой лексем, зависящей от их встречаемости в документе. Еще одной особенностью спектра является то, что диапазон его значений для каждого слова принадлежит интервалу [0,1], что открывает ряд возможностей, таких как сравнительный статистический анализ различных слов, частотная классификация лексем и пр.

Кроме векторной оценки для каждого слова определены две скалярные характеристики: абсолютная частота слова и абсолютная документальная частота слова, которые, по сути, являются мерой распространенности слова в коллекции.

Построим спектры лемм наиболее часто встречающихся в поисковых запросах слов из различных тематических категорий. Для оценивания условных частот будем использовать следующие коллекции документов:

• Веб коллекция KM.ru 2007. Копия мультипортала www.km.ru объемом 3 000 000 документов.
• Веб коллекция BY.web 2007. Коллекция представляет собой выборку из страниц домена .by, присутствовавших в индексе поисковой системы Яндекс по состоянию на май 2007 года.

По всем документам из представленных коллекций была построена база данных содержащая для каждой леммы слов, встречающихся в коллекции следующую информацию:

• Лемма слова L_k
• Условные частоты леммы CLF(L_k, v), для v=1..50 и CLF2(L_k,51)
• Абсолютная документальная частота слова DF(L_k)
• Абсолютная частота слова AF(L_k)

По формулам (4), (5) для каждой леммы был вычислен ее спектр. Далее был проведен корреляционный анализ, целью которого было выявление возможных связей с IDF-метрикой. Результаты анализа представлены в таблице 1.

Как видно, тесная связь присутствует только между абсолютной документальной частотой слова и его абсолютной частотой, в остальных случаях связь слабая.

Далее была выполнена кластеризация лемм по их спектрам, на основании которой было получено ограниченное число групп слов со схожими внутригрупповыми спектрами. В зависимости от точности кластеризации число групп варьировалось от 6 (при грубой кластеризации) до 17 (при максимальной точности). Внутри каждой группы был проведен повторный корреляционный анализ, который дал следующие результаты (Таблица 2):

В таблице 2 жирно выделены коэффициенты корреляции, характеризующие сильную положительную связь. Для каждой группы они приходятся на пиковые (модальные) частоты спектра. Выявленная особенность говорит о том, что для документов, встречаемость оцениваемого слова в которых совпадает с пиковыми частотами спектра, IDF-оценка будет эквивалентна оценке построенной на основе спектра слова. Другим словами для таких документов тот факт, что IDF-метрика не использует информацию о встречаемости слова внутри документа будет некритична. А для всех остальных документов IDF-метрика с точки зрения учета внутренних частот лексем будет несостоятельна. При этом в зависимости от группы на пиковые частоты приходится приблизительно от 40% до 80% всех документов коллекций.

Для наглядности сделаем выборку лексем из популярных однословных запросов различных тематических категорий, взятых из рейтингов SeoRate.ru (Таблица 3):

Запрос	Обращений в месяц	% в тематике	Тематика
покер	84 078	12.878	Азартные игры
слот	44 284	6.783	Азартные игры
казино	36 817	5.639	Азартные игры
киноафиша	95 246	12.770	Афиша (развлечения)
кинотеатры	61 266	8.214	Афиша (развлечения)
клуб	49 381	6.620	Афиша (развлечения)
кредит	68 971	9.863	Банки и кредиты
ипотека	38 200	5.463	Банки и кредиты
автокредит	32 687	4.674	Банки и кредиты
акции	32 419	5.222	Бизнес, финансы, инвестиции
брокер	13 624	2.194	Бизнес, финансы, инвестиции
облигации	12 341	1.988	Бизнес, финансы, инвестиции
авиабилеты	156 470	10.209	Билеты (авиа, жд)
холодильники	95 156	5.431	Бытовая техника
пылесосы	43 267	2.469	Бытовая техника
вытяжка	14 784	0.844	Бытовая техника
грузоперевозки	93 770	17.153	Грузоперевозки
перевозки	20 105	3.678	Грузоперевозки
автоперевозки	11 429	2.091	Грузоперевозки
двери	72 341	11.336	Двери
замки	32 649	5.116	Двери
цветы	752 078	50.526	Доставка цветов
розы	251 293	16.882	Доставка цветов
букеты	44 693	3.003	Доставка цветов
рецепты	142 281	5.829	Здоровье
диета	127 767	5.234	Здоровье
грибы	66 009	2.704	Здоровье
витамины	57 076	2.338	Здоровье
еда	55 905	2.290	Здоровье
знакомства	1 088 010	54.306	Знакомства
автосалоны	68 931	2.304	Иномарки
рено	56 740	1.896	Иномарки

На рисунках 1-6 представлены сгруппированные лексемы по результатам кластерного анализа их спектров.

Рисунок 1. Спектры группы 1
Рисунок 2. Спектры группы 2
Рисунок 3. Спектры группы 3
Рисунок 4. Спектры группы 4
Рисунок 5. Спектры группы 5
Рисунок 6. Спектры группы 6

Если для первых четырех групп характерно максимальное (модальное) значение относительной условной величины при встречаемости равной 1, то для двух последних оно приходится на другие внутренние частоты. Если оценивать «важность» слов по аналогии с IDF-метрикой, т.е. за оценку брать обратную условную частоту лексемы, соответствующую ее встречаемости в исследуемом документе, то для групп 5,6 такая оценка не будет монотонно возрастающей, в отличие от TF-IDF-метрики. И в таких случаях результаты решения задач лингвистического моделирования с использованием спектральных оценок могут существенно отличаться от традиционных.

Предложенные в данной статье характеристики могут использоваться для различных задач лингвистического моделирования, связанных с оцениванием лексем, когда требуется учитывать информацию об их внутренних частотах во всех документах исследуемой коллекции. Спектр лексем может также использоваться в различных классификационных задачах. Возможным направлением для дальнейшего исследования в этой области является построение и анализ двумерного распределения лексем по документам коллекции.