Методы статистического анализа текста
Информация - Иностранные языки
Другие материалы по предмету Иностранные языки
правильно сформировать и подобрать ключевые слова нужно сперва провести аналитическую работу, а именно выявить какие именно запросы являются наиболее частыми. Важно не только какие именно пользователи сети ищут слова, а в каких именно падежах и числах они их употребляют.
Зная все вышеперечисленные правила можно создавать сайты, рейтинг которых по посещаемости будет гораздо выше конкурентов.
3. Закон Бредфорда - Ципфа
В конце 40-х годов прошлого столетия Дж. Ципф, собрав огромный статистический материал, попытался показать, что распределение слов естественного языка подчиняется одному простому закону, который можно сформулировать следующим образом. Если к какому-либо достаточно большому тексту составить список всех встретившихся в нем слов, затем расположить эти слова в порядке убывания частоты их встречаемости в данном тексте и пронумеровать в порядке от 1 (порядковый номер наиболее часто встречающегося слова) до R, то для любого слова произведение его порядкового номера (ранга) в таком списке и частоты его встречаемости в тексте будет величиной постоянной, имеющей примерно одинаковое значение для любого слова из этого списка. Аналитически закон Ципфа может быть выражен в виде:
= c,
где f - частота встречаемости слова в тексте;- ранг (порядковый номер) слова в списке;
с - эмпирическая постоянная величина.
Полученная зависимость графически выражается гиперболой. Исследовав таким образом самые разнообразные тексты и языки, в том числе языки тысячелетней давности, Дж. Ципф для каждого из них построил указанные зависимости, при этом все кривые имели одинаковую форму - форму гиперболической лестницы, т.е. при замене одного текста другим общий характер распределения не изменялся.
Закон Ципфа был открыт экспериментально. Позднее Б. Мандельброт предложил его теоретическое обоснование. Он полагал, что можно сравнивать письменный язык с кодированием, причем все знаки должны иметь определенную стоимость. Исходя из требований минимальной стоимости сообщений, Б. Мандельброт математическим путем пришел к аналогичной закону Ципфа зависимости
? = c ,
где ? - величина (близкая к единице), которая может изменяться в зависимости от свойств текста.
Дж. Ципфом и другими исследователями было установлено, что такому распределению подчиняются не только все естественные языки мира, но и другие явления социального и биологического характера: распределения ученых по числу опубликованных ими статей (А. Лотка, 1926 г.), городов США по численности населения (Дж. Ципф, 1949 г.), населения по размерам дохода в капиталистических странах (В. Парето, 1897 г.), биологических родов по численности видов (Дж. Уиллис, 1922 г.) и др.
Самым важным для рассматриваемой проблемы является тот факт, что и документы внутри какой-либо отрасли знаний могут распределяться согласно этому закону. Частным случаем его является закон Бредфорда, непосредственно связанный уже не с распределением слов в тексте, а с распределением документов внутри какой-либо тематической области.
Английский химик и библиограф С. Бредфорд, исследуя статьи по прикладной геофизике и смазке, заметил, что распределения научных журналов, содержащих статьи по смазке, и журналов, содержащих статьи по прикладной геофизике, имеют общий вид. На основании установленного факта С. Бредфорд сформулировал закономерность распределения публикаций по изданиям.
Основной смысл закономерности состоит в следующем: если научные журналы расположить в порядке убывания числа статей по конкретному вопросу, то журналы в полученном списке можно разбить на три зоны таким образом, чтобы количество статей в каждой зоне по заданному предмету было одинаковым. При этом в первую зону, так называемую зону ядра, входят профильные журналы, непосредственно посвященные рассматриваемой тематике. Количество профильных журналов в зоне ядра невелико. Вторую зону образуют журналы, частично посвященные заданной области, причем число их существенно возрастает по сравнению с числом журналов в ядре. Третья зона, самая большая по количеству изданий, объединяет журналы, тематика которых весьма далека от рассматриваемого предмета.
Таким образом, при равном числе публикаций по определенной тематике в каждой зоне число наименований журналов резко возрастает при переходе от одной зоны к другой. С. Бредфорд установил, что количество журналов в третьей зоне будет примерно во столько раз больше, чем во второй зоне, во сколько раз число наименований во второй зоне больше, чем в первой. Если обозначить р1 как число журналов в 1-й зоне, р2 - во 2-й, р3 - число журналов в 3-й зоне. Если a - отношение количества журналов 2-й зоны к числу журналов 1-й зоны, то закономерность, вскрытая С. Бредфордом, может быть записана так:
: P2 : P3 = 1 : a : a2
или: P2 = P2 : P1 = a.
Эту зависимость называют законом Бредфорда.
Б. Викери уточнил модель С. Бредфорда. Он выяснил, что журналы, проранжированные (выстроенные) в порядке уменьшения в них статей по конкретному вопросу, можно разбить не на три зоны, а на любое нужное число зон. Если периодические издания расположить в порядке уменьшения в них количества статей по конкретному вопросу, то в полученном списке можно выделить ряд зон, каждая из которых содержит одинаковое количество статей. Примем следующие обозначения х - количество статей в каждой зоне. Тx - количество журналов, содержащих х статей, Т2x - количество журналов, содержащих 2х статей, т.е. сумма наименований журнал?/p>