Skip to content
Назад к результатам поиска

Анализ частоты текста — подсчет слов и n-грамм

Автор метода
George K. Zipf (frequency-distribution foundation)
Год
1949
Тип
Descriptive text-mining analysis

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Анализ частоты текста — это описательный метод интеллектуального анализа текстов, который подсчитывает, как часто слова, n-граммы и фразы встречаются в корпусе, чтобы выявить закономерности содержания и доминирующие темы.

Он основан на представлении о распределении частот, формализованном Джорджем К. Зипфом (Zipf, 1949), согласно которому немногие термины встречаются очень часто, в то время как большинство редки; это одна из самых базовых и широко используемых точек входа в количественный анализ текста.

Интуиция метода

Когда вы читаете корпус текста, слова, которые встречаются снова и снова, говорят вам, о чем он. Анализ частоты текста делает эту интуицию явной и воспроизводимой: вместо беглого просмотра вы подсчитываете каждый токен, каждую последовательность из двух или трех слов и каждую повторяющуюся фразу, а затем ранжируете их по частоте появления. Результатом является таблица частот, которая с первого взгляда выявляет доминирующий словарный запас и темы корпуса без какого-либо субъективного чтения.

История

Анализ частоты текста основан на наблюдении Зипфа (Zipf, 1949) в работе «Human Behavior and the Principle of Least Effort» о том, что частоты слов следуют характерному распределению, где немногие слова встречаются очень часто, а большинство — редко. Мэннинг и Шютце (Manning & Schütze, 1999) в работе «Foundations of Statistical Natural Language Processing» установили подсчет частот как фундаментальный инструмент статистического обработки естественного языка (NLP), на котором строятся более сложные методы, такие как TF-IDF и тематическое моделирование.

Когда применять

Используйте анализ частоты текста, когда у вас есть текстовые данные, и вы хотите получить описательный или исследовательский первый взгляд на доминирующий словарный запас, n-граммы или фразы. Он подходит для кросс-секционных и лонгитюдных корпусов и требует лишь скромного объема текста (около 10 документов или более). Перед этим следует провести надлежащую предварительную обработку — токенизацию, удаление стоп-слов и лемматизацию, и следует помнить, что размер корпуса и разнообразие языка влияют на надежность частот.

Ограничения и замечания

  • Размер корпуса и разнообразие языка влияют на надежность частот.
  • Сырые подсчеты отражают поверхностный словарный запас, но не контекст, смысл или тональность.
  • Результаты сильно зависят от выбора предварительной обработки, такой как списки стоп-слов и лемматизация.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Простой, прозрачный и легкий для интерпретации — это самая базовая точка входа в количественный анализ текста.
  • Выявляет закономерности содержания и доминирующие темы непосредственно из сырых подсчетов, без необходимости в размеченных обучающих данных.
  • Работает как со словами, так и с n-граммами и фразами, поэтому адаптируется к различным единицам смысла.

Применение

  • Идентификация доминирующего словарного запаса и тем коллекции документов.
  • Исследование закономерностей n-грамм и фраз в ответах на опросы или транскриптах интервью.
  • Профилирование содержания корпусов в области социальных наук, здравоохранения, образования, инженерии и бизнеса.
  • Служит описательным первым шагом перед применением более продвинутых методов интеллектуального анализа текстов.

Как это работает

Как это работает

1

Перед подсчетом сырой текст подготавливается: он токенизируется на слова, удаляются стоп-слова (высокочастотные служебные слова, такие как 'the' или 'and'), а оставшиеся токены лемматизируются к общей базовой форме. Последовательная предварительная обработка делает итоговые подсчеты сопоставимыми и осмысленными, а не доминируемыми грамматическим наполнителем.

2

Каждая единица интереса подсчитывается по всему корпусу. Отдельные токены подсчитываются для частоты слов, последовательности соседних токенов подсчитываются для частоты n-грамм (биграммы, триграммы), а повторяющиеся многословные выражения подсчитываются как фразы. Результатом этого этапа является сырой подсчет для каждого отдельного термина.

3

Подсчитанные термины упорядочиваются от наиболее к наименее частотным, обычно представляются в виде списка наиболее распространенных. Этот ранжированный вид демонстрирует характерное распределение — небольшая группа очень частых терминов и длинный хвост редких, в соответствии с законом Зипфа.

4

Ранжированные частоты анализируются на предмет закономерностей содержания и доминирующих тем. Размер корпуса и разнообразие его языка влияют на надежность подсчетов, поэтому интерпретация учитывает масштаб корпуса и длинный хвост редких слов, а не чрезмерно интерпретирует любой отдельный подсчет.

Частые ошибки

  • Пропуск предварительной обработки приводит к тому, что высокочастотные служебные слова и словоформы одного и того же слова доминируют в таблице и скрывают реальное содержание.
  • Чтение частот из слишком маленького или слишком узкого корпуса дает нестабильные подсчеты, которые не обобщаются.
  • Чрезмерная интерпретация длинного хвоста — редкие термины (хвост Зипфа) несут слабый частотный сигнал и легко принимаются за шум или смысл.
  • Сравнение сырых подсчетов по корпусам разного размера без нормализации приводит к ошибочным выводам.

Часто задаваемые вопросы

Что на самом деле подсчитывает анализ частоты текста?

Он подсчитывает, как часто отдельные слова, последовательности соседних слов (n-граммы, такие как биграммы и триграммы) и повторяющиеся фразы появляются в корпусе, а затем ранжирует их. Результатом является таблица частот, которая выявляет доминирующие термины и темы.

Почему мне нужно сначала предварительно обработать текст?

Без токенизации, удаления стоп-слов и лемматизации высокочастотные служебные слова и словоформы одного и того же слова доминируют в подсчетах и скрывают реальное содержание. Последовательная предварительная обработка делает частоты сопоставимыми и осмысленными.

Что такое закон Зипфа и почему он здесь важен?

Закон Зипфа описывает типичную закономерность, при которой небольшое количество слов встречается очень часто, а большинство слов — редко, образуя длинный хвост. Он объясняет форму ранжированного списка частот и предостерегает от чрезмерной интерпретации хвоста редких слов.

Сколько текста мне нужно?

Скромный корпус примерно из десяти документов или более является рабочим, но размер корпуса и разнообразие языка влияют на надежность частот — более крупные и репрезентативные корпуса дают более стабильные подсчеты.

Похожие методы

Источники

  1. Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.

    Открыть ссылку на публикацию
    Скопировано.
  2. Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    ISBN: 9780262133609
    Скопировано.