Анализ частоты текста — подсчет слов и n-грамм
- Автор метода
- George K. Zipf (frequency-distribution foundation)
- Год
- 1949
- Тип
- Descriptive text-mining analysis
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Анализ частоты текста — это описательный метод интеллектуального анализа текстов, который подсчитывает, как часто слова, n-граммы и фразы встречаются в корпусе, чтобы выявить закономерности содержания и доминирующие темы.
Он основан на представлении о распределении частот, формализованном Джорджем К. Зипфом (Zipf, 1949), согласно которому немногие термины встречаются очень часто, в то время как большинство редки; это одна из самых базовых и широко используемых точек входа в количественный анализ текста.
Интуиция метода
Когда вы читаете корпус текста, слова, которые встречаются снова и снова, говорят вам, о чем он. Анализ частоты текста делает эту интуицию явной и воспроизводимой: вместо беглого просмотра вы подсчитываете каждый токен, каждую последовательность из двух или трех слов и каждую повторяющуюся фразу, а затем ранжируете их по частоте появления. Результатом является таблица частот, которая с первого взгляда выявляет доминирующий словарный запас и темы корпуса без какого-либо субъективного чтения.
История
Анализ частоты текста основан на наблюдении Зипфа (Zipf, 1949) в работе «Human Behavior and the Principle of Least Effort» о том, что частоты слов следуют характерному распределению, где немногие слова встречаются очень часто, а большинство — редко. Мэннинг и Шютце (Manning & Schütze, 1999) в работе «Foundations of Statistical Natural Language Processing» установили подсчет частот как фундаментальный инструмент статистического обработки естественного языка (NLP), на котором строятся более сложные методы, такие как TF-IDF и тематическое моделирование.
Когда применять
Используйте анализ частоты текста, когда у вас есть текстовые данные, и вы хотите получить описательный или исследовательский первый взгляд на доминирующий словарный запас, n-граммы или фразы. Он подходит для кросс-секционных и лонгитюдных корпусов и требует лишь скромного объема текста (около 10 документов или более). Перед этим следует провести надлежащую предварительную обработку — токенизацию, удаление стоп-слов и лемматизацию, и следует помнить, что размер корпуса и разнообразие языка влияют на надежность частот.
Ограничения и замечания
- Размер корпуса и разнообразие языка влияют на надежность частот.
- Сырые подсчеты отражают поверхностный словарный запас, но не контекст, смысл или тональность.
- Результаты сильно зависят от выбора предварительной обработки, такой как списки стоп-слов и лемматизация.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Простой, прозрачный и легкий для интерпретации — это самая базовая точка входа в количественный анализ текста.
- Выявляет закономерности содержания и доминирующие темы непосредственно из сырых подсчетов, без необходимости в размеченных обучающих данных.
- Работает как со словами, так и с n-граммами и фразами, поэтому адаптируется к различным единицам смысла.
Применение
- Идентификация доминирующего словарного запаса и тем коллекции документов.
- Исследование закономерностей n-грамм и фраз в ответах на опросы или транскриптах интервью.
- Профилирование содержания корпусов в области социальных наук, здравоохранения, образования, инженерии и бизнеса.
- Служит описательным первым шагом перед применением более продвинутых методов интеллектуального анализа текстов.
Как это работает
Как это работает
Перед подсчетом сырой текст подготавливается: он токенизируется на слова, удаляются стоп-слова (высокочастотные служебные слова, такие как 'the' или 'and'), а оставшиеся токены лемматизируются к общей базовой форме. Последовательная предварительная обработка делает итоговые подсчеты сопоставимыми и осмысленными, а не доминируемыми грамматическим наполнителем.
Каждая единица интереса подсчитывается по всему корпусу. Отдельные токены подсчитываются для частоты слов, последовательности соседних токенов подсчитываются для частоты n-грамм (биграммы, триграммы), а повторяющиеся многословные выражения подсчитываются как фразы. Результатом этого этапа является сырой подсчет для каждого отдельного термина.
Подсчитанные термины упорядочиваются от наиболее к наименее частотным, обычно представляются в виде списка наиболее распространенных. Этот ранжированный вид демонстрирует характерное распределение — небольшая группа очень частых терминов и длинный хвост редких, в соответствии с законом Зипфа.
Ранжированные частоты анализируются на предмет закономерностей содержания и доминирующих тем. Размер корпуса и разнообразие его языка влияют на надежность подсчетов, поэтому интерпретация учитывает масштаб корпуса и длинный хвост редких слов, а не чрезмерно интерпретирует любой отдельный подсчет.
Частые ошибки
- Пропуск предварительной обработки приводит к тому, что высокочастотные служебные слова и словоформы одного и того же слова доминируют в таблице и скрывают реальное содержание.
- Чтение частот из слишком маленького или слишком узкого корпуса дает нестабильные подсчеты, которые не обобщаются.
- Чрезмерная интерпретация длинного хвоста — редкие термины (хвост Зипфа) несут слабый частотный сигнал и легко принимаются за шум или смысл.
- Сравнение сырых подсчетов по корпусам разного размера без нормализации приводит к ошибочным выводам.
Часто задаваемые вопросы
Что на самом деле подсчитывает анализ частоты текста?
Он подсчитывает, как часто отдельные слова, последовательности соседних слов (n-граммы, такие как биграммы и триграммы) и повторяющиеся фразы появляются в корпусе, а затем ранжирует их. Результатом является таблица частот, которая выявляет доминирующие термины и темы.
Почему мне нужно сначала предварительно обработать текст?
Без токенизации, удаления стоп-слов и лемматизации высокочастотные служебные слова и словоформы одного и того же слова доминируют в подсчетах и скрывают реальное содержание. Последовательная предварительная обработка делает частоты сопоставимыми и осмысленными.
Что такое закон Зипфа и почему он здесь важен?
Закон Зипфа описывает типичную закономерность, при которой небольшое количество слов встречается очень часто, а большинство слов — редко, образуя длинный хвост. Он объясняет форму ранжированного списка частот и предостерегает от чрезмерной интерпретации хвоста редких слов.
Сколько текста мне нужно?
Скромный корпус примерно из десяти документов или более является рабочим, но размер корпуса и разнообразие языка влияют на надежность частот — более крупные и репрезентативные корпуса дают более стабильные подсчеты.
Похожие методы
Источники
Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.
Открыть ссылку на публикациюСкопировано.Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Скопировано.