Skip to content
Назад к результатам поиска

TF-IDF — частота термов-обратная частота документов

Автор метода
Salton & Buckley
Год
1988
Тип
Text vectorization / term-weighting scheme

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

TF-IDF, предложенный Сэлтоном и Бакли (Salton and Buckley, 1988), представляет собой схему взвешивания термов, которая оценивает каждое слово в документе по тому, как часто оно там встречается и насколько оно редко встречается во всей коллекции.

Он преобразует необработанный текст во взвешенные векторы документов, присваивая большой вес терминам, которые часто встречаются в одном документе, но редко — в других.

Интуиция метода

Не каждое часто встречающееся слово является информативным — такие слова, как «the», встречаются повсеместно и мало что говорят о содержании документа. TF-IDF воплощает идею о том, что термин наиболее важен, когда он часто встречается в конкретном документе, но при этом редок во всей остальной коллекции. Путем умножения частоты появления термина локально на его отличительность глобально, схема выделяет слова, которые действительно характеризуют каждый документ, и снижает вес общеупотребительных.

История

TF-IDF возник из работ по информационному поиску Сэлтона и Бакли (Salton and Buckley, 1988), которые систематически сравнивали подходы к взвешиванию терминов для автоматического поиска текста и установили, что комбинация частоты терминов с обратной частотой документов является эффективной схемой представления документов. Он стал основополагающим эталоном для векторизации текста и остается широко используемым в качестве прозрачного представления признаков.

Когда применять

Используйте TF-IDF, когда у вас есть текстовый корпус и вам нужно преобразовать документы в числовые признаки для поиска, классификации или сравнения сходства. Он основан на предположении «мешка слов» и требует предварительной обработки текста. Коллекция должна быть достаточно большой — при менее чем примерно 100 документах веса IDF становятся нестабильными, и более надежным является простой анализ частоты слов. При отсутствии текстовых данных TF-IDF не может быть вычислен.

Ограничения и замечания

  • Основывается на предположении «мешка слов» и игнорирует порядок слов и контекст.
  • Веса IDF становятся нестабильными и бессмысленными на очень малых корпусах.
  • Требует тщательной предварительной обработки текста; зашумленные токены ухудшают веса.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Простой, быстрый и интерпретируемый — каждый вес напрямую прослеживается до локальной частоты и глобальной редкости.
  • Преобразует необработанный текст в числовые векторы документов, пригодные для методов поиска, классификации и кластеризации.
  • Снижает вес повсеместных, неинформативных слов, выделяя термины, которые отличают документ.

Применение

  • Представление документов в виде векторов признаков для классификации текста.
  • Ранжирование и извлечение документов в поисковых приложениях.
  • Идентификация наиболее отличительных ключевых слов, характеризующих документ.
  • Создание входных данных для кластеризации документов и сравнения сходства.

Как это работает

Как это работает

1

Текстовый корпус очищается и токенизируется на термины — текст нормализуется и разбивается на единицы слов, которые будут взвешиваться. Поскольку TF-IDF основывается на предположении «мешка слов» (bag-of-words), последовательная предварительная обработка всех документов делает полученные счетчики сопоставимыми.

2

Для каждого документа частота термов (TF) подсчитывает, как часто каждый термин встречается в этом документе. Термин, который многократно появляется в одном документе, получает более высокий локальный вес, отражая его центральную роль в содержании этого документа.

3

Во всей коллекции обратная частота документов (IDF) измеряет, насколько редок каждый термин — термины, появляющиеся во многих документах, получают низкий IDF, в то время как термины, ограниченные несколькими документами, получают высокий IDF. Именно это подавляет повсеместные, неинформативные слова и поощряет отличительные.

4

Компоненты TF и IDF объединяются в единый вес для каждого термина, и каждый документ становится вектором этих взвешенных оценок. Полученные векторы «документ-термин» являются представлением, которое потребляют последующие задачи — поиск, классификация, кластеризация.

Частые ошибки

  • Запуск TF-IDF на корпусе менее ~100 документов — веса IDF становятся бессмысленными, поэтому вместо этого следует вернуться к простому анализу частоты слов.
  • Пропуск или непоследовательная предварительная обработка документов, что делает подсчеты терминов несопоставимыми.
  • Попытка применить TF-IDF при отсутствии текстовых данных — категориальное кодирование с контент-анализом является более подходящим путем.
  • Ожидание от TF-IDF улавливания смысла или контекста: он взвешивает изолированные термины и не может моделировать порядок слов или семантику.

Часто задаваемые вопросы

Что измеряют TF и IDF по отдельности?

Частота термов (TF) измеряет, как часто термин появляется в одном документе, отражая его локальную центральность. Обратная частота документов (IDF) измеряет, насколько редок термин во всей коллекции, снижая вес слов, которые появляются во многих документах. Их умножение дает большой вес терминам, которые часто встречаются в одном документе, но редко — в других.

Насколько большим должен быть мой корпус?

TF-IDF требует достаточно большой коллекции — примерно 100 документов или более. При меньшем количестве веса IDF становятся нестабильными и теряют смысл, и более надежным выбором является более простой анализ частоты слов.

Понимает ли TF-IDF смысл или контекст?

Нет. TF-IDF основывается на предположении «мешка слов»: он взвешивает отдельные термины по частоте и редкости и игнорирует порядок слов, синтаксис и семантику. Для контекста или семантического сходства более подходят методы встраивания, такие как Word2Vec.

Какая предварительная обработка требуется?

Корпус должен быть очищен и токенизирован последовательно перед взвешиванием — нормализация текста и разбиение его на сопоставимые единицы терминов. Пропуск этого шага оставляет зашумленные токены, которые ухудшают веса.

Похожие методы

Источники

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    Открыть ссылку DOI
    Скопировано.