Skip to content
Voltar aos resultados

TF-IDF — Frequência de Termo–Frequência Inversa de Documento

Proposto por
Salton & Buckley
Ano
1988
Tipo
Text vectorization / term-weighting scheme

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O TF-IDF, introduzido por Salton e Buckley (1988), é um esquema de ponderação de termos que atribui uma pontuação a cada palavra em um documento com base na frequência com que aparece nele e na sua raridade em toda a coleção.

Ele transforma texto bruto em vetores de documentos ponderados, atribuindo alto peso a termos que são frequentes em um documento, mas incomuns em outros.

A intuição por trás do método

Nem toda palavra que aparece com frequência é informativa — palavras como "o" aparecem em todos os lugares e dizem pouco sobre o que um documento trata. O TF-IDF capta a ideia de que um termo é mais importante quando é frequente dentro de um documento específico, mas raro no restante da coleção. Ao multiplicar a frequência com que um termo aparece localmente pela sua distintividade global, o esquema destaca as palavras que realmente caracterizam cada documento e desvaloriza as comuns.

História

O TF-IDF surgiu do trabalho de recuperação de informação de Salton e Buckley (1988), que compararam sistematicamente abordagens de ponderação de termos para recuperação automática de texto e estabeleceram a combinação de frequência de termo com frequência inversa de documento como um esquema eficaz de representação de documentos. Tornou-se uma linha de base fundamental para a vetorização de texto e continua amplamente utilizado como uma representação de características transparente.

Quando usar

Use TF-IDF quando você tem um corpus de texto e precisa transformar documentos em características numéricas para recuperação, classificação ou comparação de similaridade. Ele se baseia na suposição de saco de palavras e requer pré-processamento de texto antecipadamente. A coleção deve ser razoavelmente grande — com menos de cerca de 100 documentos, os pesos IDF se tornam instáveis e uma análise simples de frequência de palavras é mais confiável. Sem dados de texto, o TF-IDF não pode ser computado.

Limitações e considerações

  • Baseia-se na suposição de saco de palavras e ignora a ordem das palavras e o contexto.
  • Os pesos IDF tornam-se instáveis e sem sentido em corpora muito pequenos.
  • Requer pré-processamento de texto cuidadoso; tokens ruidosos degradam os pesos.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Simples, rápido e interpretável — cada peso é diretamente rastreável à frequência local e raridade global.
  • Transforma texto bruto em vetores de documentos numéricos utilizáveis por métodos de busca, classificação e agrupamento.
  • Desvaloriza palavras ubíquas e não informativas, enquanto destaca termos que distinguem um documento.

Aplicações

  • Representar documentos como vetores de características para classificação de texto.
  • Classificar e recuperar documentos em aplicações de busca.
  • Identificar as palavras-chave mais distintivas que caracterizam um documento.
  • Construir entradas para agrupamento de documentos e comparação de similaridade.

Como funciona

Como funciona

1

O corpus de texto é limpo e tokenizado em termos — o texto é normalizado e dividido nas unidades de palavras que serão ponderadas. Como o TF-IDF se baseia na suposição de saco de palavras (bag-of-words), o pré-processamento consistente em todos os documentos é o que torna as contagens resultantes comparáveis.

2

Para cada documento, a frequência de termo (TF) conta quantas vezes cada termo ocorre nesse documento. Um termo que aparece muitas vezes dentro de um único documento recebe um peso local maior, refletindo o quão central ele é para o conteúdo desse documento.

3

Em toda a coleção, a frequência inversa de documento (IDF) mede a raridade de cada termo — termos que aparecem em muitos documentos recebem IDF baixo, enquanto termos restritos a poucos documentos recebem IDF alto. Isso suprime palavras ubíquas e não informativas e recompensa as distintivas.

4

Os componentes TF e IDF são combinados em um único peso por termo, e cada documento se torna um vetor dessas pontuações ponderadas. Os vetores documento-termo resultantes são a representação que as tarefas subsequentes — busca, classificação, agrupamento — consomem.

Erros comuns

  • Executar TF-IDF em um corpus com menos de ~100 documentos — os pesos IDF se tornam sem sentido, então recorra a uma análise simples de frequência de palavras em vez disso.
  • Omissão ou pré-processamento inconsistente entre os documentos, o que torna as contagens de termos incomparáveis.
  • Tentar aplicar TF-IDF quando não há dados de texto — a codificação categórica com análise de conteúdo é a rota apropriada.
  • Esperar que o TF-IDF capture significado ou contexto: ele pondera termos isolados e não pode modelar a ordem das palavras ou a semântica.

Perguntas frequentes

O que o TF e o IDF medem cada um?

A frequência de termo (TF) mede quantas vezes um termo aparece dentro de um único documento, capturando o quão central ele é localmente. A frequência inversa de documento (IDF) mede a raridade do termo em toda a coleção, desvalorizando palavras que aparecem em muitos documentos. Multiplicá-los atribui alto peso a termos que são frequentes em um documento, mas incomuns em outros.

Qual o tamanho necessário para o meu corpus?

O TF-IDF necessita de uma coleção razoavelmente grande — aproximadamente 100 documentos ou mais. Abaixo disso, os pesos IDF tornam-se instáveis e perdem o sentido, e uma análise mais simples de frequência de palavras é a escolha mais confiável.

O TF-IDF compreende significado ou contexto?

Não. O TF-IDF baseia-se na suposição de saco de palavras: ele pondera termos individuais por frequência e raridade e ignora a ordem das palavras, a sintaxe e a semântica. Para contexto ou similaridade semântica, métodos de incorporação (embedding) como Word2Vec são mais apropriados.

Que pré-processamento ele requer?

O corpus deve ser limpo e tokenizado de forma consistente antes da ponderação — normalizando o texto e dividindo-o em unidades de termos comparáveis. Omitir esta etapa deixa tokens ruidosos que degradam os pesos.

Métodos relacionados

Fontes

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    Abrir referência DOI
    Copiado.