TF-IDF — Frequência de Termo–Frequência Inversa de Documento
- Proposto por
- Salton & Buckley
- Ano
- 1988
- Tipo
- Text vectorization / term-weighting scheme
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O TF-IDF, introduzido por Salton e Buckley (1988), é um esquema de ponderação de termos que atribui uma pontuação a cada palavra em um documento com base na frequência com que aparece nele e na sua raridade em toda a coleção.
Ele transforma texto bruto em vetores de documentos ponderados, atribuindo alto peso a termos que são frequentes em um documento, mas incomuns em outros.
A intuição por trás do método
Nem toda palavra que aparece com frequência é informativa — palavras como "o" aparecem em todos os lugares e dizem pouco sobre o que um documento trata. O TF-IDF capta a ideia de que um termo é mais importante quando é frequente dentro de um documento específico, mas raro no restante da coleção. Ao multiplicar a frequência com que um termo aparece localmente pela sua distintividade global, o esquema destaca as palavras que realmente caracterizam cada documento e desvaloriza as comuns.
História
O TF-IDF surgiu do trabalho de recuperação de informação de Salton e Buckley (1988), que compararam sistematicamente abordagens de ponderação de termos para recuperação automática de texto e estabeleceram a combinação de frequência de termo com frequência inversa de documento como um esquema eficaz de representação de documentos. Tornou-se uma linha de base fundamental para a vetorização de texto e continua amplamente utilizado como uma representação de características transparente.
Quando usar
Use TF-IDF quando você tem um corpus de texto e precisa transformar documentos em características numéricas para recuperação, classificação ou comparação de similaridade. Ele se baseia na suposição de saco de palavras e requer pré-processamento de texto antecipadamente. A coleção deve ser razoavelmente grande — com menos de cerca de 100 documentos, os pesos IDF se tornam instáveis e uma análise simples de frequência de palavras é mais confiável. Sem dados de texto, o TF-IDF não pode ser computado.
Limitações e considerações
- Baseia-se na suposição de saco de palavras e ignora a ordem das palavras e o contexto.
- Os pesos IDF tornam-se instáveis e sem sentido em corpora muito pequenos.
- Requer pré-processamento de texto cuidadoso; tokens ruidosos degradam os pesos.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Simples, rápido e interpretável — cada peso é diretamente rastreável à frequência local e raridade global.
- Transforma texto bruto em vetores de documentos numéricos utilizáveis por métodos de busca, classificação e agrupamento.
- Desvaloriza palavras ubíquas e não informativas, enquanto destaca termos que distinguem um documento.
Aplicações
- Representar documentos como vetores de características para classificação de texto.
- Classificar e recuperar documentos em aplicações de busca.
- Identificar as palavras-chave mais distintivas que caracterizam um documento.
- Construir entradas para agrupamento de documentos e comparação de similaridade.
Como funciona
Como funciona
O corpus de texto é limpo e tokenizado em termos — o texto é normalizado e dividido nas unidades de palavras que serão ponderadas. Como o TF-IDF se baseia na suposição de saco de palavras (bag-of-words), o pré-processamento consistente em todos os documentos é o que torna as contagens resultantes comparáveis.
Para cada documento, a frequência de termo (TF) conta quantas vezes cada termo ocorre nesse documento. Um termo que aparece muitas vezes dentro de um único documento recebe um peso local maior, refletindo o quão central ele é para o conteúdo desse documento.
Em toda a coleção, a frequência inversa de documento (IDF) mede a raridade de cada termo — termos que aparecem em muitos documentos recebem IDF baixo, enquanto termos restritos a poucos documentos recebem IDF alto. Isso suprime palavras ubíquas e não informativas e recompensa as distintivas.
Os componentes TF e IDF são combinados em um único peso por termo, e cada documento se torna um vetor dessas pontuações ponderadas. Os vetores documento-termo resultantes são a representação que as tarefas subsequentes — busca, classificação, agrupamento — consomem.
Erros comuns
- Executar TF-IDF em um corpus com menos de ~100 documentos — os pesos IDF se tornam sem sentido, então recorra a uma análise simples de frequência de palavras em vez disso.
- Omissão ou pré-processamento inconsistente entre os documentos, o que torna as contagens de termos incomparáveis.
- Tentar aplicar TF-IDF quando não há dados de texto — a codificação categórica com análise de conteúdo é a rota apropriada.
- Esperar que o TF-IDF capture significado ou contexto: ele pondera termos isolados e não pode modelar a ordem das palavras ou a semântica.
Perguntas frequentes
O que o TF e o IDF medem cada um?
A frequência de termo (TF) mede quantas vezes um termo aparece dentro de um único documento, capturando o quão central ele é localmente. A frequência inversa de documento (IDF) mede a raridade do termo em toda a coleção, desvalorizando palavras que aparecem em muitos documentos. Multiplicá-los atribui alto peso a termos que são frequentes em um documento, mas incomuns em outros.
Qual o tamanho necessário para o meu corpus?
O TF-IDF necessita de uma coleção razoavelmente grande — aproximadamente 100 documentos ou mais. Abaixo disso, os pesos IDF tornam-se instáveis e perdem o sentido, e uma análise mais simples de frequência de palavras é a escolha mais confiável.
O TF-IDF compreende significado ou contexto?
Não. O TF-IDF baseia-se na suposição de saco de palavras: ele pondera termos individuais por frequência e raridade e ignora a ordem das palavras, a sintaxe e a semântica. Para contexto ou similaridade semântica, métodos de incorporação (embedding) como Word2Vec são mais apropriados.
Que pré-processamento ele requer?
O corpus deve ser limpo e tokenizado de forma consistente antes da ponderação — normalizando o texto e dividindo-o em unidades de termos comparáveis. Omitir esta etapa deixa tokens ruidosos que degradam os pesos.
Métodos relacionados
Fontes
Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.
Abrir referência DOICopiado.