TF-IDF — Fréquence de Terme–Fréquence Inverse de Document
- Introduite par
- Salton & Buckley
- Année
- 1988
- Type
- Text vectorization / term-weighting scheme
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
TF-IDF, introduit par Salton et Buckley (1988), est un schéma de pondération de termes qui attribue un score à chaque mot d'un document en fonction de sa fréquence d'apparition dans ce document et de sa rareté dans l'ensemble de la collection.
Il transforme le texte brut en vecteurs de documents pondérés, attribuant un poids élevé aux termes qui sont fréquents dans un document mais peu communs ailleurs.
L’intuition derrière la méthode
Tous les mots qui apparaissent souvent ne sont pas informatifs — des mots comme « le » apparaissent partout et n'en disent pas long sur le sujet d'un document. TF-IDF capture l'idée qu'un terme est d'autant plus important qu'il est fréquent dans un document spécifique tout en étant rare dans le reste de la collection. En multipliant la fréquence d'apparition locale d'un terme par sa spécificité globale, le schéma met en évidence les mots qui caractérisent réellement chaque document et minimise le poids des mots communs.
Histoire
TF-IDF est né des travaux de recherche d'information de Salton et Buckley (1988), qui ont systématiquement comparé les approches de pondération de termes pour la récupération automatique de textes et ont établi la combinaison de la fréquence de termes avec la fréquence inverse de documents comme un schéma de représentation de documents efficace. Il est devenu une base fondamentale pour la vectorisation de texte et reste largement utilisé comme une représentation de caractéristiques transparente.
Quand l’utiliser
Utilisez TF-IDF lorsque vous disposez d'un corpus de texte et que vous devez transformer des documents en caractéristiques numériques pour la récupération, la classification ou la comparaison de similarité. Il repose sur l'hypothèse du sac de mots et nécessite un prétraitement du texte au préalable. La collection doit être raisonnablement grande — avec moins d'une centaine de documents, les poids IDF deviennent instables et une simple analyse de fréquence des mots est plus fiable. En l'absence totale de données textuelles, TF-IDF ne peut pas être calculé.
Limites et points d’attention
- Repose sur l'hypothèse du sac de mots et ignore l'ordre des mots et le contexte.
- Les poids IDF deviennent instables et dénués de sens sur de très petits corpus.
- Nécessite un prétraitement textuel minutieux ; les tokens bruités dégradent les poids.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Simple, rapide et interprétable — chaque poids est directement traçable à la fréquence locale et à la rareté globale.
- Transforme le texte brut en vecteurs de documents numériques utilisables par les méthodes de recherche, de classification et de clustering.
- Minimise le poids des mots omniprésents et peu informatifs tout en mettant en évidence les termes qui distinguent un document.
Applications
- Représenter des documents comme des vecteurs de caractéristiques pour la classification de texte.
- Classer et récupérer des documents dans des applications de recherche.
- Identifier les mots-clés les plus distinctifs qui caractérisent un document.
- Construire des entrées pour le clustering de documents et la comparaison de similarité.
Comment ça marche
Comment ça marche
Le corpus de texte est nettoyé et tokenisé en termes — le texte est normalisé et divisé en unités de mots qui seront pondérées. Comme TF-IDF repose sur l'hypothèse du sac de mots (bag-of-words), un prétraitement cohérent sur tous les documents rend les décomptes résultants comparables.
Pour chaque document, la fréquence de terme (TF) compte le nombre de fois où chaque terme apparaît dans ce document. Un terme qui apparaît de nombreuses fois dans un seul document obtient un poids local plus élevé, reflétant son importance centrale dans le contenu de ce document.
Dans l'ensemble de la collection, la fréquence inverse de document (IDF) mesure la rareté de chaque terme — les termes apparaissant dans de nombreux documents reçoivent une faible IDF, tandis que les termes confinés à peu de documents reçoivent une IDF élevée. C'est ce qui supprime les mots omniprésents et peu informatifs et récompense les mots distinctifs.
Les composantes TF et IDF sont combinées en un poids unique par terme, et chaque document devient un vecteur de ces scores pondérés. Les vecteurs document-terme résultants sont la représentation que les tâches en aval — recherche, classification, clustering — consomment.
Pièges courants
- Exécuter TF-IDF sur un corpus de moins d'environ 100 documents — les poids IDF deviennent dénués de sens, il faut donc se rabattre sur une simple analyse de fréquence des mots à la place.
- Ignorer ou appliquer un prétraitement incohérent sur les documents, ce qui rend les décomptes de termes incomparables.
- Essayer d'appliquer TF-IDF en l'absence de données textuelles — le codage catégoriel avec analyse de contenu est la voie appropriée.
- S'attendre à ce que TF-IDF capture le sens ou le contexte : il pondère des termes isolés et ne peut pas modéliser l'ordre des mots ou la sémantique.
Questions fréquentes
Que mesurent respectivement la TF et l'IDF ?
La fréquence de terme (TF) mesure la fréquence d'apparition d'un terme dans un seul document, capturant son importance locale. La fréquence inverse de document (IDF) mesure la rareté du terme dans l'ensemble de la collection, minimisant le poids des mots qui apparaissent dans de nombreux documents. Leur multiplication donne un poids élevé aux termes qui sont fréquents dans un document mais peu communs ailleurs.
Quelle doit être la taille de mon corpus ?
TF-IDF nécessite une collection raisonnablement grande — environ 100 documents ou plus. En dessous, les poids IDF deviennent instables et perdent leur sens, et une analyse plus simple de la fréquence des mots est le choix le plus fiable.
TF-IDF comprend-il le sens ou le contexte ?
Non. TF-IDF repose sur l'hypothèse du sac de mots : il pondère des termes individuels par leur fréquence et leur rareté et ignore l'ordre des mots, la syntaxe et la sémantique. Pour le contexte ou la similarité sémantique, des méthodes d'intégration (embedding) comme Word2Vec sont plus appropriées.
Quel prétraitement nécessite-t-il ?
Le corpus doit être nettoyé et tokenisé de manière cohérente avant la pondération — normaliser le texte et le diviser en unités de termes comparables. Omettre cette étape laisse des tokens bruités qui dégradent les poids.
Méthodes associées
Sources
Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.
Ouvrir la référence DOICopié.