Skip to content
Torna ai risultati

TF-IDF — Frequenza del Termine–Frequenza Inversa del Documento

Introdotto da
Salton & Buckley
Anno
1988
Tipo
Text vectorization / term-weighting scheme

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il TF-IDF, introdotto da Salton e Buckley (1988), è uno schema di ponderazione dei termini che assegna un punteggio a ciascuna parola in un documento in base alla frequenza con cui appare in esso e alla sua rarità nell'intera collezione.

Trasforma il testo grezzo in vettori di documenti ponderati, assegnando un peso elevato ai termini che sono frequenti in un documento ma rari altrove.

L’intuizione alla base del metodo

Non ogni parola che appare frequentemente è informativa — parole come "il" appaiono ovunque e dicono poco su cosa tratti un documento. Il TF-IDF cattura l'idea che un termine è più importante quando è frequente all'interno di un documento specifico ma raro nel resto della collezione. Moltiplicando la frequenza con cui un termine appare localmente per la sua distintività globale, lo schema evidenzia le parole che caratterizzano effettivamente ciascun documento e svaluta quelle comuni.

Storia

Il TF-IDF è emerso dal lavoro di recupero dell'informazione di Salton e Buckley (1988), che hanno confrontato sistematicamente approcci di ponderazione dei termini per il recupero automatico del testo e hanno stabilito la combinazione della frequenza del termine con la frequenza inversa del documento come uno schema efficace di rappresentazione dei documenti. È diventato una base fondamentale per la vettorizzazione del testo e rimane ampiamente utilizzato come rappresentazione trasparente delle caratteristiche.

Quando usarlo

Utilizzare il TF-IDF quando si dispone di un corpus di testo e si necessita di trasformare i documenti in caratteristiche numeriche per il recupero, la classificazione o il confronto di similarità. Si basa sull'assunzione del sacco di parole e richiede una pre-elaborazione del testo in anticipo. La collezione dovrebbe essere ragionevolmente ampia — con meno di circa 100 documenti i pesi IDF diventano instabili e un'analisi semplice della frequenza delle parole è più affidabile. In assenza di dati testuali, il TF-IDF non può essere calcolato.

Limiti e considerazioni

  • Si basa sull'assunzione del sacco di parole e ignora l'ordine delle parole e il contesto.
  • I pesi IDF diventano instabili e privi di significato su corpora molto piccoli.
  • Richiede un'attenta pre-elaborazione del testo; token rumorosi degradano i pesi.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Semplice, veloce e interpretabile — ogni peso è direttamente riconducibile alla frequenza locale e alla rarità globale.
  • Trasforma il testo grezzo in vettori numerici di documenti utilizzabili da metodi di ricerca, classificazione e clustering.
  • Svaluta le parole ubiquitarie e poco informative, evidenziando i termini che distinguono un documento.

Applicazioni

  • Rappresentare documenti come vettori di caratteristiche per la classificazione del testo.
  • Ordinare e recuperare documenti nelle applicazioni di ricerca.
  • Identificare le parole chiave più distintive che caratterizzano un documento.
  • Costruire input per il clustering di documenti e il confronto di similarità.

Come funziona

Come funziona

1

Il corpus di testo viene pulito e tokenizzato in termini — il testo viene normalizzato e suddiviso nelle unità di parola che verranno ponderate. Poiché il TF-IDF si basa sull'assunzione del sacco di parole (bag-of-words), una pre-elaborazione coerente attraverso tutti i documenti rende comparabili i conteggi risultanti.

2

Per ciascun documento, la frequenza del termine (TF) conta quante volte ciascun termine occorre in quel documento. Un termine che appare molte volte all'interno di un singolo documento ottiene un peso locale più elevato, riflettendo quanto sia centrale per il contenuto di quel documento.

3

Nell'intera collezione, la frequenza inversa del documento (IDF) misura quanto sia raro ciascun termine — i termini che appaiono in molti documenti ricevono un IDF basso, mentre i termini confinati a pochi documenti ricevono un IDF alto. Questo è ciò che sopprime le parole ubiquitarie e poco informative e premia quelle distintive.

4

I componenti TF e IDF vengono combinati in un singolo peso per termine, e ciascun documento diventa un vettore di questi punteggi ponderati. I vettori documento-termine risultanti sono la rappresentazione che i task downstream — ricerca, classificazione, clustering — consumano.

Errori comuni

  • Eseguire il TF-IDF su un corpus inferiore a circa 100 documenti — i pesi IDF diventano privi di significato, quindi si ricorre a un'analisi semplice della frequenza delle parole.
  • Saltare o eseguire una pre-elaborazione incoerente tra i documenti, il che rende i conteggi dei termini non comparabili.
  • Tentare di applicare il TF-IDF quando non ci sono dati testuali — la codifica categorica con analisi del contenuto è la via appropriata.
  • Aspettarsi che il TF-IDF catturi significato o contesto: pondera termini isolati e non può modellare l'ordine delle parole o la semantica.

Domande frequenti

Cosa misurano rispettivamente TF e IDF?

La frequenza del termine (TF) misura quante volte un termine appare all'interno di un singolo documento, catturando quanto sia centrale localmente. La frequenza inversa del documento (IDF) misura quanto sia raro il termine nell'intera collezione, svalutando le parole che appaiono in molti documenti. Moltiplicandoli si ottiene un peso elevato per i termini che sono frequenti in un documento ma rari altrove.

Quanto grande deve essere il mio corpus?

Il TF-IDF necessita di una collezione ragionevolmente ampia — circa 100 documenti o più. Al di sotto di tale soglia, i pesi IDF diventano instabili e perdono significato, e un'analisi più semplice della frequenza delle parole è la scelta più affidabile.

Il TF-IDF comprende il significato o il contesto?

No. Il TF-IDF si basa sull'assunzione del sacco di parole: pondera i singoli termini per frequenza e rarità e ignora l'ordine delle parole, la sintassi e la semantica. Per il contesto o la similarità semantica, metodi di embedding come Word2Vec sono più appropriati.

Quale pre-elaborazione richiede?

Il corpus deve essere pulito e tokenizzato in modo coerente prima della ponderazione — normalizzando il testo e suddividendolo in unità di termini comparabili. Saltare questo passaggio lascia token rumorosi che degradano i pesi.

Metodi correlati

Fonti

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    Apri il riferimento DOI
    Copiato.