Skip to content
Torna ai risultati

Topic modeling con NMF

Introdotto da
Lee & Seung
Anno
1999
Tipo
Matrix-factorization topic model

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il topic modeling con NMF utilizza la Non-negative Matrix Factorization — la decomposizione basata su parti introdotta da Lee e Seung (1999) — per estrarre distribuzioni documento-topic da un corpus.

Fattorizzando una matrice documento-termine in due matrici non negative, recupera un piccolo insieme di topic e tende a produrre topic più interpretabili rispetto a LDA.

L’intuizione alla base del metodo

Un corpus può essere scritto come un'unica grande tabella in cui ogni riga è un documento e ogni colonna è un termine. NMF assume che tale tabella sia il prodotto di due tabelle non negative più piccole: una che indica quanto ciascun documento appartiene a ciascun topic, e una che indica quali termini compongono ciascun topic. Poiché nulla è permesso essere negativo, i topic possono solo sommarsi — non possono annullarsi a vicenda — quindi ogni topic finisce per apparire come un fascio coerente di parole co-occorrenti che un lettore può nominare.

Storia

NMF è stato introdotto da Lee e Seung (1999), che hanno dimostrato che l'apprendimento di una rappresentazione basata su parti e additiva degli oggetti produce componenti interpretabili. La tecnica è stata successivamente adattata al testo come topic model, e Arora et al. (2013) hanno fornito un algoritmo pratico per il topic modeling con garanzie dimostrabili, rafforzando le sue basi teoriche.

Quando usarlo

Utilizzare il topic modeling con NMF per esplorare o descrivere un corpus di testo quando si dispone di un numero sufficiente di documenti (circa 50 o più) e si può decidere in anticipo il numero di topic k. Si aspetta dati testuali rappresentati come una matrice documento-termine, con preferenza per la vettorizzazione TF-IDF. È una buona scelta quando i topic interpretabili e nominabili sono più importanti di un modello completamente probabilistico.

Limiti e considerazioni

  • Il numero di topic k deve essere scelto in anticipo piuttosto che appreso dai dati.
  • Richiede un numero sufficiente di documenti (circa 50 o più) per recuperare topic stabili.
  • A differenza di un modello probabilistico, non fornisce un resoconto generativo o un'incertezza basata su principi sui topic.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Produce topic più interpretabili rispetto a LDA grazie alla sua fattorizzazione additiva basata su parti.
  • Funziona naturalmente su matrici documento-termine TF-IDF, la rappresentazione standard per il testo.
  • Concettualmente semplice: una singola fattorizzazione di matrici con una chiara suddivisione documento-topic e topic-termine.

Applicazioni

  • Scoprire e nominare i temi principali in una raccolta di documenti.
  • Riassumere grandi corpora in base ai loro topic dominanti per l'analisi esplorativa.
  • Etichettare documenti con distribuzioni di topic per la descrizione e la ricerca a valle.
  • Confrontare la struttura dei topic tra sottoinsiemi di un corpus.

Come funziona

Come funziona

1

Il corpus viene trasformato in una matrice documento-termine in cui ogni documento diventa una riga di punteggi di termini pesati. Si preferisce la vettorizzazione TF-IDF, poiché riduce il peso delle parole ubiquitarie ed enfatizza i termini che effettivamente distinguono i documenti — fornendo alla fattorizzazione un segnale più pulito con cui lavorare.

2

La matrice documento-termine viene approssimata come il prodotto di due matrici non negative: una matrice documento-topic e una matrice topic-termine. Il numero scelto di topic k fissa la dimensione interna di questo prodotto, e la fattorizzazione viene adattata in modo che la ricostruzione rimanga vicina alla matrice originale mantenendo ogni voce non negativa.

3

Ogni topic viene letto dalla matrice topic-termine ispezionando i termini con il peso più alto nella sua colonna. Poiché tutti i pesi sono non negativi e si sommano, questi termini principali formano un tema leggibile che può essere etichettato — questa struttura additiva basata su parti è ciò che rende i topic NMF più facili da interpretare rispetto a quelli di LDA.

4

Ogni documento è descritto dalla sua riga nella matrice documento-topic, che fornisce la forza di ogni topic in quel documento. Queste distribuzioni possono essere utilizzate per riassumere il corpus, etichettare i documenti con i loro topic dominanti, o alimentare la descrizione e l'esplorazione a valle.

Errori comuni

  • Impostare k in modo errato — troppi pochi topic fondono temi distinti, troppi li frammentano in rumore.
  • Saltare la ponderazione TF-IDF permette alle parole funzionali frequenti di dominare e offusca i topic.
  • Eseguire su troppi pochi documenti produce topic instabili che cambiano da un adattamento all'altro.
  • Trattare le colonne dei topic come esatte piuttosto che approssimate — NMF ricostruisce solo approssimativamente la matrice originale.

Domande frequenti

In che modo il topic modeling con NMF differisce da LDA?

Entrambi estraggono distribuzioni documento-topic, ma NMF è una fattorizzazione di matrici che forza tutti i componenti ad essere non negativi e additivi, mentre LDA è un modello generativo probabilistico. La struttura additiva e basata su parti di NMF tende a rendere i suoi topic più interpretabili di quelli di LDA.

Come scelgo il numero di topic k?

k deve essere impostato prima dell'adattamento, poiché NMF non lo apprende dai dati. Sceglilo dalla conoscenza del dominio e confrontando l'interpretabilità e la coerenza dei topic per diversi valori di k.

Perché TF-IDF è preferito ai conteggi grezzi?

TF-IDF riduce il peso delle parole che appaiono ovunque ed enfatizza i termini che distinguono i documenti, fornendo alla fattorizzazione un segnale più pulito e producendo topic più nitidi e nominabili.

Di quanti documenti ho bisogno?

Circa 50 o più è il minimo raccomandato. Con troppo pochi documenti i topic recuperati diventano instabili e possono cambiare da un adattamento all'altro.

Metodi correlati

Fonti

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    Apri il riferimento DOI
    Copiato.
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    Apri il riferimento della pubblicazione
    Copiato.