Skip to content
Torna ai risultati

Modello di Topic NMF

Introdotto da
Lee, D. D. & Seung, H. S.
Anno
1999
Tipo
Matrix factorization / unsupervised topic model
Famiglia
Deep learning / NLP / CV

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La Fattorizzazione di Matrici Non-Negative (NMF) è un metodo di decomposizione matriciale non supervisionato che scopre topic latenti in un corpus di testo fattorizzando una matrice documento-termine in due matrici non-negative — una che codifica i pesi topic-parola, l'altra i pesi documento-topic.

Il vincolo di non-negatività produce rappresentazioni additive basate su parti che tendono a generare topic puliti e interpretabili.

L’intuizione alla base del metodo

Immagina il tuo corpus come un grande foglio di calcolo dove le righe sono documenti e le colonne sono parole. NMF chiede: posso ri-esprimere questo foglio di calcolo come una combinazione di un piccolo numero di pattern di parole archetipici (topic)? Poiché tutti i valori devono essere non-negativi, il modello non può annullare un pattern contro un altro — è costretto a trovare blocchi costitutivi additivi. Ogni documento è quindi descritto come una miscela di questi pattern. Il risultato è spesso più direttamente leggibile dei modelli di topic probabilistici, poiché le parole principali per topic raramente si sovrappongono fortemente.

Storia

La Fattorizzazione di Matrici Non-Negative è stata introdotta da Daniel D. Lee e H. Sebastian Seung in un articolo fondamentale su Nature del 1999, dimostrando che NMF di dati di immagini produce rappresentazioni localizzate e basate su parti — a differenza di PCA o VQ. Il loro articolo NIPS del 2001 ha fornito le regole di aggiornamento moltiplicativo ora standard. NMF è stata rapidamente adottata per l'analisi testuale come alternativa di topic modeling a LDA, offrendo un addestramento più semplice e cluster di parole spesso più nitidi. Rimane una baseline standard nella ricerca NLP e di information retrieval.

Quando usarlo

Utilizza NMF quando hai bisogno di topic nitidi e basati su parti da un corpus di testo, specialmente quando desideri topic con bassa sovrapposizione di parole e etichettatura chiara. Funziona bene su matrici TF-IDF derivate da documenti brevi o medi come abstract, articoli di notizie o risposte a sondaggi. È particolarmente adatto quando l'interpretabilità è una preoccupazione primaria e quando il corpus è di dimensioni moderate (migliaia a centinaia di migliaia di documenti). Evita NMF quando hai documenti molto brevi (meno di circa 20 token ciascuno), quando è richiesto un modello generativo probabilistico per inferenze downstream, o quando il corpus è estremamente grande e sparso — in quei casi LDA o modelli di topic neurali potrebbero essere più appropriati.

Limiti e considerazioni

  • Il numero di topic k deve essere impostato dall'utente; non esiste un meccanismo integrato per inferirlo dai dati.
  • NMF non è un modello probabilistico generativo, quindi le membership documento-topic non sono probabilità corrette e non possono essere utilizzate direttamente in pipeline probabilistiche.
  • I risultati dipendono dall'inizializzazione e possono variare tra le esecuzioni a meno che non vengano utilizzati un seme fisso e l'inizializzazione NNDSVD.
  • Documenti molto brevi (meno di circa 20 token) producono righe sparse in V che sono difficili da fattorizzare in modo significativo.
  • NMF non modella le correlazioni tra topic o covariate a livello di documento come fanno i modelli di topic strutturali.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Il vincolo di non-negatività produce rappresentazioni additive basate su parti che sono spesso più interpretabili di LDA.
  • I topic tendono ad avere una minore sovrapposizione di parole inter-topic, rendendo più facile l'etichettatura manuale.
  • Aggiornamenti deterministici (con un seme fisso) rendono i risultati più riproducibili rispetto a LDA basato su campionamento.
  • L'input TF-IDF svaluta naturalmente le parole comuni, riducendo la necessità di una lista esaustiva di stop-word.
  • Implementazione semplice in librerie standard (scikit-learn) con pochi iperparametri richiesti.
  • Scala ragionevolmente a corpora di decine di migliaia di documenti senza hardware specializzato.

Applicazioni

  • Scoperta di topic e analisi tematica nella letteratura scientifica, nei corpora di notizie e nelle risposte aperte ai sondaggi.
  • Clustering di documenti ed etichettatura automatica dei contenuti per grandi repository di documenti.
  • Sistemi di raccomandazione che utilizzano vettori documento-topic come feature degli item.
  • Decomposizione di segnali in bioinformatica (espressione genica) e separazione di sorgenti audio, dove NMF ha avuto origine.
  • Modello di topic di baseline rispetto al quale vengono confrontati modelli neurali o probabilistici.
  • Riduzione della dimensionalità di matrici documento-termine sparse prima della classificazione downstream.

Come funziona

Come funziona

1

Il corpus viene convertito in una matrice documento-termine V di forma n-documenti per m-vocabolario. Ogni cella contiene tipicamente un punteggio TF o TF-IDF — conteggi grezzi non-negativi o il loro equivalente pesato. Pre-elaborazione (minuscolo, rimozione di stop-word, stemming opzionale) e potatura del vocabolario (frequenza minima del documento, frequenza massima del documento) vengono applicate prima per ridurre il rumore.

2

V è approssimata come il prodotto di due matrici non-negative: W (n per k, pesi documento-topic) e H (k per m, pesi topic-parola), dove k è il numero scelto di topic. Entrambe le matrici sono inizializzate — comunemente con un seme SVD non-negativo (NNDSVD) o valori casuali non-negativi — e poi raffinate iterativamente per minimizzare una perdita di ricostruzione come la norma di Frobenius o la divergenza KL da V a WH.

Formula
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}
3

Le regole di aggiornamento moltiplicativo di Lee-Seung iterano W e H simultaneamente. Ogni aggiornamento moltiplica il valore corrente per un rapporto che è garantito essere positivo, preservando la non-negatività durante tutto il processo. Le iterazioni continuano finché la perdita di ricostruzione scende al di sotto di una tolleranza o viene raggiunto un conteggio massimo di iterazioni.

Formula
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}
4

Dopo ogni iterazione, l'algoritmo verifica se la variazione nella perdita di ricostruzione è inferiore a una tolleranza impostata (comunemente 1e-4). In tal caso, viene dichiarata la convergenza. Implementazioni pratiche limitano anche le iterazioni (ad es. 200) per evitare calcoli fuori controllo su vocabolari ampi.

5

Una volta convergente, ogni riga di H è un topic: le colonne con i pesi più alti sono le parole definitorie per quel topic. Ogni riga di W è la membership morbida di un documento attraverso i topic. I topic sono tipicamente etichettati dalle loro parole top-5 a top-10. Metriche di coerenza (ad es. NPMI) possono essere utilizzate per selezionare il miglior numero di topic k.

Errori comuni

  • Scegliere k arbitrariamente senza valutare metriche di coerenza su una gamma di valori.
  • Utilizzare matrici di conteggio grezze invece di TF-IDF, che causa la dominazione di parole ad alta frequenza in ogni topic.
  • Saltare la potatura del vocabolario (frequenza minima/massima del documento), lasciando termini rumorosi o ultra-rari che gonfiano la matrice e offuscano i topic.
  • Trattare i pesi documento-topic come probabilità senza normalizzarli per riga.
  • Ignorare l'effetto delle scelte di pre-elaborazione (stemming vs. lemmatizzazione, liste di stop-word) sulla qualità dei topic.

Domande frequenti

Come scelgo il numero di topic k?

Esegui NMF per una gamma di valori di k (ad es. da 5 a 30) e valuta la coerenza dei topic (punteggio NPMI o C_V) su un campione di vocabolario tenuto da parte. Traccia la coerenza rispetto a k e cerca un picco o un gomito. La conoscenza del dominio sulla struttura tematica attesa del corpus è anche una guida utile.

NMF è migliore di LDA?

Nessuno è universalmente migliore. NMF produce spesso topic con minore sovrapposizione di parole inter-topic ed è più veloce da addestrare, ma non è un modello probabilistico generativo. LDA fornisce distribuzioni documento-topic che sono probabilità corrette e supporta la valutazione della perplessità tenuta da parte. La scelta dipende dal fatto che l'interpretabilità o l'inferenza probabilistica sia la priorità.

NMF richiede la rimozione delle stop-word?

L'uso dell'input TF-IDF riduce automaticamente l'influenza delle parole comuni, ma la rimozione esplicita delle stop-word e la potatura della frequenza minima del documento migliorano ancora i risultati eliminando token molto rari o comuni nell'intero corpus che aggiungono rumore senza contribuire a topic coerenti.

Quanto sono riproducibili i risultati di NMF?

Con un seme casuale fisso e l'inizializzazione NNDSVD, i risultati di NMF sono altamente riproducibili. Senza un seme fisso, esecuzioni diverse possono produrre ordinamenti di topic diversi o distribuzioni di parole leggermente diverse. Imposta sempre un seme e riportalo quando pubblichi.

NMF può gestire corpora multilingue?

Sì, ma la matrice documento-termine deve trattare il vocabolario di ciascuna lingua separatamente, o il corpus deve essere prima tradotto in una lingua comune. Modelli di topic multilingue (ad es. LDA polilingue o approcci multilingue basati su BERT) sono progettati specificamente per contesti cross-lingue e potrebbero superare NMF semplice in tali casi.

Metodi correlati

Fonti

  1. Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.

    Apri il riferimento DOI
    Copiato.
  2. Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.

    Apri il riferimento della pubblicazione
    Copiato.