Naive Bayes Semi-Supervisionato
- Introdotto da
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- Anno
- 2000
- Tipo
- Semi-supervised generative classifier
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Naive Bayes Semi-Supervisionato estende il modello generativo classico Naive Bayes per sfruttare ampi pool di dati non etichettati accanto a un piccolo set etichettato.
Utilizzando l'Expectation-Maximization, inferisce iterativamente assegnazioni di classe soft per esempi non etichettati e ri-stima i parametri di classe e di feature, producendo classificatori sostanzialmente migliori quando gli esempi etichettati sono scarsi.
L’intuizione alla base del metodo
Il Naive Bayes classico necessita di esempi etichettati per stimare le probabilità di classe e le likelihood delle feature. Quando le etichette sono costose ma i dati grezzi sono abbondanti, la maggior parte delle informazioni nei dati rimane inutilizzata. Il Naive Bayes Semi-Supervised risolve questo problema trattando le etichette sconosciute degli esempi non etichettati come variabili latenti: alterna tra l'ipotesi di tali etichette dato il modello corrente (step E) e il raffinamento del modello utilizzando tali ipotesi (step M). Nel corso di diverse iterazioni, il modello si auto-potenzia per una stima dei parametri molto più accurata di quanto i soli dati etichettati potrebbero supportare.
Storia
Nigam, McCallum, Thrun e Mitchell (2000) hanno reso popolare il Naive Bayes Semi-Supervised per la classificazione del testo, dimostrando che l'EM con un modello multinomiale Naive Bayes poteva dimezzare i tassi di errore su dataset benchmark quando articoli di newsgroup non etichettati integravano un piccolo set etichettato. L'approccio si basava su lavori precedenti di EM per modelli misti e divenne un esempio canonico nella letteratura sull'apprendimento semi-supervisionato, ampiamente discusso in Chapelle et al. (2006).
Quando usarlo
Ideale quando gli esempi etichettati sono poche decine o centinaia, ma sono disponibili grandi quantità di dati non etichettati dalla stessa distribuzione — una situazione comune nella classificazione del testo, nel filtraggio dello spam e nella categorizzazione di documenti biomedici. Le feature dovrebbero essere condizionalmente indipendenti data la classe (o approssimativamente tali), rendendo le rappresentazioni bag-of-words e basate su conteggi adattamenti naturali. Evitare quando i dati non etichettati provengono da una distribuzione diversa da quella del set etichettato (covariate shift), poiché gli aggiornamenti EM possono peggiorare anziché migliorare; il parametro di peso lambda dovrebbe essere ottimizzato in tali casi. Evitare anche quando l'assunzione di indipendenza condizionale è gravemente violata e un modello discriminativo sarebbe fortemente preferito indipendentemente dalla scarsità di etichette.
Limiti e considerazioni
- Eredita l'assunzione di indipendenza condizionale del Naive Bayes; feature correlate degradano le stime dei parametri.
- L'EM converge a un ottimo locale che dipende dall'inizializzazione; potrebbero essere necessari riavvii multipli casuali.
- Dati non etichettati da una distribuzione spostata possono degradare l'accuratezza (trasferimento negativo) a meno che non vengano attentamente sottopesati.
- Meno competitivo rispetto ai metodi semi-supervisionati discriminativi (es. SVM trasduttivo, propagazione delle etichette) su set di feature piccoli con forti correlazioni tra feature.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Sfrutta in modo efficiente i dati non etichettati che altrimenti verrebbero scartati, riducendo spesso drasticamente la quantità di dati etichettati necessari.
- Computazionalmente veloce: ogni iterazione EM è lineare rispetto alla dimensione dei dati, rendendolo adatto a grandi corpora testuali.
- Framework probabilistico rigoroso con garanzie di convergenza ben comprese (a un ottimo locale della likelihood).
- Produce probabilità a posteriori calibrate, abilitando ranking e applicazione di soglie a valle.
- Semplice da implementare ed estendere — la ponderazione lambda fornisce un parametro di regolazione pratico per controllare l'influenza dei dati non etichettati.
Applicazioni
- Classificazione di testo e documenti con dati di addestramento etichettati limitati.
- Rilevamento di spam e phishing dove lo spam etichettato è scarso ma le email non etichettate sono abbondanti.
- Analisi del sentiment potenziata da una manciata di recensioni etichettate.
- Categorizzazione della letteratura biomedica (es. triage di articoli PubMed) con piccoli sottoinsiemi etichettati da esperti.
- Classificazione di argomenti di pagine web utilizzando un piccolo seed etichettato manualmente e ampi corpora estratti.
- Instradamento di email o ticket dove solo una frazione dei ticket storici ha etichette di categoria confermate.
Come funziona
Come funziona
Addestrare un modello Naive Bayes iniziale utilizzando solo gli esempi etichettati. Questo fornisce le prime stime dei prior di classe P(y) e delle likelihood condizionali delle feature P(x_j | y) — tipicamente con smoothing di Laplace per gestire valori di feature non visti. Il modello risultante è un punto di partenza per il loop EM piuttosto che un classificatore finale.
Applicare il modello corrente a ogni esempio non etichettato per calcolare pesi soft (probabilistici) di appartenenza alla classe. Ogni documento o istanza non etichettata viene assegnata frazionalmente a tutte le classi in proporzione alla probabilità a posteriori P(y | x, theta). Questi conteggi frazionali integrano i conteggi esatti dai dati etichettati.
Formula
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}Ri-stimare tutti i parametri del modello — prior di classe e likelihood delle feature — aggregando i conteggi esatti dagli esempi etichettati con i conteggi frazionali accumulati nello step E. Gli esempi non etichettati contribuiscono in proporzione ai loro pesi di classe inferiti, quindi i dati non etichettati informativi spostano i parametri in modo significativo.
Ripetere lo step E e lo step M finché la log-likelihood di tutti i dati (etichettati più non etichettati) converge o viene raggiunto un numero massimo di iterazioni. Un iperparametro di peso lambda può ridurre il peso del contributo non etichettato se la distribuzione non etichettata differisce da quella etichettata, proteggendo da trasferimenti negativi.
Una volta raggiunta la convergenza, classificare nuovi esempi utilizzando la regola standard del Naive Bayes: assegnare la classe con la più alta probabilità a posteriori sotto i parametri appresi. L'inferenza a runtime è identica a quella del Naive Bayes ordinario — veloce, in forma chiusa e adatta a grandi collezioni di documenti.
Formula
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)Errori comuni
- Ignorare la discrepanza di distribuzione tra i pool etichettati e non etichettati — verificare sempre che entrambi i campioni siano estratti dallo stesso compito e dominio.
- Omettere l'ottimizzazione di lambda quando la qualità dei dati non etichettati è incerta; impostare lambda=1 di default può peggiorare le prestazioni.
- Valutare solo sul set etichettato di addestramento senza un set di test separato, gonfiando l'accuratezza apparente.
- Trattare la convergenza EM come ottimalità garantita — confrontare sempre con un modello di riferimento (basale) addestrato solo sui dati etichettati e un semplice basale di auto-addestramento.
- Dimenticare lo smoothing di Laplace, che causa crash di probabilità zero per valori di feature non visti durante lo step E.
Domande frequenti
Quanti esempi etichettati mi servono per ottenere un buon modello iniziale?
Bastano anche solo 10-50 per classe per testi con molte feature, a patto che venga applicato lo smoothing di Laplace. Più esempi etichettati aiutano sempre, ma l'approccio semi-supervisionato brilla specificamente quando si hanno meno di qualche centinaio di istanze etichettate.
Cos'è il parametro lambda e come si ottimizza?
Lambda controlla quanto peso ricevono gli esempi non etichettati rispetto a quelli etichettati durante lo step M (lambda=1 li tratta allo stesso modo; lambda=0 li ignora). Ottimizzarlo tramite cross-validation sul set etichettato, partendo da valori in {0.1, 0.3, 0.5, 1.0}. Ridurre lambda quando si sospetta una discrepanza di distribuzione.
L'EM migliorerà sempre rispetto a un Naive Bayes solo etichettato?
No. Se i dati non etichettati provengono da una distribuzione diversa, l'EM può spostare i parametri nella direzione sbagliata e aumentare l'errore. Confrontare sempre con il basale solo etichettato prima di distribuire il modello semi-supervisionato.
In cosa differisce dall'auto-addestramento con Naive Bayes?
L'auto-addestramento assegna etichette esatte agli esempi non etichettati al di sopra di una soglia di confidenza, quindi ri-addestra. Il Naive Bayes Semi-Supervised tramite EM assegna etichette frazionarie soft a tutti gli esempi non etichettati ad ogni iterazione, il che è statisticamente più rigoroso ed evita la cascata di errori confidenti che possono verificarsi nell'auto-addestramento.
È adatto per dati tabulari non testuali?
Sì. Per feature continue sostituire la likelihood multinomiale con likelihood Gaussiane (o altre parametriche) per classe. La struttura del loop EM è identica; cambiano solo le formule dei parametri nello step M.
Metodi correlati
Fonti
Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.
Apri il riferimento DOICopiato.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiato.