Modello Gaussiano Mixture Semi-supervisionato
- Introdotto da
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- Anno
- 2000
- Tipo
- Generative semi-supervised classifier
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Modello Gaussiano Mixture Semi-supervisionato (SS-GMM) è un classificatore probabilistico generativo che adatta un mixture gaussiano a dati sia etichettati che non etichettati utilizzando l'algoritmo Expectation-Maximization.
I punti etichettati vincolano le assegnazioni delle componenti, mentre i punti non etichettati migliorano le stime di densità, consentendo un apprendimento efficace quando le annotazioni sono scarse.
L’intuizione alla base del metodo
Immagina di avere pochi esempi etichettati e molti non etichettati. Un modello puramente supervisionato ignora completamente i dati non etichettati; il clustering puro ignora le tue etichette. SS-GMM trova un equilibrio: modella i dati come un mixture di cluster gaussiani, fissa i punti etichettati alla loro componente corretta e lascia che i punti non etichettati fluttuino probabilisticamente tra le componenti. Le iterazioni EM continuano a spingere le gaussiane a descrivere meglio l'intera nuvola di dati, in modo che le etichette scarse si propaghino alla maggioranza non etichettata attraverso la struttura di densità condivisa.
Storia
I GMM semi-supervisionati sono emersi dalla più ampia letteratura sull'apprendimento semi-supervisionato della fine degli anni '90. Nigam et al. (2000) hanno dimostrato l'approccio per la classificazione del testo utilizzando EM su un modello generativo Naive Bayes (un caso speciale di GMM diagonale), mostrando guadagni misurabili da documenti non etichettati. Il framework generale è stato consolidato nell'influente volume MIT Press di Chapelle, Scholkopf e Zien (2006), che ha stabilito SS-GMM come un approccio generativo canonico alla classificazione semi-supervisionata accanto ad alternative discriminative e basate su grafi.
Quando usarlo
Utilizza SS-GMM quando gli esempi etichettati sono scarsi ma i dati non etichettati sono abbondanti e quando le distribuzioni condizionate per classe sottostanti sono approssimativamente gaussiane o possono esserlo tramite trasformazione. È ben adatto a spazi di feature continui di dimensionalità da bassa a moderata (fino a circa 20-50 feature senza riduzione di dimensionalità). Evitalo quando le feature sono fortemente non gaussiane o categoriche, quando il numero di classi è elevato rispetto ai campioni etichettati, quando la struttura del cluster non si allinea con i confini di classe (violazione dell'assunzione del cluster), o quando un modello discriminativo come un SVM semi-supervisionato o la propagazione delle etichette si adatta meglio alla geometria dei dati.
Limiti e considerazioni
- L'adattamento del modello degrada quando l'assunzione gaussiana è fortemente violata — potrebbero essere necessarie trasformazioni non lineari o metodi kernel.
- L'EM converge a un ottimo locale; i risultati sono sensibili all'inizializzazione e sono necessari molteplici riavvii.
- Dati ad alta dimensionalità (maledizione della dimensionalità) rendono inaffidabile la stima della covarianza senza regolarizzazione o riduzione della dimensionalità.
- I dati non etichettati possono nuocere anziché aiutare se l'assunzione del cluster non è valida (i cluster non si allineano con i confini di classe).
- Scala male a dataset non etichettati molto grandi senza varianti EM stocastiche o mini-batch.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Sfrutta i dati non etichettati per migliorare la stima dei parametri quando le etichette sono costose o rare.
- Fornisce probabilità a posteriori di classe probabilistiche e principiate, consentendo una quantificazione della confidenza calibrata.
- Modello generativo matematicamente trasparente con garanzie di convergenza EM ben comprese.
- Gestisce naturalmente problemi multiclasse senza decomposizione one-vs-rest.
- Può essere esteso con più gaussiane per classe per catturare distribuzioni multimodali all'interno della classe.
Applicazioni
- Classificazione di testo e documenti quando solo una piccola frazione di testi può essere etichettata manualmente.
- Analisi di immagini mediche dove l'annotazione esperta è costosa e le scansioni non etichettate sono abbondanti.
- Compiti di bioinformatica come il clustering dell'espressione genica con etichette di classe parziali.
- Classificazione di dati da sensori e serie temporali in implementazioni IoT con ground-truth sparso.
- Rilevamento di anomalie semi-supervisionato modellando la densità della classe normale da abbondanti dati non etichettati.
- Apprendimento di feature per l'elaborazione del linguaggio naturale prima che il deep learning diventasse dominante.
Come funziona
Come funziona
Inizializza i parametri del mixture — medie delle componenti, covarianze e pesi di mistura — o dal solo sottoinsieme etichettato (ad esempio, medie condizionate per classe) o tramite k-means su tutti i dati disponibili. Il numero di componenti K è tipicamente impostato uguale al numero di classi note, sebbene siano possibili più componenti per classe.
Per ogni punto non etichettato, calcola le responsabilità morbide (soft responsibilities): la probabilità a posteriori che il punto i appartenga alla componente k, dati i parametri correnti. I punti etichettati ricevono assegnazioni rigide — la loro responsabilità per la componente della classe corretta è impostata a uno e zero altrove — rafforzando la supervisione senza interrompere il framework EM.
Formula
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}Il vincolo di assegnazione rigida sui punti etichettati è la differenza chiave rispetto al GMM non supervisionato. Ancorare l'identità della componente alla semantica della classe, prevenendo il noto problema dello 'label switching' e garantendo che la struttura del cluster appresa dai dati non etichettati sia interpretabile in termini di classi note.
Aggiorna tutti i parametri del mixture utilizzando le statistiche ponderate dalle responsabilità combinate da punti etichettati e non etichettati. Poiché i punti non etichettati contribuiscono con conteggi frazionari a ogni componente, levigano e stabilizzano efficacemente le stime dei parametri nelle regioni in cui i dati etichettati sono scarsi.
Formula
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}Ripeti i passi E (Expectation) e M (Maximization) finché la log-verosimiglianza dei dati osservati (sommata su punti etichettati e non etichettati) non smette di aumentare oltre una piccola tolleranza. Monitora attentamente la convergenza: sono consigliati molteplici riavvii casuali poiché l'EM converge a un ottimo locale e la soluzione finale dipende dall'inizializzazione.
Classifica un nuovo punto trovando la componente con la più alta probabilità a posteriori dati i parametri convergenti. La classe predetta è l'etichetta associata a quella componente. Le probabilità a posteriori tra le componenti fungono anche da punteggi di confidenza calibrati.
Formula
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)Errori comuni
- Eseguire una singola inizializzazione EM e accettare la prima soluzione convergente — utilizzare sempre molteplici riavvii.
- Impostare K uguale al numero di classi senza considerare la multimodalità intra-classe, portando a una scarsa cattura della densità.
- Applicare il modello in alta dimensionalità senza prima ridurre la dimensionalità o regolarizzare le matrici di covarianza (ad esempio, covarianza diagonale o legata).
- Presumere che i dati non etichettati aiutino sempre — se le assunzioni del cluster e della varietà (manifold) sono violate, i dati non etichettati possono degradare l'accuratezza.
- Trascurare di ponderare adeguatamente il termine di log-verosimiglianza dei dati etichettati; una correzione comune è aumentare i contributi dei punti etichettati di un fattore lambda.
Domande frequenti
In che modo SS-GMM differisce da un GMM completamente non supervisionato?
Un GMM non supervisionato trova la struttura del cluster senza conoscenza delle etichette di classe e soffre di 'label switching' — gli indici dei cluster non hanno significato semantico. SS-GMM fissa i punti etichettati alle loro componenti corrette durante ogni passo E, ancorando l'identità del cluster alla semantica della classe e permettendo ai punti non etichettati di affinare le stime di densità.
Cosa succede se i dati non etichettati sembrano peggiorare la mia accuratezza?
Questo è il problema della 'violazione dell'assunzione del cluster': se i confini di classe non si allineano con i cluster di densità naturali, i dati non etichettati guidano il modello nella direzione sbagliata. I passi diagnostici includono la visualizzazione dei dati in 2D (PCA/t-SNE), l'aumento del peso lambda sui punti etichettati, o il passaggio a un metodo semi-supervisionato discriminativo come un SVM semi-supervisionato.
Quante componenti gaussiane dovrei usare per classe?
Inizia con una componente per classe. Se una classe ha una struttura chiaramente multimodale (ad esempio, due sottopopolazioni), consenti due o più componenti per quella classe. Utilizza BIC o verosimiglianza su un set di validazione (held-out) dal sottoinsieme etichettato per confrontare ordini del modello senza overfitting.
Dovrei usare matrici di covarianza complete, diagonali o legate (tied)?
La covarianza completa è la più flessibile ma richiede molti campioni per componente. La covarianza diagonale (le feature sono assunte indipendenti) è l'impostazione predefinita più sicura in dimensioni da moderate ad alte. La covarianza legata (tutte le componenti condividono una matrice) riduce ulteriormente i parametri ed è adatta quando le classi hanno una dispersione simile.
Esiste un peso per i contributi etichettati vs. non etichettati?
Sì. Una estensione comune moltiplica la log-verosimiglianza dei dati etichettati per un fattore lambda > 1 per compensare il numero tipicamente molto maggiore di punti non etichettati. Senza questo, la maggioranza non etichettata può dominare gli aggiornamenti dei parametri e annullare il segnale di supervisione.
Metodi correlati
Fonti
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiato.Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.
Apri il riferimento DOICopiato.