Skip to content
Torna ai risultati

Regressione logistica semi-supervisionata

Introdotto da
Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
Anno
1995–2000
Tipo
Semi-supervised classifier
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La regressione logistica semi-supervisionata estende il classificatore logistico standard incorporando dati non etichettati durante l'addestramento.

Utilizzando wrapper di auto-addestramento, expectation-maximization o propagazione di etichette, assegna iterativamente etichette morbide agli esempi non etichettati e affina i parametri del modello, migliorando la generalizzazione quando i dati etichettati sono scarsi rispetto al set di dati completo.

L’intuizione alla base del metodo

Immagina di addestrare un classificatore di malattie con solo 50 diagnosi confermate ma 5.000 cartelle cliniche di pazienti di cui l'esito è sconosciuto. La regressione logistica standard ignora completamente tali cartelle non etichettate. La regressione logistica semi-supervisionata utilizza le previsioni probabilistiche del modello stesso per assegnare etichette provvisorie ai casi non etichettati, riaddestra sul set ampliato di pseudo-etichette e ripete. Ogni iterazione spinge il confine decisionale verso regioni di alta densità dei dati, lasciando effettivamente che i dati non etichettati guidino dove appartiene il confine senza richiedere costose annotazioni esperte.

Storia

L'apprendimento semi-supervisionato per classificatori probabilistici è stato sistematizzato alla fine degli anni '90. Yarowsky (1995) ha reso popolare l'auto-addestramento per compiti NLP, e Nigam et al. (2000) hanno formalizzato l'approccio EM per la classificazione del testo con modelli naive Bayes e simili alla regressione logistica. Il volume del 2006 di Chapelle, Scholkopf e Zien pubblicato da MIT Press ha consolidato le basi teoriche. La regressione logistica semi-supervisionata è ora una tecnica standard in contesti in cui i budget di annotazione sono limitati, implementata nel wrapper SelfTrainingClassifier di scikit-learn e in librerie SSL dedicate.

Quando usarlo

Scegliere la regressione logistica semi-supervisionata quando gli esempi etichettati sono pochi — tipicamente quando la frazione etichettata è inferiore al 20% dei dati totali disponibili — ma esiste un ampio pool di dati non etichettati dalla stessa distribuzione e l'annotazione è costosa. È ben adatta per la classificazione del testo, la previsione di esiti clinici e la ricerca tramite sondaggi in cui gli esiti sono parzialmente osservati. Non usarla quando i dati non etichettati provengono da una distribuzione diversa dal set etichettato (spostamento delle covariate), quando le etichette sono mancanti non in modo casuale e la mancanza è informativa, o quando il set etichettato è già sufficientemente ampio da ottenere buone prestazioni con una regressione logistica standard — in quei casi, il rumore delle pseudo-etichette aggiunge più danno che beneficio.

Limiti e considerazioni

  • Se i dati etichettati iniziali sono troppo pochi o non rappresentativi, le prime pseudo-etichette sono rumorose e gli errori si accumulano tra le iterazioni.
  • Presuppone che i dati non etichettati siano estratti dalla stessa distribuzione dei dati etichettati — violato in molti scenari di raccolta del mondo reale.
  • La convergenza a un ottimo locale non è garantita per migliorare rispetto al baseline supervisionato.
  • Le soglie di confidenza nell'auto-addestramento richiedono messa a punto e interagiscono con lo squilibrio delle classi in modi non ovvi.
  • L'interpretazione dei coefficienti diventa più difficile perché il set di addestramento effettivo include etichette generate algoritmicamente.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Sfrutta ampi pool di dati non etichettati per migliorare un classificatore logistico senza costi aggiuntivi di etichettatura.
  • Preserva l'interpretabilità dei coefficienti di regressione logistica e dei rapporti di probabilità.
  • Il wrapper di auto-addestramento è indipendente dal modello ed è facile da aggiungere a qualsiasi pipeline di regressione logistica esistente.
  • La variante EM fornisce un quadro probabilistico rigoroso con una garanzia formale di convergenza.
  • La regolarizzazione (L1/L2) può essere combinata in modo diretto per controllare l'overfitting sui dati pseudo-etichettati.

Applicazioni

  • Previsione di esiti clinici in cui solo un sottoinsieme di pazienti ha diagnosi confermate.
  • Classificazione del testo con corpora ampi e piccoli set di addestramento etichettati da esperti.
  • Ricerca tramite sondaggi in cui i rispondenti rispondono solo a un sottoinsieme di domande sull'esito.
  • Analisi del sentiment e opinion mining con dati di social media parzialmente annotati.
  • Rilevamento di frodi in cui i casi di frode confermati sono rari ma i volumi di transazione sono elevati.
  • Studi di imaging medico in cui le etichette dei radiologi sono disponibili per un sottoinsieme di scansioni.

Come funziona

Come funziona

1

Un modello di regressione logistica standard viene adattato agli esempi etichettati disponibili. Ciò fornisce stime iniziali dei coefficienti e stime della probabilità di classe per ogni osservazione. Anche con poche etichette, questo avvio a caldo produce un confine decisionale iniziale ragionevole che le iterazioni successive affineranno.

2

Il modello addestrato valuta ogni esempio non etichettato, producendo una probabilità a posteriori P(y=k | x) per ogni classe. Nell'auto-addestramento, agli esempi la cui probabilità massima supera una soglia di confidenza vengono assegnate pseudo-etichette rigide. Negli approcci basati su EM, vengono assegnate appartenenze frazionarie morbide piuttosto che una classe rigida, mantenendo l'incertezza esplicita durante tutto il processo.

Formula
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)
3

La regressione logistica viene rifattorizzata sul set combinato di esempi veramente etichettati ed esempi non etichettati pseudo-etichettati (o etichettati morbidi). La regolarizzazione — L1 o L2 — viene applicata per impedire al set di dati ampliato di spingere i coefficienti troppo aggressivamente verso il segnale di pseudo-etichetta rumoroso.

4

I passaggi di valutazione dei dati non etichettati e riaddestramento vengono ripetuti fino alla convergenza — tipicamente quando la variazione nella log-verosimiglianza o nei valori dei coefficienti tra le iterazioni scende al di sotto di una piccola tolleranza. La variante EM alterna formalmente tra un passo E (calcolo delle etichette attese) e un passo M (massimizzazione della log-verosimiglianza dei dati completi).

5

Una volta raggiunta la convergenza, il modello finale viene valutato su un set di test etichettato separato utilizzando metriche standard come accuratezza, AUC e F1. La validazione incrociata deve essere condotta solo sulla partizione etichettata per evitare perdite di etichette dal pool non etichettato nella stima di validazione.

Errori comuni

  • Inclusione di esempi non etichettati nel set di validazione o di test, che gonfia le stime delle prestazioni attraverso la fuga di informazioni sulla distribuzione.
  • Impostazione di una bassa soglia di confidenza che inonda il set di addestramento con pseudo-etichette incerte, accumulando errori precoci.
  • Ignorare lo squilibrio delle classi durante l'assegnazione delle pseudo-etichette, causando il dominio della classe maggioritaria nelle iterazioni successive.
  • Trattare i dati pseudo-etichettati come equivalenti ai dati veramente etichettati nell'incertezza quantificazione o nei test di significatività a valle.
  • Saltare la regolarizzazione sul set di addestramento ampliato, permettendo al rumore delle pseudo-etichette di guidare l'overfitting.

Domande frequenti

In che modo la regressione logistica semi-supervisionata differisce dalla regressione logistica standard?

La regressione logistica standard utilizza solo esempi etichettati. La variante semi-supervisionata assegna iterativamente etichette provvisorie ai dati non etichettati e li include nel riaddestramento, quindi il confine decisionale è modellato sia dalle etichette confermate che dalla struttura del set di dati non etichettati più ampio.

Quale soglia di confidenza dovrei usare per l'auto-addestramento?

Punti di partenza comuni sono 0.85–0.95 per la classificazione binaria. La soglia corretta dipende dall'equilibrio delle classi e dalla qualità delle etichette. Mettila a punto sul set di validazione etichettato e monitora la frazione di esempi non etichettati aggiunti per iterazione per evitare un'inondazione di pseudo-etichette incerte.

Posso ancora interpretare i coefficienti come rapporti di probabilità?

Sì, ma con cautela. I coefficienti stimati mantengono l'interpretazione del log-odds, ma i loro intervalli di confidenza sono sottostimati perché i dati pseudo-etichettati sono trattati come osservazioni reali. L'inferenza sulla significatività dovrebbe basarsi solo sulla porzione veramente etichettata.

Cosa succede se i miei dati non etichettati provengono da un periodo o da una fonte diversa?

Lo spostamento della distribuzione tra i set etichettati e non etichettati è una delle principali modalità di fallimento. Se i dati non etichettati provengono da una popolazione o da un periodo diverso, le pseudo-etichette potrebbero rafforzare errori sistematici. Controlla lo spostamento delle covariate prima di procedere.

Esiste un'implementazione pronta all'uso?

Sì. SelfTrainingClassifier di scikit-learn incapsula qualsiasi classificatore probabilistico, inclusa LogisticRegression, per l'auto-addestramento. La variante EM richiede un'implementazione manuale o librerie SSL dedicate come SKSSL o LASSL.

Metodi correlati

Fonti

  1. Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.

    Apri il riferimento DOI
    Copiato.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiato.