Skip to content
Torna ai risultati

[UNTRANSLATED: Active Learning Stacking Ensemble]

Introdotto da
Wolpert, D. H. (stacking); Settles, B. (active learning survey)
Anno
1992–2012
Tipo
Hybrid (active learning + stacked ensemble)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Active Learning Stacking Ensemble combina un ciclo di query di active learning con la generalizzazione impilata (stacked generalization): è disponibile un pool di dati non etichettati e il modello seleziona iterativamente le istanze più informative per l'etichettatura umana, utilizzando tali etichette per addestrare e affinare un ensemble impilato di più apprendisti di base (base learners) coronato da un meta-apprendista (meta-learner).

Questo approccio riduce i costi di annotazione massimizzando al contempo la potenza predittiva dell'ensemble.

L’intuizione alla base del metodo

L'etichettatura dei dati è costosa. L'active learning pone la domanda: quali esempi non etichettati insegnerebbero di più al modello? Misurando l'incertezza o il disaccordo tra gli apprendisti di base di un ensemble impilato, il sistema può indirizzare l'annotatore umano verso gli esempi su cui l'ensemble è più confuso. Ogni nuovo punto etichettato viene reimmesso nella pipeline di stacking, aggiornando sia gli apprendisti di base sia il meta-apprendista. Il risultato è un ensemble robusto costruito con molte meno etichette di quanto richiederebbe l'addestramento supervisionato standard.

Storia

La generalizzazione impilata (stacked generalization) è stata introdotta da David Wolpert nel 1992 come modo per combinare diversi apprendisti di base tramite un meta-apprendista. L'active learning come framework sistematico per selezionare esempi informativi è stato ampiamente esaminato da Burr Settles nel 2012. La combinazione — applicare strategie di query attive ad architetture ensemble o di stacking — è emersa negli anni 2000 e 2010 mentre i ricercatori cercavano di ridurre i costi di annotazione per modelli complessi, ed è ora un paradigma consolidato nell'apprendimento automatico a basse risorse e ad alta efficienza di annotazione.

Quando usarlo

Utilizzare Active Learning Stacking Ensemble quando i dati etichettati sono scarsi o costosi da ottenere, è disponibile un ampio pool di dati non etichettati e si necessita di una forte accuratezza predittiva. È particolarmente prezioso in domini come l'annotazione medica, la classificazione di documenti legali e l'etichettatura di immagini scientifiche, dove il tempo dell'esperto è limitato. Non utilizzare questo approccio quando tutti i dati possono essere etichettati a basso costo — lo stacking standard sarà più semplice ed ugualmente efficace. Evitarlo quando il pool non etichettato è piccolo (la selezione attiva offre scarso beneficio) o quando sono necessarie predizioni in tempo reale durante il ciclo di query, poiché il riaddestramento dello stack dopo ogni query è computazionalmente costoso.

Limiti e considerazioni

  • Il riaddestramento dell'intero ensemble impilato dopo ogni query è computazionalmente costoso per insiemi di apprendisti di base numerosi.
  • La progettazione della strategia di query non è banale: una funzione di acquisizione scadente può selezionare esempi ridondanti o non informativi.
  • Il meta-apprendista richiede dati etichettati sufficienti per apprendere pesi di combinazione affidabili; con pochissime etichette, le meta-caratteristiche sono rumorose.
  • La latenza di feedback da un oracolo umano può rendere il ciclo iterativo lento in pratica.
  • Le prestazioni dipendono fortemente dalla diversità degli apprendisti di base e dal meta-apprendista scelto.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Raggiunge un'elevata accuratezza predittiva con meno esempi etichettati rispetto allo stacking supervisionato passivo.
  • La diversità dell'ensemble derivante da più apprendisti di base rende le stime di incertezza delle query più affidabili.
  • Il meta-apprendista combina in modo adattivo gli apprendisti di base, correggendo il bias di ciascun apprendista di base.
  • Compatibile con quasi ogni combinazione di apprendisti di base e meta-apprendista.
  • Riduce sistematicamente il budget di annotazione, rendendo il tempo dell'esperto più efficiente.

Applicazioni

  • Classificazione di immagini mediche o cartelle cliniche con casi annotati limitati.
  • Classificazione di documenti legali e normativi dove l'annotazione esperta è costosa.
  • Etichettatura di dati scientifici in biologia, chimica e telerilevamento.
  • Analisi del sentiment e classificazione del testo con scarsi dati etichettati specifici del dominio.
  • Rilevamento di frodi dove le etichette ground-truth richiedono un'indagine manuale.
  • Qualsiasi attività di predizione tabellare con un ampio pool non etichettato e un budget di etichettatura limitato.

Come funziona

Come funziona

1

Un piccolo set iniziale di esempi etichettati viene utilizzato per addestrare i primi apprendisti di base nello stack. I dati rimanenti restano non etichettati in un pool di candidati. Questo set iniziale definisce il punto di partenza per tutte le query attive successive.

2

Una funzione di acquisizione — come l'incertezza predittiva, il campionamento del margine o il disaccordo query-by-committee tra gli apprendisti di base — assegna un punteggio a ogni candidato non etichettato. L'istanza con il punteggio più alto viene selezionata come la più informativa per l'etichettatura.

3

L'istanza selezionata viene presentata a un annotatore umano o a un oracolo automatizzato, che le assegna la sua vera etichetta. Questo esempio etichettato viene aggiunto al set di addestramento per il round di addestramento successivo.

4

Con il set etichettato aggiornato, ogni apprendista di base (ad es., albero decisionale, SVM, regressione logistica) viene riaddestrato. Le predizioni fuori piega (out-of-fold) degli apprendisti di base sul set di addestramento formano la matrice di meta-caratteristiche utilizzata per addestrare il meta-apprendista.

5

Un meta-apprendista (comunemente regressione logistica o un modello lineare) viene addestrato sulle meta-caratteristiche prodotte dagli apprendisti di base. Impara come combinare al meglio le loro predizioni, correggendo gli errori sistematici di ciascun apprendista di base.

6

I passaggi 2-5 si ripetono per un budget fisso di query o finché le prestazioni del modello su un set di validazione tenuto da parte non si stabilizzano. L'ensemble impilato finale è il modello addestrato su tutti i dati etichettati accumulati.

Errori comuni

  • Utilizzare un solo apprendista di base — questo elimina la diversità dell'ensemble che rende affidabili i segnali di query attivi.
  • Effettuare query in grandi batch senza riaddestrare nel frattempo, il che vanifica il beneficio del feedback incrementale.
  • Valutare solo sui dati di addestramento dopo ogni round anziché su un set di validazione tenuto da parte.
  • Ignorare lo sbilanciamento delle classi nella selezione delle query, il che può causare al ciclo attivo il sovra-campionamento della classe maggioritaria.
  • Confondere le prestazioni del set iniziale etichettato con le prestazioni del modello finale.

Domande frequenti

Quale strategia di query funziona meglio con un ensemble impilato?

Query-by-committee, che misura il disaccordo tra gli apprendisti di base, è una scelta naturale poiché gli apprendisti di base formano già una commissione. Anche il campionamento dell'incertezza sull'output del meta-apprendista è comune e più semplice da implementare.

Di quanti esempi etichettati ho bisogno per iniziare?

È richiesto un set iniziale di almeno un esempio rappresentativo per classe; in pratica, 10-50 esempi etichettati per classe forniscono agli apprendisti di base un segnale sufficiente per generare stime di incertezza significative per il primo round di query.

È meglio interrogare un esempio alla volta o in batch?

Gli aggiornamenti a singola query massimizzano l'informatività ma richiedono il riaddestramento dopo ogni etichetta, il che è costoso. L'active learning in modalità batch seleziona un batch diversificato di query contemporaneamente e riaddestra una volta per batch, offrendo un compromesso pratico tra costo e guadagno di informazione.

Posso usare deep learners come modelli di base nello stack?

Sì, ma riaddestrare i deep learners dopo ogni round di query attiva è molto costoso. Un compromesso comune è quello di congelare o affinare (fine-tune) gli apprendisti di base solo periodicamente mentre si esegue il ciclo di query più frequentemente con il meta-apprendista.

Come faccio a sapere quando smettere di interrogare?

Smettere quando le prestazioni di validazione si stabilizzano dopo diversi round, quando il budget di etichettatura è esaurito, o quando la funzione di acquisizione assegna punteggi di informatività uniformemente bassi a tutti i candidati rimanenti — indicando che il modello ha appreso la maggior parte di ciò che il pool può offrire.

Metodi correlati

Fonti

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    Apri il riferimento DOI
    Copiato.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.

    Apri il riferimento DOI
    Copiato.