Skip to content
Torna ai risultati

Active Learning

Introdotto da
Burr Settles
Anno
2009
Tipo
Interactive supervised learning framework
Famiglia
Interactive ML

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'active learning è un paradigma iterativo di apprendimento automatico in cui un algoritmo di apprendimento interroga selettivamente un oracolo — tipicamente un annotatore umano — per ottenere etichette sugli esempi non etichettati più informativi.

Formalizzato da Burr Settles nella sua seminale rassegna della letteratura del 2009, l'active learning affronta il collo di bottiglia pratico del costo di annotazione ottenendo un'elevata accuratezza del modello con molti meno esempi etichettati rispetto a quanto richiesto dall'apprendimento supervisionato passivo.

L’intuizione alla base del metodo

Immaginate uno studente di medicina che, invece di memorizzare ogni pagina di un libro di testo, chiede al medico curante solo dei casi più enigmatici. Lo studente impara più velocemente concentrandosi sull'incertezza piuttosto che rivedere esempi che già comprende. L'active learning funziona allo stesso modo: il modello identifica gli esempi su cui è più confuso, richiede etichette umane per quelle specifiche istanze e si aggiorna — ripetendo questo ciclo finché le prestazioni non sono soddisfacenti.

Storia

Il concetto di interrogare selettivamente esempi di addestramento informativi risale al disegno sperimentale ottimale di Fedorov (1972) e all'apprendimento per query di Cohn et al. (1994). Il campo è stato sostanzialmente unificato e reso popolare dal rapporto tecnico di Burr Settles del 2009, che catalogava strategie di query, limiti teorici e applicazioni in NLP, bioinformatica e computer vision. Il deep active learning è emerso dopo il 2016, quando le reti neurali sono diventate la classe di modelli dominante, stimolando nuove tecniche di stima dell'incertezza.

Quando usarlo

L'active learning è più vantaggioso quando i dati non etichettati sono abbondanti ma l'annotazione esperta è costosa, lenta o scarsa — comune nell'imaging medico, nella classificazione di documenti legali, nella curatela di dati scientifici e nell'elaborazione del linguaggio naturale. Presuppone la disponibilità dell'oracolo e che la strategia di query possa identificare in modo significativo esempi informativi. È meno adatto quando il costo di annotazione è trascurabile, il pool non etichettato è piccolo, o la distribuzione del compito cambia sostanzialmente tra le query. Alternative includono l'apprendimento semi-supervisionato (quando le etichette non possono essere ottenute interattivamente) e il self-training (quando le query dell'oracolo sono infattibili).

Limiti e considerazioni

  • Le strategie di query possono introdurre bias di campionamento, causando la non rappresentatività del set etichettato rispetto alla vera distribuzione dei dati.
  • I guadagni di prestazioni dipendono fortemente dalla scelta della strategia di query, che è specifica per il compito e il modello.
  • Riaddestrare il modello dopo ogni query è computazionalmente costoso per le reti neurali di grandi dimensioni.
  • Il rumore dell'oracolo (disaccordo o errori dell'annotatore) può degradare le prestazioni se non modellato esplicitamente.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Riduce drasticamente il costo di etichettatura concentrando lo sforzo di annotazione sugli esempi massimamente informativi.
  • Applicabile a qualsiasi apprenditore supervisionato — classificazione, regressione, predizione strutturata — senza modificare l'architettura del modello sottostante.
  • Teoricamente fondato: l'incertezza campionata e il query-by-committee hanno giustificazioni PAC-learning e Bayesiane.
  • Compatibile con flussi di lavoro di crowdsourcing e piattaforme di annotazione moderne.

Applicazioni

  • Annotazione di immagini mediche (radiologia, patologia) dove l'etichettatura esperta è costosa e scarsa.
  • Riconoscimento di entità nominate ed estrazione di relazioni in NLP, riducendo i requisiti di corpus etichettati manualmente.
  • Scoperta di farmaci: selezione di quali candidati molecolari sintetizzare e saggiare.
  • Classificazione di telerilevamento e immagini satellitari con etichette di verità a terra limitate.
  • Guida autonoma: prioritizzazione dell'annotazione di scenari di guida rari o critici per la sicurezza.

Come funziona

Come funziona

1

Il processo inizia con un ampio pool di esempi non etichettati U e un set etichettato L inizialmente vuoto. Un modello di base può essere pre-addestrato su dati seed etichettati disponibili, o inizializzato casualmente. Questa separazione di dati etichettati e non etichettati è l'assunzione strutturale distintiva dell'active learning basato su pool.

Formula
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptyset
2

Ad ogni iterazione, l'apprendista valuta ogni istanza non etichettata secondo un criterio di informatività — qui, l'incertezza campionata seleziona l'esempio la cui probabilità posteriore di classe massima è più bassa, indicando la massima incertezza del modello. Criteri alternativi includono il disaccordo query-by-committee e il cambiamento atteso del modello.

Formula
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})
3

L'istanza selezionata x* viene presentata a un oracolo (esperto umano, piattaforma di crowdsourcing o annotatore automatizzato) che fornisce un'etichetta y*. La nuova coppia etichettata viene spostata da U a L, e il contatore del budget di query viene decrementato. Il costo dell'oracolo è tipicamente trattato come uniforme per query.

Formula
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}
4

I parametri del modello vengono riaddestrati (o affinati) sul set etichettato corrente L minimizzando una perdita empirica. Il modello aggiornato rivaluta quindi il pool rimanente, e il ciclo query-selezione-etichettatura-riaddestramento si ripete finché il budget non è esaurito o non viene raggiunta una soglia di accuratezza target.

Formula
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)

Errori comuni

  • Problema del cold-start: con pochissime etichette iniziali, le stime di incertezza sono inaffidabili, portando a query iniziali scadenti.
  • L'active learning in modalità batch può selezionare istanze ridondanti se le correlazioni inter-query vengono ignorate.
  • Applicare l'active learning a reti neurali profonde con incertezza basata su dropout (ad es., MC Dropout) può sottostimare l'incertezza nelle regioni fuori distribuzione.
  • Confrontare le esecuzioni di active learning tra seed o budget di query senza intervalli di confidenza porta a conclusioni fuorvianti sulla superiorità della strategia.

Domande frequenti

In che modo l'active learning è diverso dall'apprendimento semi-supervisionato?

L'apprendimento semi-supervisionato sfrutta la struttura dei dati non etichettati (ad es., clustering, assunzioni di varietà) senza interrogare un oracolo, aggiornando il modello utilizzando pseudo-etichette o regolarizzazione di coerenza. L'active learning richiede esplicitamente etichette vere da un oracolo per gli esempi selezionati. I due approcci sono complementari e possono essere combinati.

Quale strategia di query dovrei usare in pratica?

L'incertezza campionata è la baseline più utilizzata e funziona bene per classificatori binari e multiclasse. Il query-by-committee è preferibile quando un ensemble è già disponibile. Il cambiamento atteso del modello o BALD (Bayesian Active Learning by Disagreement) tendono a funzionare meglio per modelli profondi ma sono computazionalmente più pesanti. Iniziare con l'incertezza campionata e confrontare con alternative.

L'active learning può essere applicato a compiti di regressione?

Sì. Per la regressione, l'informatività è tipicamente misurata dalla varianza predittiva (ad es., da un processo Gaussiano o da un ensemble) piuttosto che dall'entropia della probabilità di classe. L'apprendista interroga i punti in cui la varianza è più alta. Questa è una pratica standard nell'ottimizzazione Bayesiana e nella progettazione di esperimenti basata su modelli surrogati.

Metodi correlati

Fonti

  1. Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.

    Apri il riferimento della pubblicazione
    Copiato.