Skip to content
Torna ai risultati

Gradient Boosting con Apprendimento Attivo

Introdotto da
Settles, B. (active learning); Friedman, J. H. (gradient boosting); combined framework developed by the research community
Anno
2000s–2010s
Tipo
Active learning framework with gradient boosting base learner
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Gradient Boosting con Apprendimento Attivo combina la potente accuratezza predittiva degli alberi gradient boosting con un ciclo di apprendimento attivo che seleziona gli esempi non etichettati più informativi per l'annotazione umana.

Interrogando solo le istanze su cui il modello è più incerto, il metodo raggiunge un'elevata accuratezza con molti meno esempi etichettati rispetto all'apprendimento supervisionato passivo.

L’intuizione alla base del metodo

L'etichettatura dei dati è costosa. L'apprendimento attivo affronta questo problema consentendo al modello di decidere quali esempi vale la pena annotare successivamente — tipicamente quelli su cui il modello è più incerto. Il gradient boosting, noto per la sua forte accuratezza sui dati tabulari, funge da apprenditore principale in questo ciclo. Dopo ogni ciclo di etichettatura, il modello boosted viene riaddestrato sul set etichettato in crescita e identifica nuovamente i punti non etichettati più incerti. Il risultato è un modello ad alte prestazioni costruito con una frazione dei dati etichettati che l'addestramento passivo richiederebbe.

Storia

L'apprendimento attivo come campo è stato sistematizzato da Burr Settles nella sua influente survey del 2010. Il gradient boosting è stato formalizzato da Jerome Friedman nel 2001. La loro combinazione ha guadagnato slancio negli anni 2010 quando le librerie di alberi gradient boosting (XGBoost 2016, LightGBM 2017) sono diventate strumenti standard, rendendo pratico riaddestrare modelli potenti in pipeline di annotazione iterative. La combinazione è ora comune nell'annotazione NLP, nel triage di immagini mediche e nel controllo di qualità industriale.

Quando usarlo

Utilizzare Gradient Boosting con Apprendimento Attivo quando si dispone di un ampio pool di dati tabulari non etichettati ma l'etichettatura è costosa o richiede tempo, e il gradient boosting sarebbe altrimenti il modello di scelta. È particolarmente efficace per dataset sbilanciati dove le classi rare sono difficili da campionare passivamente. Evitarlo quando l'etichettatura è economica (l'apprendimento passivo con tutte le etichette è più semplice), quando il pool non etichettato è troppo piccolo per rendere utile l'interrogazione, quando si necessita di un modello completamente trasparente (coefficienti o regole), o quando il riaddestramento in tempo reale dopo ogni interrogazione è infattibile.

Limiti e considerazioni

  • Riaddestrare il gradient boosting da zero dopo ogni ciclo di interrogazione è computazionalmente costoso per dataset di grandi dimensioni.
  • Le strategie di interrogazione possono soffrire di bias di campionamento, convergendo a un set etichettato non rappresentativo se il set iniziale non è rappresentativo.
  • La calibrazione delle probabilità del gradient boosting potrebbe richiedere un passaggio aggiuntivo (ad es., Platt scaling) per garantire stime di incertezza affidabili.
  • Le prestazioni sono sensibili alla scelta della strategia di interrogazione; nessuna strategia singola domina in tutti i compiti.
  • Richiede un'infrastruttura per un flusso di lavoro di annotazione human-in-the-loop, che aggiunge overhead ingegneristico.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Raggiunge un'accuratezza competitiva con significativamente meno esempi etichettati rispetto all'apprendimento supervisionato passivo.
  • Eredita le prestazioni elevate del gradient boosting sui dati tabulari, gestendo interazioni non lineari e tipi di feature misti.
  • Flessibile: compatibile con qualsiasi strategia di interrogazione (incertezza, margine, entropia, query-by-committee).
  • Riduce sistematicamente il costo di annotazione, rendendolo pratico per domini che richiedono molta etichettatura da parte di esperti, come la medicina o il diritto.
  • Supporta il deployment iterativo: il modello migliora continuamente man mano che vengono raccolte più etichette.

Applicazioni

  • Classificazione di immagini mediche o testo dove l'annotazione esperta è scarsa e costosa.
  • Rilevamento di frodi su grandi dataset transazionali dove le etichette di frode confermate richiedono revisione manuale.
  • Etichettatura di sentiment o intenti in pipeline NLP dove i budget di annotazione crowd-sourced sono limitati.
  • Rilevamento di difetti industriali con capacità di ispezione limitata.
  • Etichettatura di dati scientifici in biologia, chimica o scienza dei materiali dove gli esperti di dominio sono costosi.
  • Modellazione del churn dei clienti o del rischio di credito con un campione limitato di risultati confermati.

Come funziona

Come funziona

1

L'addestramento inizia con un piccolo set iniziale di esempi etichettati. Il resto dei dati disponibili rimane non etichettato in un pool. Il set iniziale deve essere sufficientemente ampio affinché il modello gradient boosting produca stime di probabilità significative; tipicamente è richiesto almeno un esempio per classe.

2

Viene addestrato un modello gradient boosting (ad es., XGBoost, LightGBM o GradientBoostingClassifier di scikit-learn) sul set etichettato corrente. Il modello apprende un ensemble additivo di alberi decisionali adattando iterativamente i residui, producendo probabilità di classe calibrate utilizzate nel successivo passaggio di interrogazione.

3

Un criterio di incertezza o informatività seleziona le istanze non etichettate su cui il modello è meno sicuro. Strategie comuni includono il campionamento della minima confidenza (least-confidence sampling), il campionamento del margine (margin sampling) e il campionamento dell'entropia (entropy sampling). Il criterio dell'entropia seleziona x* che massimizza H(p(y|x)) sul pool non etichettato U.

Formula
x^* = \arg\max_{x \in U}\, H(p(y \mid x))
4

Le istanze selezionate vengono presentate a un annotatore umano (l'oracolo), che fornisce le etichette ground-truth. In pratica, questo passaggio è dove viene speso il costo di annotazione, quindi l'efficienza della strategia di interrogazione controlla direttamente il budget di etichettatura.

5

I nuovi esempi etichettati vengono aggiunti al set di addestramento e il modello gradient boosting viene riaddestrato da zero o aggiornato. Il ciclo si ripete finché non viene esaurito un budget di etichettatura o non viene raggiunta una soglia di prestazioni su un set di validazione.

Errori comuni

  • Iniziare con un set iniziale troppo piccolo o sbilanciato, causando il modello a interrogare solo una regione dello spazio delle feature.
  • Ignorare la calibrazione delle probabilità: i punteggi grezzi del gradient boosting non sono sempre probabilità ben calibrate e le stime di incertezza da essi derivate possono essere fuorvianti.
  • Valutare le prestazioni del modello solo sul set etichettato selezionato attivamente, che è distorto verso esempi incerti o difficili.
  • Utilizzare l'intero pool non etichettato per la valutazione finale dopo la selezione attiva — riservare sempre un set di test tenuto separato prima che inizi il ciclo di apprendimento attivo.
  • Trascurare il confronto con un baseline passivo addestrato sullo stesso numero di etichette campionate casualmente.

Domande frequenti

Quale strategia di interrogazione funziona meglio con il gradient boosting?

Il campionamento dell'entropia e il campionamento del margine sono le scelte più comuni e funzionano bene in pratica. Query-by-committee utilizzando un ensemble di modelli gradient boosting può essere più robusto ma aumenta il costo di addestramento. La strategia migliore dipende dal dataset; vale la pena confrontare due o tre strategie su un campione pilota.

Devo calibrare le probabilità del gradient boosting?

Sì, specialmente quando si utilizzano strategie di interrogazione basate sull'entropia o sulla confidenza. Il gradient boosting può produrre probabilità eccessivamente sicure. Applicare Platt scaling o regressione isotonica dopo ogni ciclo di addestramento per ottenere stime di incertezza meglio calibrate prima di interrogare.

Quanti esempi dovrei etichettare per ciclo?

Batch di 1 a diverse decine sono tipici. Batch più grandi sono computazionalmente più efficienti ma potrebbero essere meno efficienti in termini di campionamento rispetto all'interrogazione di singoli punti. Iniziare con una dimensione del batch proporzionale a circa l'1-5% del set etichettato iniziale e regolare in base alla produttività dell'annotazione.

Quando dovrei interrompere il ciclo di apprendimento attivo?

Interrompere quando le prestazioni di validazione si stabilizzano per diversi cicli consecutivi, quando il budget di etichettatura è esaurito, o quando l'incertezza del modello sul pool non etichettato rimanente scende al di sotto di una soglia che indica che il pool è in gran parte non informativo.

Posso usare XGBoost o LightGBM invece del gradient boosting di scikit-learn?

Sì — XGBoost e LightGBM sono più veloci e spesso più accurati; sono le implementazioni preferite in pratica. Assicurarsi di utilizzare predict_proba (o equivalente) con calibrazione piuttosto che punteggi log-odds grezzi per la strategia di interrogazione.

Metodi correlati

Fonti

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.

    Apri il riferimento DOI
    Copiato.