[UNTRANSLATED: Active Learning LightGBM]
- Introdotto da
- Settles, B. (active learning); Ke, G. et al. (LightGBM)
- Anno
- 2017–present
- Tipo
- Hybrid (active learning query strategy + gradient boosting classifier)
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Active Learning LightGBM accoppia la strategia di selezione delle etichette efficiente in termini di query dell'apprendimento attivo con la velocità e l'accuratezza di LightGBM, un framework di gradient boosting basato su istogrammi.
Il modello seleziona iterativamente le istanze non etichettate più informative per l'annotazione umana, riaddestra LightGBM sul set di dati etichettati in crescita e converge a un'elevata accuratezza con molti meno esempi etichettati rispetto all'apprendimento supervisionato passivo.
L’intuizione alla base del metodo
Etichettare i dati è costoso. Active Learning LightGBM affronta questo problema utilizzando il modello LightGBM corrente per identificare quali campioni non etichettati lo rendono più incerto — quelli vicini a un confine decisionale o con la più alta entropia di predizione — e chiedendo a un annotatore umano solo per quelle etichette. Poiché LightGBM è veloce da addestrare e produce stime di probabilità ben calibrate attraverso il gradient boosting, questo segnale di incertezza è affidabile. Nel corso di diversi round di query, il modello apprende dove necessita maggiormente di informazioni, costruendo accuratezza con uno sforzo di annotazione minimo.
Storia
L'apprendimento attivo come campo è stato sistematizzato da Settles (2012), attingendo a lavori precedenti sul campionamento selettivo e sull'apprendimento per query degli anni '90. LightGBM è stato introdotto da Ke et al. a NeurIPS 2017 come un'implementazione di gradient boosting altamente efficiente che utilizza split basati su istogrammi e crescita foglia-per-foglia. La loro combinazione è diventata popolare nell'apprendimento automatico applicato a partire circa dal 2018, in particolare nell'annotazione di testi biomedici, nel telerilevamento e nel controllo di qualità industriale, dove i costi di etichettatura sono elevati e i dati tabulari o ricchi di caratteristiche sono abbondanti.
Quando usarlo
Utilizzare Active Learning LightGBM quando il costo dell'annotazione è il vincolo primario: esistono grandi pool di dati tabulari non etichettati ma etichettare ogni istanza è costoso in termini di tempo o denaro, ed è richiesta un'accuratezza di livello LightGBM. Eccelle quando la distribuzione delle classi è sbilanciata o i dati non etichettati sono abbondanti ma i dati etichettati sono scarsi. Non utilizzarlo quando l'intero set di dati può essere etichettato a basso costo, quando i dati arrivano solo come un batch completamente etichettato (l'apprendimento passivo è sufficiente), quando l'oracolo (annotatore) è inaffidabile o non disponibile in modo interattivo, o quando l'interpretabilità di ogni decisione è strettamente richiesta senza strumenti post-hoc.
Limiti e considerazioni
- La strategia di query e il criterio di arresto richiedono un'attenta selezione; scelte errate sprecano il budget di etichettatura.
- Ogni round introduce latenza se si riaddestra da zero; set di dati di grandi dimensioni con molti round possono essere lenti.
- Le prestazioni dipendono da un oracolo affidabile; etichette umane rumorose o incoerenti degradano rapidamente il modello.
- Non adatto per impostazioni puramente in streaming o online senza adattamento all'addestramento incrementale di LightGBM.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Riduce drasticamente lo sforzo di annotazione concentrando l'etichettatura sulle istanze più informative.
- La velocità di LightGBM consente un rapido riaddestramento tra i round di query, rendendo pratici i flussi di lavoro interattivi.
- Gestisce bene dati tabulari ad alta dimensionalità, comprese le caratteristiche categoriche tramite il supporto nativo di LightGBM.
- Compatibile con molteplici strategie di query (campionamento per incertezza, margine, entropia, query-by-committee).
- Gestisce naturalmente lo sbilanciamento delle classi attraverso i parametri class-weight e scale-pos-weight di LightGBM.
Applicazioni
- Annotazione di cartelle cliniche e NLP clinico, dove l'etichettatura da parte di esperti è costosa.
- Classificazione di immagini di telerilevamento e satellitari con copertura parziale della verità a terra.
- Rilevamento di difetti industriali su dati tabulari di sensori con costose ispezioni manuali.
- Rilevamento di frodi e punteggio di rischio con etichette di frode confermate limitate.
- Screening della letteratura scientifica nelle revisioni sistematiche per dare priorità ai documenti per la lettura completa.
Come funziona
Come funziona
Un piccolo set iniziale di esempi etichettati viene estratto casualmente dai dati disponibili. Questi formano il pool di addestramento iniziale. Le istanze non etichettate rimanenti formano il pool di query da cui il modello richiederà annotazioni nei round successivi.
LightGBM viene addestrato sul pool etichettato corrente utilizzando la sua crescita degli alberi basata su istogrammi e foglia-per-foglia, che offre un addestramento rapido e prestazioni predittive elevate anche su piccoli set di dati etichettati. Le stime di probabilità per ogni classe vengono prodotte per tutte le istanze nel pool non etichettato.
Una funzione di acquisizione valuta ogni istanza non etichettata in base alla sua informatività — comunemente entropia di predizione H(y|x), campionamento del margine, o disaccordo query-by-committee. L'istanza (o le istanze) con il punteggio più alto viene selezionata per l'annotazione in questo round.
Formula
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})L'istanza (o le istanze) selezionata viene presentata a un oracolo umano — un esperto di dominio, una piattaforma di crowdsourcing, o un etichettatore automatizzato — che fornisce l'etichetta di classe vera. Questo è l'unico passaggio che richiede input esterno; il suo costo e la sua affidabilità vincolano direttamente quanti round di query sono fattibili.
Le istanze appena etichettate vengono aggiunte al pool di addestramento e LightGBM viene riaddestrato da zero (o aggiornato incrementalmente dove supportato). Il ciclo si ripete fino al raggiungimento di un budget di etichettatura, una soglia di accuratezza, o un numero massimo di round di query.
Errori comuni
- Valutare le prestazioni solo sul set etichettato selezionato attivamente, che è distorto verso esempi difficili — tenere sempre da parte un set di test casuale prima che inizi il ciclo AL.
- Ignorare la sensibilità al cold-start: se il set iniziale è troppo piccolo o non rappresentativo, le prime query possono essere fuorvianti.
- Utilizzare probabilità non calibrate come punteggi di incertezza senza verificare la calibrazione di LightGBM (la scalatura di Platt o la regressione isotonica aiutano).
- Trattare il pool etichettato come i.i.d. quando si riportano metriche di generalizzazione — il set campionato attivamente non è un campione casuale della popolazione.
Domande frequenti
Quale strategia di query funziona meglio con LightGBM?
Il campionamento per incertezza tramite entropia di predizione è il punto di partenza più comune perché LightGBM produce direttamente probabilità di classe. Il campionamento del margine (differenza tra le prime due probabilità di classe) è spesso più robusto quando i conteggi delle classi sono molto disuguali. Query-by-committee richiede l'addestramento di più modelli ma può ridurre il bias dalle stime di incertezza di un singolo modello.
Quanti esempi etichettati sono necessari per iniziare?
È richiesto un set iniziale di almeno un esempio per classe; in pratica, 10-50 istanze etichettate selezionate casualmente per classe forniscono a LightGBM un segnale sufficiente per produrre stime di incertezza significative per il primo round di query.
Dovrei riaddestrare LightGBM da zero ogni round?
Il riaddestramento da zero assicura che il modello rifletta pienamente il set etichettato aggiornato ed è una pratica standard. Per set di dati molto grandi o molti round, esistono approcci incrementali ma richiedono attenzione per evitare il drift del modello.
Come faccio a sapere quando smettere di interrogare?
Regole di arresto comuni includono: il raggiungimento di un budget di etichettatura fisso, la stabilizzazione dell'accuratezza della validazione tenuta da parte attraverso diversi round, o il punteggio di incertezza massimo che scende al di sotto di una soglia. Monitorare le prestazioni su un set di test casuale tenuto da parte attraverso i round è l'indicatore più affidabile.
Active Learning LightGBM è la stessa cosa dell'apprendimento semi-supervisionato?
No. L'apprendimento semi-supervisionato utilizza dati non etichettati direttamente nell'addestramento (ad esempio, pseudo-etichette o regolarizzazione di coerenza). L'apprendimento attivo interroga un oracolo umano per ottenere etichette vere per istanze non etichettate selezionate; i dati non etichettati senza un'etichetta interrogata semplicemente non vengono utilizzati per l'addestramento.
Metodi correlati
Fonti
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
Apri il riferimento DOICopiato.Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.
Apri il riferimento della pubblicazioneCopiato.