Regressione Lineare con Apprendimento Attivo
- Introdotto da
- Cohn, D. A.; Ghahramani, Z.; Jordan, M. I.
- Anno
- 1996
- Tipo
- Active learning / iterative supervised learning
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La Regressione Lineare con Apprendimento Attivo è un approccio iterativo di machine learning che accoppia un modello di regressione lineare con una strategia di interrogazione intelligente per selezionare i punti non etichettati più informativi da etichettare.
Concentrando lo sforzo di etichettatura dove l'incertezza è maggiore, raggiunge un'accuratezza predittiva competitiva con molti meno esempi etichettati rispetto al campionamento casuale passivo.
L’intuizione alla base del metodo
Etichettare i dati è spesso costoso — si pensi a misurazioni cliniche, annotazioni di esperti o esperimenti di laboratorio. Piuttosto che etichettare tutto a caso, un apprenditore attivo adatta una regressione lineare sul piccolo set etichettato che possiede, identifica dove le sue previsioni sono più incerte, chiede a un oracolo di etichettare quei punti, e poi riaddestra. Questo ciclo si ripete finché un budget non è esaurito o le prestazioni non raggiungono un obiettivo. Il risultato è un modello che apprende in modo efficiente, spendendo risorse di etichettatura esattamente dove contano di più — vicino ai confini decisionali o in regioni con dati scarsi.
Storia
Il quadro formale per l'apprendimento attivo con modelli statistici è stato stabilito da Cohn, Ghahramani e Jordan nel 1996, i quali hanno dimostrato che la riduzione della varianza sotto un modello probabilistico fornisce un criterio di interrogazione basato su principi. Questo lavoro ha unificato l'apprendimento attivo con la letteratura classica sulla progettazione sperimentale ottimale (risalente a Kiefer e Wolfowitz, 1959). Settles (2012) ha successivamente consolidato il campo più ampio dell'apprendimento attivo, e la regressione lineare attiva rimane un esempio canonico che illustra i principi fondamentali dell'interrogazione basata sull'incertezza.
Quando usarlo
Utilizzare la Regressione Lineare con Apprendimento Attivo quando la relazione tra predittori e un risultato continuo è approssimativamente lineare, le etichette sono scarse o costose da ottenere (ad es., esperimenti wet-lab, saggi clinici, annotazioni di esperti), e c'è un ampio pool di candidati non etichettati. È particolarmente adatta a problemi di progettazione sperimentale a bassa dimensionalità. Evitarla quando la relazione vera è fortemente non lineare (preferire varianti attive di processi Gaussiani o reti neurali), quando il costo dell'etichetta è trascurabile (il campionamento passivo è sufficiente), o quando il pool non etichettato è troppo piccolo per beneficiare della selezione.
Limiti e considerazioni
- Presuppone che la relazione vera sia lineare; la specificazione errata può portare a decisioni di interrogazione errate e stime distorte.
- Le prestazioni degradano in contesti ad alta dimensionalità dove il pool etichettato iniziale è troppo sparso per stimare la varianza in modo affidabile.
- La strategia di interrogazione greedy può concentrarsi eccessivamente sulle regioni di confine trascurando la copertura del nucleo.
- Richiede l'accesso a un oracolo (esperto umano o esperimento) che possa etichettare qualsiasi punto interrogato su richiesta.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Riduce drasticamente lo sforzo di etichettatura prendendo di mira prima gli esempi più informativi.
- Radicata nella teoria classica della progettazione sperimentale ottimale, fornisce garanzie teoriche sulla riduzione della varianza.
- Semplice e interpretabile: il modello sottostante rimane una regressione lineare ordinaria con coefficienti trasparenti.
- Computazionalmente economica — la varianza predittiva per la regressione lineare ha un aggiornamento in forma chiusa.
- Funziona bene in contesti a bassa e moderata dimensionalità con relazioni genuinamente lineari.
Applicazioni
- Scoperta di farmaci e scienza dei materiali: selezionare quali composti chimici sintetizzare e testare successivamente.
- Studi clinici: selezionare iterativamente pazienti per la misurazione al fine di minimizzare la dimensione del campione stimando le curve dose-risposta.
- Monitoraggio ambientale: scegliere le posizioni dei sensori per stimare in modo ottimale i campi di inquinamento o temperatura.
- Pipeline NLP con annotatore nell'anello: selezionare frasi per l'etichettatura da parte di esperti in compiti di punteggio basati su regressione.
- Ottimizzazione di processi industriali: progettazione sequenziale di esperimenti per mappare una superficie di output continua con un numero minimo di esecuzioni.
Come funziona
Come funziona
L'algoritmo inizia con un piccolo set di semi etichettati e un ampio pool di istanze non etichettate. Il set di semi dovrebbe essere sufficientemente diversificato da fornire alla regressione iniziale un punto di partenza ragionevole; un campione casuale di 5-20 punti è una scelta comune.
Un modello di regressione lineare viene adattato sul set etichettato corrente utilizzando i minimi quadrati ordinari. Il vettore dei coefficienti stimato beta-hat definisce la superficie di previsione corrente su tutti gli input.
Formula
\hat{\beta} = (X^\top X)^{-1} X^\top yPer ogni punto non etichettato, viene calcolato un criterio di interrogazione — tipicamente la varianza predittiva del modello di regressione in quel punto. Il punto con la varianza più alta (maggiore incertezza) viene selezionato come il candidato più informativo per l'etichettatura. La selezione basata sulla varianza corrisponde ai classici criteri di progettazione sperimentale ottimale (criteri D-ottimali o A-ottimali).
Formula
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)Il punto non etichettato selezionato viene presentato a un oracolo — un annotatore umano, uno strumento di laboratorio o un sistema di misurazione automatizzato — che fornisce l'etichetta vera (valore di risposta continuo). Questo passaggio di etichettatura è tipicamente il collo di bottiglia in termini di costo e tempo.
Il punto appena etichettato viene aggiunto al set etichettato e il modello di regressione lineare viene riadattato sul set ampliato. Il ciclo di interrogazione-etichettatura-riadattamento continua finché il budget di etichettatura non è esaurito o non viene soddisfatto un criterio di arresto (ad es., soglia minima di varianza).
Errori comuni
- Iniziare con un set di semi troppo piccolo o non rappresentativo, causando le prime interrogazioni ad essere guidate da un modello mal adattato.
- Ignorare la specificazione errata del modello — se i dati sono non lineari, il criterio di varianza selezionerà sistematicamente punti inutili.
- Trattare il modello finale come se fosse adattato su un campione casuale passivo; i campioni attivi non sono IID, il che può invalidare le formule standard degli errori standard.
- Confondere la varianza predittiva con la varianza residua; il criterio di interrogazione dovrebbe essere la varianza della previsione in nuovi punti, non il residuo di addestramento.
Domande frequenti
In che modo l'apprendimento attivo è diverso dalla regressione lineare ordinaria?
La regressione lineare ordinaria viene adattata su un set di dati etichettati raccolti passivamente. La regressione lineare con apprendimento attivo aggiunge un ciclo di interrogazione: dopo ogni adattamento, il modello seleziona il punto non etichettato di cui è più incerto, richiede la sua etichetta e riaddestra — iterando finché il budget di etichettatura non è esaurito.
Quale strategia di interrogazione funziona meglio?
Per la regressione lineare, massimizzare la varianza predittiva (equivalente alla progettazione sperimentale D-ottimale o A-ottimale) è sia teoricamente giustificato che praticamente efficace. Seleziona il punto che ridurrebbe maggiormente l'incertezza complessiva dei parametri.
Posso usarlo con la regressione regolarizzata (Ridge, Lasso)?
Sì. La varianza predittiva può essere calcolata per la regressione Ridge con un semplice aggiustamento in forma chiusa. Per Lasso l'espressione della varianza è meno diretta, quindi i professionisti utilizzano spesso stime di incertezza basate su Bootstrap o passano a una formulazione di regressione lineare Bayesiana.
Il campionamento attivo distorce gli errori standard dei coefficienti di regressione?
Sì. Poiché il campione etichettato non è estratto IID dalla popolazione, le formule standard degli errori standard OLS sono distorte. Le soluzioni includono stimatori ponderati con probabilità inversa o il riadattamento con un holdout casuale estratto passivamente.
Di quanti punti seme ho bisogno per iniziare?
Al minimo sono necessari p + 1 punti etichettati per adattare una regressione con p predittori, ma si raccomanda un set di semi di almeno 2p punti per ottenere una stima stabile della varianza iniziale. La selezione casuale del set di semi è una pratica standard.
Metodi correlati
Fonti
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
Apri il riferimento DOICopiato.Cohn, D. A., Ghahramani, Z., & Jordan, M. I. (1996). Active learning with statistical models. Journal of Artificial Intelligence Research, 4, 129–145.
Apri il riferimento DOICopiato.