Skip to content
Torna ai risultati

Regressione logistica online

Introdotto da
Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
Anno
1960s (perceptron); formalized for logistic loss ~2000s
Tipo
Incremental supervised classifier
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La regressione logistica online adatta un classificatore logistico un campione (o mini-batch) alla volta tramite discesa del gradiente stocastico, aggiornando i pesi del modello man mano che ogni osservazione arriva, anziché attendere di aver visto l'intero set di dati.

Ciò la rende la scelta standard per problemi di classificazione binaria ad alto volume, in streaming o con vincoli di memoria, dove l'addestramento batch è infattibile.

L’intuizione alla base del metodo

La regressione logistica classica richiede il caricamento di tutti i dati in memoria e l'ottimizzazione sull'intero set di dati. La regressione logistica online, invece, legge ogni esempio in ingresso, effettua una predizione di probabilità, calcola l'errore di predizione e compie un piccolo passo di gradiente per correggere i suoi pesi prima di passare all'esempio successivo. Su molti esempi, i pesi convergono a valori vicini a quelli che un risolutore batch troverebbe, eppure il modello può essere aggiornato continuamente senza mai memorizzare l'intero set di dati. Un tasso di apprendimento decrescente assicura che gli aggiornamenti diventino più fini man mano che il modello matura, scambiando velocità di adattamento con stabilità.

Storia

Le radici dell'apprendimento basato sul gradiente online risalgono al percettrone di Rosenblatt (1958) e alla regola LMS di Widrow e Hoff (1960). La variante della loss logistica ha guadagnato prominenza nella letteratura sull'apprendimento su larga scala degli anni 2000, in particolare attraverso il lavoro di Bottou sulla discesa del gradiente stocastico per il machine learning, e il quadro teorico di Shalev-Shwartz per l'ottimizzazione convessa online. È diventato uno standard di produzione nella predizione del click-through-rate su scala web e nel filtraggio dello spam, dove i set di dati fluiscono continuamente e i modelli devono essere aggiornati in tempo reale.

Quando usarlo

Utilizzare la regressione logistica online quando i dati arrivano come uno stream o quando l'intero set di dati è troppo grande per essere contenuto in memoria, quando ci si aspetta che il confine di classe cambi gradualmente nel tempo (concept drift), o quando sono richiesti aggiornamenti del modello a bassa latenza. È anche una baseline veloce per set di dati statici molto grandi dove è accettabile un singolo passaggio SGD. Evitarla quando il set di dati è abbastanza piccolo da poter essere addestrato in batch (la regressione logistica batch convergerà a una soluzione migliore con meno tuning), quando il confine decisionale è altamente non lineare (metodi basati su alberi o kernel si adatteranno meglio), o quando è richiesta l'interpretabilità degli errori standard esatti dei coefficienti e dei valori p per la reportistica.

Limiti e considerazioni

  • Sensibile alla scelta del tasso di apprendimento: troppo alto causa divergenza, troppo basso causa convergenza lenta o underfitting.
  • Non fornisce intervalli di confidenza in forma chiusa o valori p per i coefficienti.
  • Converge a una soluzione più rumorosa rispetto alla discesa del gradiente batch a parità di dati; sono necessari più passaggi o medie (Polyak-Ruppert) per colmare il divario.
  • Le prestazioni degradano quando le caratteristiche sono su scale molto diverse, a meno che non vengano applicate standardizzazione o AdaGrad.
  • Assume un confine decisionale lineare; non può catturare strutture non lineari senza feature engineering.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Impronta di memoria costante: elabora un esempio alla volta senza memorizzare l'intero set di dati.
  • Si adatta al concept drift continuando ad aggiornare i pesi man mano che arrivano nuovi dati etichettati.
  • Scala a miliardi di esempi dove l'ottimizzazione batch sarebbe proibitiva.
  • Produce output di probabilità calibrati attraverso il link sigmoide, adatti per lo scoring del rischio.
  • Compatibile con la regolarizzazione L1 e L2 e con schemi di tasso di apprendimento che rispecchiano le soluzioni batch complete.

Applicazioni

  • Predizione del click-through-rate nella pubblicità online con stream di dati continui.
  • Rilevamento di spam e frodi in cui i pattern evolvono e i modelli devono adattarsi quotidianamente.
  • Classificazione del sentiment in tempo reale di post sui social media man mano che arrivano.
  • Scoring del rischio binario su larga scala quando l'intero set di dati non entra nella RAM.
  • Scenari di concept drift nel monitoraggio delle transazioni finanziarie.
  • Classificatore di streaming di base prima di valutare ensemble online più complessi.

Come funziona

Come funziona

1

Il vettore dei pesi e il bias vengono inizializzati a zero (o a piccoli valori casuali). In questa fase non è necessario alcun passaggio dei dati: il modello è pronto per elaborare immediatamente la sua prima osservazione.

Formula
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0
2

Per ogni osservazione in ingresso, il modello calcola la combinazione lineare dei suoi pesi e delle sue caratteristiche correnti, quindi la passa attraverso la funzione sigmoide per ottenere la probabilità che l'etichetta sia 1. Questa probabilità viene utilizzata sia come predizione sia come ingrediente nel calcolo del gradiente.

Formula
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}
3

La cross-entropia binaria (log-loss) tra la probabilità prevista e l'etichetta vera misura quanto sia errata la predizione corrente. La cross-entropia è convessa rispetto ai pesi, il che garantisce che i passi di gradiente riducano in modo affidabile l'errore in media lungo lo stream di dati.

Formula
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]
4

Il gradiente della loss rispetto ai pesi si riduce al semplice residuo (probabilità prevista meno etichetta vera) moltiplicato per il vettore delle caratteristiche. Viene aggiunto un termine di regolarizzazione (L2 o L1) per penalizzare i pesi elevati e prevenire l'overfitting. I pesi vengono aggiornati sottraendo il gradiente scalato in un singolo passaggio per esempio.

Formula
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_t
5

Il tasso di apprendimento viene attenuato nel tempo: inizia alto per muoversi rapidamente nelle fasi iniziali e si riduce in modo che gli aggiornamenti successivi apportino correzioni fini senza oscillare. Schemi comuni sono il decadimento inverso nel tempo (inverse-time decay) o l'adattamento per caratteristica in stile AdaGrad, che gestisce automaticamente caratteristiche con scale molto diverse.

Formula
\eta_t = \eta_0 / (1 + \alpha t)

Errori comuni

  • Dimenticare di standardizzare le caratteristiche: l'SGD online è particolarmente sensibile alle differenze di scala perché lo stesso tasso di apprendimento viene applicato a tutte le dimensioni.
  • Utilizzare un tasso di apprendimento fisso durante tutto l'addestramento: i pesi oscillano vicino all'ottimo e non si stabilizzano mai.
  • Ignorare lo sbilanciamento delle classi nel data stream: le classi sottorappresentate ricevono pochi segnali di gradiente e il modello tende verso la classe maggioritaria.
  • Trattare le stime dei pesi delle fasi iniziali come definitive: il modello necessita di esempi sufficienti prima che i suoi pesi si stabilizzino; non valutare troppo presto.
  • Confondere la capacità di aggiornamento online con il rilevamento automatico del concept drift: i pesi derivano dai dati, ma è ancora necessario un monitoraggio esplicito del drift (ad es. ADWIN) per rilevare cambiamenti improvvisi.

Domande frequenti

In che modo la regressione logistica online differisce dalla regressione logistica standard?

La regressione logistica standard utilizza tutti i dati contemporaneamente (ottimizzazione batch) e restituisce coefficienti di massima verosimiglianza esatti con errori standard. La regressione logistica online aggiorna i pesi dopo ogni esempio, utilizzando solo memoria costante e tollerando stream infinitamente lunghi, ma le sue stime sono più rumorose e non produce statistiche inferenziali.

Come scelgo il tasso di apprendimento?

Un punto di partenza comune è un piccolo tasso fisso (ad es. 0,01) combinato con un decadimento inverso nel tempo, oppure l'uso di AdaGrad che adatta automaticamente i tassi per caratteristica. Standardizzare sempre prima le caratteristiche, quindi regolare il tasso iniziale su una fold di validazione tenuta da parte o monitorando la log-loss corrente su una finestra recente dello stream.

La regressione logistica online può gestire problemi multiclasse?

Sì, estendendola a classificatori binari one-vs-rest addestrati in parallelo, oppure utilizzando la generalizzazione softmax (multinomiale) con loss di cross-entropia categorica e vettori di pesi per classe, applicando la stessa regola di aggiornamento SGD a ciascuno.

Quale regolarizzazione dovrei usare?

La regolarizzazione L2 (ridge) è quella predefinita: riduce tutti i pesi in modo uniforme e funziona bene con SGD. L1 (lasso) produce pesi sparsi ed è utile quando si desidera una selezione automatica delle caratteristiche in spazi ad altissima dimensionalità, ma richiede un'attenta troncatura o aggiornamenti FOBOS per rimanere esattamente sparsi online.

Come valuto un modello che viene aggiornato continuamente?

Utilizzare la valutazione prequenziale (test-then-train): predire ogni esempio prima di utilizzarlo per un aggiornamento dei pesi, quindi riportare la log-loss corrente o l'AUC su una finestra scorrevole. Ciò fornisce una stima imparziale della qualità attuale del modello senza un set fisso tenuto da parte.

Metodi correlati

Fonti

  1. Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Apri il riferimento DOI
    Copiato.