Regressione Lineare Online
- Introdotto da
- Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
- Anno
- 1960 (LMS); 1950 (RLS formalization)
- Tipo
- Incremental supervised regression
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La Regressione Lineare Online adatta un modello lineare un'osservazione alla volta, aggiornando i pesi in modo incrementale all'arrivo di ogni nuovo punto dati.
A differenza dei minimi quadrati batch, non necessita mai di memorizzare o rielaborare l'intero dataset, rendendola la scelta naturale per dati in streaming, dataset molto grandi e ambienti in cui il processo generatore di dati può variare nel tempo.
L’intuizione alla base del metodo
Immagini di regolare le manopole di un predittore lineare dopo ogni singola misurazione, anziché attendere di raccogliere prima tutti i dati. Ogni nuova osservazione le dice quanto fosse errata la sua stima attuale, e lei sposta il vettore dei pesi di un piccolo passo nella direzione che avrebbe ridotto quell'errore. Nel corso di molte osservazioni, i pesi convergono a valori vicini alla soluzione dei minimi quadrati ordinari — ma ci è arrivato senza mai caricare l'intero dataset in memoria, e può continuare ad adattarsi se la relazione sottostante deriva.
Storia
Le fondamenta teoriche risalgono al metodo dei minimi quadrati di Gauss (inizio XIX secolo) e alla formulazione ricorsiva di Plackett del 1950. La variante online pratica emerse con l'algoritmo Least Mean Squares (LMS) di Widrow e Hoff nel 1960, originariamente sviluppato per l'elaborazione adattiva dei segnali. La teoria dell'ottimizzazione convessa online, formalizzata da Zinkevich (2003) e analizzata in modo completo da Shalev-Shwartz (2012), ha inserito la regressione lineare online in un rigoroso quadro di minimizzazione del rimpianto e ha dimostrato le sue garanzie di convergenza quasi ottimali.
Quando usarlo
Utilizzare la regressione lineare online quando i dati arrivano come un flusso continuo e le predizioni devono essere servite immediatamente, quando il dataset è troppo grande per essere tenuto in memoria per un adattamento batch, o quando la relazione tra predittori e risultato può variare nel tempo e il modello deve adattarsi. È anche una buona scelta come baseline leggera in sistemi di produzione in tempo reale. Evitarla quando la relazione è fortemente non lineare, quando l'ingegneria delle caratteristiche deve essere fatta in modo olistico sull'intero dataset, o quando sono necessari coefficienti OLS esatti con intervalli di confidenza per l'inferenza statistica — utilizzare la regressione lineare batch in quei casi.
Limiti e considerazioni
- Sensibile alla scelta del tasso di apprendimento: troppo grande causa oscillazioni, troppo piccolo causa convergenza lenta.
- Non fornisce errori standard in forma chiusa o p-value, quindi l'inferenza statistica classica non è direttamente disponibile.
- Può avere difficoltà con caratteristiche altamente correlate (multicollinearità) a meno che non venga aggiunta una regolarizzazione L2.
- Le prestazioni degradano rispetto all'OLS batch quando tutti i dati sono già disponibili e non c'è concept drift.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Elabora i dati un'osservazione alla volta con memoria O(p), dove p è il numero di caratteristiche — nessun dataset completo richiesto.
- Si adatta continuamente al concept drift, rendendola adatta ad ambienti non stazionari come serie temporali finanziarie o flussi di sensori.
- Computazionalmente economica per aggiornamento: un singolo prodotto scalare e un'addizione di vettori di pesi.
- Naturalmente parallelizzabile su più flussi o partizioni.
- Produce predizioni in tempo reale senza attendere un riadattamento batch.
Applicazioni
- Predizione dei prezzi in tempo reale e previsione della domanda nei mercati dell'e-commerce e dell'energia.
- Elaborazione adattiva dei segnali e cancellazione del rumore mediante minimi quadrati ricorsivi.
- Aggiornamento continuo del modello in ambienti IoT e reti di sensori dove i riadattamenti batch sono infattibili.
- Regressione su dati tick finanziari dove il processo generatore di dati cambia frequentemente.
- Pesi delle caratteristiche di sistemi di raccomandazione su larga scala aggiornati all'arrivo degli eventi utente.
- Modello di streaming di base nelle pipeline AutoML prima che vengano considerati modelli più complessi.
Come funziona
Come funziona
Impostare il vettore dei pesi a zero (o a un piccolo valore casuale) e scegliere un tasso di apprendimento eta che controlla la dimensione del passo. Opzionalmente, inizializzare un termine di regolarizzazione come L2 (Ridge) per evitare che i pesi crescano illimitatamente in flussi non stazionari.
Formula
\mathbf{w}_0 = \mathbf{0},\; \eta > 0Per ogni osservazione x_t in arrivo, calcolare l'output predetto come prodotto scalare del vettore dei pesi corrente con il vettore delle caratteristiche. Questa predizione viene fatta prima che l'etichetta vera y_t venga rivelata, rispecchiando la natura sequenziale dei reali contesti di streaming.
Formula
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_tDopo che l'etichetta vera viene rivelata, calcolare l'errore di predizione al quadrato. Questa perdita istantanea guida il segnale del gradiente; il gradiente della perdita al quadrato rispetto ai pesi è semplicemente l'errore moltiplicato per il vettore delle caratteristiche.
Formula
\ell_t = (y_t - \hat{y}_t)^2Applicare la regola di aggiornamento LMS (least mean squares): spostare i pesi nella direzione del gradiente negativo della perdita. La dimensione del passo eta controlla il compromesso tra velocità di adattamento e sensibilità al rumore. Un eta più piccolo produce una convergenza più fluida; un eta più grande si adatta più velocemente ma rischia oscillazioni.
Formula
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_tElaborare immediatamente l'osservazione successiva, o memorizzare in un piccolo mini-batch una variante online per mini-batch. In contesti non stazionari, un tasso di apprendimento decrescente o un fattore di dimenticanza a finestra scorrevole mantiene il modello reattivo al concept drift. Non è mai richiesto un riadattamento completo.
Errori comuni
- Utilizzare un tasso di apprendimento fisso su dati con scale di caratteristiche molto diverse — standardizzare sempre le caratteristiche online (ad es., media e varianza correnti) prima dell'aggiornamento.
- Dimenticare di aggiungere la regolarizzazione in contesti ad alta dimensionalità o quasi-collineari, il che consente ai pesi di divergere su flussi sparsi.
- Trattare i pesi online come equivalenti alle stime OLS e riportarli con intervalli di confidenza OLS — non sono identici.
- Ignorare il rilevamento del concept drift: se la distribuzione dei dati cambia bruscamente, un tasso di apprendimento fisso può seguire il rumore anziché il segnale.
- Valutare l'accuratezza solo alla fine di un lungo flusso invece di utilizzare la valutazione prequenziale (testa-poi-addestra) durante tutto il processo.
Domande frequenti
In che modo la regressione lineare online differisce dalla regressione lineare standard (batch)?
La regressione lineare batch risolve le equazioni normali sull'intero dataset in una volta sola, fornendo la soluzione OLS esatta. La regressione lineare online aggiorna i pesi in modo incrementale dopo ogni osservazione utilizzando un passo di gradiente, convergendo a una soluzione quasi-OLS senza mai caricare tutti i dati — al costo della perdita di statistiche di inferenza esatte.
Quale tasso di apprendimento dovrei usare?
Un punto di partenza comune è eta = 0.01 diviso per la norma al quadrato attesa dei vettori delle caratteristiche. La ricerca a griglia o metodi adattivi (AdaGrad, Adam) scalano automaticamente il tasso di apprendimento per caratteristica e sono spesso più facili da ottimizzare rispetto a un tasso globale fisso.
La regressione lineare online può gestire il concept drift?
Sì. Un tasso di apprendimento costante (non decrescente) mantiene il modello reattivo al drift. Per cambiamenti bruschi, test espliciti di rilevamento del drift (ad es., ADWIN) possono attivare un reset parziale dei pesi. Un tasso decrescente è migliore quando la relazione è stazionaria e si desidera una convergenza finale.
La regolarizzazione è possibile nell'impostazione online?
Sì. L'aggiunta di una penalità L2 fornisce l'aggiornamento online Ridge (Tikhonov): sottrarre una piccola frazione del vettore dei pesi corrente ad ogni passo. Ciò impedisce ai pesi di diventare grandi su flussi sparsi o rumorosi ed è fortemente raccomandato in contesti ad alta dimensionalità.
Come valuto equamente un modello online?
Utilizzare la valutazione prequenziale (testa-poi-addestra): registrare l'errore di predizione su ogni osservazione prima di utilizzarla per aggiornare il modello. Ciò fornisce una stima imparziale e sequenziale dell'errore di generalizzazione senza un set di test separato tenuto da parte.
Metodi correlati
Fonti
Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.
Apri il riferimento DOICopiato.Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.
ISBN: 978-0130901262Copiato.