Skip to content
Torna ai risultati

Apprendimento Online

Introdotto da
Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
Anno
1958–2000s
Tipo
Learning paradigm (sequential model update)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'apprendimento online è un paradigma di machine learning in cui un modello viene aggiornato in modo incrementale man mano che arriva ogni nuovo punto dati, anziché essere addestrato una sola volta su un dataset fisso.

È essenziale quando i dati fluiscono continuamente, lo spazio di archiviazione è limitato o la distribuzione sottostante cambia nel tempo. Le prestazioni teoriche sono misurate dal rimpianto cumulativo rispetto al miglior predittore fisso in retrospettiva.

L’intuizione alla base del metodo

Nell'apprendimento batch classico, si raccolgono tutti i dati e poi si addestra. L'apprendimento online inverte questo processo: il modello riceve un esempio alla volta, fa una previsione, osserva il risultato effettivo e si aggiorna immediatamente. Pensate a un trader che aggiusta la propria strategia dopo ogni operazione invece di aspettare la fine dell'anno. La garanzia teorica chiave è il basso rimpianto — su molte iterazioni, la perdita totale dell'apprenditore online è quasi piccola quanto quella della singola strategia statica migliore scelta in retrospettiva.

Storia

Il paradigma dell'apprendimento online risale al Perceptron di Rosenblatt (1958) ed è stato formalizzato teoricamente da Littlestone (Mistake Bound model, 1988) e Freund & Schapire (Winnow, Hedge, anni '90). Il framework dell'ottimizzazione convessa online, che unifica l'analisi del rimpianto attraverso molti algoritmi, è stato sviluppato da Zinkevich (2003) e ampiamente analizzato da Shalev-Shwartz (2011). Varianti di FTRL e AdaGrad alimentano sistemi industriali su larga scala in aziende come Google.

Quando usarlo

Utilizzare l'apprendimento online quando i dati arrivano come un flusso continuo e il riaddestramento da zero è impraticabile; quando la distribuzione dei dati cambia nel tempo (concept drift) e il modello deve adattarsi senza riaddestramento completo; o quando i vincoli di archiviazione e memoria impediscono di conservare l'intero dataset. È adatto per sistemi di raccomandazione, rilevamento di frodi, pipeline di elaborazione del linguaggio naturale e applicazioni con dati da sensori. NON utilizzarlo quando il volume dei dati è piccolo e statico (l'apprendimento batch è più semplice ed ugualmente efficace), quando l'intero dataset deve essere visto più volte per la convergenza (ad es., reti neurali profonde su set piccoli), o quando la riproducibilità e le pipeline di valutazione offline sono critiche e l'infrastruttura di streaming non è disponibile.

Limiti e considerazioni

  • Sensibile alla scelta del tasso di apprendimento e degli iperparametri; tassi errati causano convergenza lenta o instabilità.
  • Le prestazioni in ogni dato passo dipendono dall'ordinamento degli esempi, rendendo i risultati sensibili all'ordine.
  • Le metriche di valutazione batch (cross-validation, set di test hold-out) non si applicano direttamente; è necessaria invece la valutazione prequenziale.
  • L'addestramento di reti neurali profonde richiede tipicamente più passaggi sui dati (epoche), in conflitto con le impostazioni online rigorose a passaggio singolo.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Gestisce flussi di dati illimitati con memoria costante, rendendolo scalabile a dataset massicci o infiniti.
  • Si adatta automaticamente al concept drift e allo spostamento distributivo senza trigger di riaddestramento espliciti.
  • Fornisce forti garanzie teoriche tramite limiti di rimpianto, quantificando le prestazioni nel caso peggiore rispetto a qualsiasi concorrente fisso.
  • Gli aggiornamenti a bassa latenza lo rendono adatto per applicazioni in tempo reale e sensibili al tempo.
  • Molti algoritmi (SGD, AdaGrad, FTRL) hanno proprietà di convergenza e rimpianto ben comprese.

Applicazioni

  • Previsione del tasso di click-through in tempo reale e pubblicità online (FTRL-Proximal su scala Google).
  • Rilevamento di frodi e anomalie su flussi di transazioni finanziarie che richiedono aggiornamenti immediati del modello.
  • Pipeline di elaborazione del linguaggio naturale su feed di notizie o social media con vocabolario in evoluzione.
  • Classificazione di dati da sensori e IoT dove il volume dei dati preclude l'archiviazione batch.
  • Sistemi di raccomandazione che devono adattarsi istantaneamente ai cambiamenti delle preferenze degli utenti.
  • Filtro antispam adattivo dove la definizione di spam si evolve continuamente.

Come funziona

Come funziona

1

Ad ogni passo temporale t, l'apprenditore riceve un nuovo vettore di caratteristiche x_t dal flusso di dati. L'istanza viene elaborata immediatamente e non viene memorizzata permanentemente, rendendo questo paradigma efficiente in termini di memoria anche per flussi di dati illimitati.

2

Il modello corrente f_t produce una previsione per x_t prima che l'etichetta vera venga rivelata. Il modello può essere un classificatore lineare, una piccola rete neurale, una regola decisionale o qualsiasi funzione parametrica mantenuta in memoria.

Formula
\hat{y}_t = f_t(x_t)
3

Dopo aver previsto, l'apprenditore osserva l'etichetta vera y_t e calcola la perdita. Questo segnale di feedback quantifica quanto fosse errata la previsione corrente e guida il successivo aggiornamento dei parametri.

Formula
\ell_t = \ell(\hat{y}_t, y_t)
4

I parametri del modello vengono aggiornati utilizzando il gradiente della perdita rispetto ai parametri correnti, scalato da un tasso di apprendimento. Algoritmi comuni includono Perceptron, Stochastic Gradient Descent, AdaGrad e Follow-the-Regularized-Leader (FTRL).

Formula
w_{t+1} = w_t - \eta_t \nabla \ell_t
5

Le prestazioni vengono valutate tramite il rimpianto cumulativo: la differenza tra la perdita totale dell'apprenditore online e la perdita totale del miglior predittore fisso noto in retrospettiva. Una crescita del rimpianto sub-lineare (ad es., O(sqrt(T))) garantisce che l'apprenditore converga a un comportamento quasi ottimale.

Formula
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)

Errori comuni

  • Utilizzare un tasso di apprendimento fisso quando AdaGrad o una pianificazione decrescente è necessaria — causa apprendimento lento o divergenza.
  • Ignorare il monitoraggio del concept drift: anche i modelli online possono rimanere indietro rispetto a cambiamenti improvvisi della distribuzione se non monitorati esplicitamente.
  • Confondere 'apprendimento online' con apprendimento basato sul web (e-learning); il significato nel machine learning è strettamente l'aggiornamento incrementale del modello.
  • Valutare con cross-validation batch invece della valutazione prequenziale (test-then-train), che sovrastima o sottostima le prestazioni.
  • Applicare l'apprendimento online a dataset piccoli e statici dove metodi batch più semplici con cross-validation appropriata sono più adatti.

Domande frequenti

L'apprendimento online è la stessa cosa dello stochastic gradient descent?

SGD è l'algoritmo di ottimizzazione più comune utilizzato nell'apprendimento online, ma non sono identici. L'apprendimento online è un paradigma (elabora un esempio, aggiorna, vai avanti); SGD è una regola di aggiornamento. L'apprendimento online può utilizzare altre regole di aggiornamento come Perceptron, AdaGrad o FTRL.

Come si valuta un modello addestrato con apprendimento online?

Utilizzare la valutazione prequenziale (chiamata anche test-then-train): per ogni esempio in arrivo, prima prevedi, registra l'errore, poi aggiorna. La media mobile degli errori fornisce una stima imparziale delle prestazioni in tempo reale senza richiedere un set di test separato.

Come gestisce l'apprendimento online il concept drift?

Poiché i parametri vengono aggiornati dopo ogni esempio, il modello segue naturalmente lenti spostamenti distributivi. Per un drift improvviso, rilevato esplicitamente monitorando i tassi di errore o test statistici (ad es., DDM, ADWIN), potrebbe essere necessario un tasso di apprendimento più elevato o un reset del modello.

Cos'è il rimpianto e perché è importante?

Il rimpianto è la perdita extra cumulativa subita dall'algoritmo online rispetto al miglior predittore fisso scelto con piena retrospettiva. Un rimpianto sub-lineare (che cresce più lentamente di T) garantisce che la perdita media per iterazione converga all'ottimo, fornendo un rigoroso certificato di prestazioni nel caso peggiore.

Le reti neurali profonde possono essere addestrate in modo online?

Sì, ma con delle avvertenze. Le DNN tipicamente necessitano di più epoche sui dati per una convergenza stabile, il che è in conflitto con i vincoli rigorosi dell'online a passaggio singolo. In pratica, si usa lo SGD con mini-batch in streaming come compromesso — elaborando batch recenti di pochi esempi prima di aggiornare i pesi.

Metodi correlati

Fonti

  1. Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Apri il riferimento DOI
    Copiato.
  2. Cesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.

    ISBN: 978-0-521-84108-5
    Copiato.