Skip to content
Torna ai risultati

Ottimizzazione stocastica — SGD e varianti

Anno
1951 (SGD); 2014 (Adam)
Tipo
Gradient-based iterative optimization

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'ottimizzazione stocastica è una famiglia di metodi iterativi che minimizzano una funzione obiettivo calcolando i gradienti su sottoinsiemi di dati campionati casualmente — mini-batch — piuttosto che sull'intero dataset in una volta sola.

Introdotto da Robbins e Monro nel 1951 come approssimazione stocastica, l'approccio è diventato il motore standard per l'addestramento di modelli di machine learning su larga scala attraverso varianti come SGD con momentum, AdaGrad, RMSProp e Adam.

L’intuizione alla base del metodo

Immaginate di voler trovare il punto più basso in un vasto paesaggio collinare, ma misurare la pendenza dell'intero paesaggio ad ogni passo è proibitivamente costoso. L'ottimizzazione stocastica funziona misurando la pendenza in una piccola porzione casuale di terreno, facendo un passo in discesa e ripetendo il processo molte volte. Ogni singolo passo è più rumoroso che misurare l'intero paesaggio, ma il gran numero di passi economici vi porta al fondo più velocemente di quanto farebbero poche misurazioni esatte e costose. Le varianti adattive come Adam vanno oltre, ricordando quanto è stata irregolare ogni direzione e scalando i loro passi di conseguenza.

Storia

L'ottimizzazione stocastica risale a Robbins e Monro (1951), che dimostrarono che le stime iterative del gradiente convergono a un punto stazionario di una funzione in condizioni lievi — fondando il campo dell'approssimazione stocastica. La discesa del gradiente stocastico divenne ampiamente utilizzata nel machine learning attraverso il lavoro di Bottou negli anni '90 sui modelli lineari su larga scala. L'era del deep learning intensificò la domanda di metodi adattivi efficienti: Duchi et al. introdussero AdaGrad nel 2011, Tieleman e Hinton proposero RMSProp nel 2012, e Kingma e Ba pubblicarono Adam nel 2014, che divenne rapidamente l'ottimizzatore predefinito per l'addestramento delle reti neurali grazie alla sua robustezza su diverse architetture e compiti.

Quando usarlo

L'ottimizzazione stocastica si applica ogni volta che è necessario minimizzare una funzione di loss differenziabile (o sub-differenziabile) su un dataset di grandi dimensioni, dove il calcolo di gradienti esatti sull'intero dataset ad ogni passo è computazionalmente proibitivo. È l'approccio standard per l'addestramento di reti neurali, modelli lineari con grandi quantità di dati e qualsiasi modello parametrico adattato tramite discesa del gradiente. L'obiettivo deve ammettere un gradiente o un subgradiente; il metodo non si applica a problemi black-box non differenziabili. La selezione del tasso di apprendimento è critica — un tasso troppo elevato causa divergenza, un tasso troppo basso rallenta la convergenza.

Limiti e considerazioni

  • Il tasso di apprendimento è un iperparametro critico; scelte errate portano a divergenza o a una convergenza estremamente lenta.
  • Il rumore del gradiente del mini-batch può impedire la convergenza a un minimo esatto — l'ottimizzatore tipicamente oscilla vicino all'ottimo piuttosto che stabilizzarsi precisamente.
  • I punti di sella e i minimi locali scadenti sono rischi reali in paesaggi non convessi, sebbene il rumore del gradiente e il momentum aiutino a mitigarli.
  • Adam e altri metodi adattivi possono convergere a minimi più "sharp" che generalizzano peggio dei minimi più "flat" trovati da SGD semplice con un'attenta sintonizzazione.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Si adatta a dataset arbitrariamente grandi perché ogni aggiornamento utilizza solo un mini-batch, non l'intero dato.
  • Il rumore del gradiente dal campionamento del mini-batch può aiutare a sfuggire a minimi locali superficiali e punti di sella.
  • Le varianti adattive (Adam, RMSProp) riducono l'onere della sintonizzazione manuale del tasso di apprendimento regolando automaticamente le dimensioni del passo per parametro.
  • Ampiamente supportato in tutti i principali framework di deep learning e ben compreso teoricamente.

Applicazioni

  • Addestramento di reti neurali di tutte le profondità — dalla regressione logistica ai modelli linguistici di grandi dimensioni.
  • Adattamento di modelli lineari e lineari generalizzati su larga scala dove la discesa del gradiente a batch completo è computazionalmente infattibile.
  • Contesti di apprendimento online in cui i dati arrivano in streaming e il modello deve aggiornarsi in modo incrementale.
  • Metodi di gradiente di policy per l'apprendimento per rinforzo, dove Adam e RMSProp sono scelte standard.
  • Sistemi di raccomandazione e modelli di embedding addestrati su enormi dataset sparsi.

Come funziona

Come funziona

1

Il vettore dei parametri viene inizializzato — tipicamente con piccoli valori casuali. Il tasso di apprendimento (dimensione del passo) e, per le varianti adattive, i tassi di decadimento del momento sono impostati come iperparametri prima dell'inizio dell'addestramento. Queste scelte hanno un grande effetto sulla velocità di convergenza e sulle prestazioni finali.

2

Ad ogni iterazione viene estratto un mini-batch — un piccolo sottoinsieme casuale dell'intero dataset. La dimensione del mini-batch controlla un compromesso: batch più piccoli introducono più rumore nel gradiente ma aggiornano i parametri più frequentemente e spesso generalizzano meglio, mentre batch più grandi forniscono stime a varianza inferiore a un costo per iterazione più elevato.

3

Il gradiente della funzione obiettivo (loss) rispetto ai parametri attuali viene calcolato utilizzando il mini-batch. Per gli ottimizzatori adattivi, le stime del primo e del secondo momento del gradiente vengono mantenute anche tra le iterazioni per tracciare le informazioni sulla scala e sulla curvatura per parametro.

4

I parametri vengono aggiornati muovendosi in direzione opposta al gradiente, scalati dal tasso di apprendimento. Le varianti adattive (AdaGrad, RMSProp, Adam) dividono il passo di ciascun parametro per una stima corrente delle passate magnitudini del gradiente, dando effettivamente passi più grandi ai parametri aggiornati infrequentemente e passi più piccoli dove il gradiente è stato grande e consistente.

5

Il processo si ripete — campionamento, calcolo del gradiente e aggiornamento dei parametri — fino a quando non viene soddisfatto un criterio di convergenza: la loss smette di diminuire, viene raggiunto un numero massimo di iterazioni o le prestazioni di validazione smettono di migliorare. L'early stopping su un set di validazione separato previene l'overfitting.

Errori comuni

  • Impostare il tasso di apprendimento troppo alto fa sì che la loss diverga o oscilli selvaggiamente; monitorare sempre la curva della loss durante l'addestramento.
  • Dimenticare di mescolare i dati prima di ogni epoca può introdurre un bias periodico nelle stime del gradiente.
  • L'uso di un tasso di apprendimento fisso durante l'addestramento spesso lascia prestazioni non sfruttate — le schedule del tasso di apprendimento (warm-up, decadimento coseno) migliorano costantemente i risultati finali.
  • Confrontare gli ottimizzatori in modo equo richiede di confrontare il numero totale di valutazioni del gradiente (o il tempo di clock), non solo il numero di epoche.
  • I tassi adattivi di Adam possono sopprimere segnali di gradiente utili in contesti sparsi; SGD con momentum a volte generalizza meglio per i compiti di classificazione delle immagini.

Domande frequenti

Quale ottimizzatore dovrei scegliere — SGD, Adam o qualcos'altro?

Adam è un'opzione predefinita sicura per la maggior parte dei compiti di deep learning: è robusto alla scelta del tasso di apprendimento e converge rapidamente. SGD con momentum e una schedule del tasso di apprendimento ben sintonizzata spesso raggiunge una generalizzazione finale leggermente migliore nei benchmark di classificazione delle immagini, ma richiede una sintonizzazione più attenta. AdaGrad è adatto a problemi con gradienti sparsi (ad esempio, NLP con feature bag-of-words), mentre RMSProp funziona bene nell'addestramento di reti ricorrenti.

Come scelgo il tasso di apprendimento?

Il tasso di apprendimento è l'iperparametro più importante. La pratica comune è iniziare con 1e-3 per Adam e 1e-1 per SGD, quindi utilizzare un "learning rate finder" o una ricerca a griglia. L'applicazione di una fase di "warm-up" seguita da un decadimento coseno o a step migliora quasi sempre i risultati rispetto a un tasso fisso.

Quale dimensione del mini-batch dovrei usare?

Le dimensioni del batch tra 32 e 256 sono comuni. Batch più piccoli introducono più rumore nel gradiente (che può aiutare la generalizzazione) e consentono aggiornamenti più frequenti; batch più grandi riducono il rumore ma possono generalizzare meno bene e richiedono una scalatura più attenta del tasso di apprendimento. Quando si raddoppia la dimensione del batch, scalare il tasso di apprendimento proporzionalmente (regola di scalatura lineare) come punto di partenza.

Come faccio a sapere quando smettere di addestrare?

Monitorare la loss di validazione e fermarsi quando smette di migliorare per un numero prestabilito di epoche consecutive — una tecnica chiamata early stopping. Questo è più affidabile che fermarsi a un numero fisso di epoche e previene l'overfitting.

Metodi correlati

Fonti

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    Apri il riferimento DOI
    Copiato.
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    Apri il riferimento della pubblicazione
    Copiato.