Skip to content
Retour aux résultats

Optimisation stochastique — SGD et variantes

Année
1951 (SGD); 2014 (Adam)
Type
Gradient-based iterative optimization

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'optimisation stochastique est une famille de méthodes itératives qui minimisent une fonction objectif en calculant les gradients sur des sous-ensembles de données échantillonnés aléatoirement — des mini-lots — plutôt que sur l'ensemble du jeu de données en une seule fois.

Inaugurée par Robbins et Monro en 1951 sous le nom d'approximation stochastique, cette approche est devenue le moteur standard pour l'entraînement de modèles d'apprentissage automatique à grande échelle grâce à des variantes telles que SGD avec momentum, AdaGrad, RMSProp et Adam.

L’intuition derrière la méthode

Imaginez que vous cherchiez le point le plus bas dans un vaste paysage vallonné, mais que mesurer la pente de tout le paysage à chaque étape soit prohibitif. L'optimisation stochastique fonctionne en mesurant la pente sur une petite parcelle de terrain aléatoire, en faisant un pas vers le bas, et en répétant le processus de nombreuses fois. Chaque pas individuel est plus bruyant que de mesurer tout le paysage, mais le grand nombre de pas peu coûteux vous amène au fond plus rapidement que quelques mesures exactes coûteuses. Les variantes adaptatives comme Adam vont plus loin en se souvenant de la façon dont chaque direction a été cahoteuse et en ajustant leurs pas en conséquence.

Histoire

L'optimisation stochastique remonte à Robbins et Monro (1951), qui ont prouvé que les estimations de gradient itératives convergent vers un point stationnaire d'une fonction sous des conditions douces — fondant le domaine de l'approximation stochastique. La descente de gradient stochastique est devenue largement utilisée en apprentissage automatique grâce aux travaux de Bottou dans les années 1990 sur les modèles linéaires à grande échelle. L'ère de l'apprentissage profond a intensifié la demande de méthodes adaptatives efficaces : Duchi et al. ont introduit AdaGrad en 2011, Tieleman et Hinton ont proposé RMSProp en 2012, et Kingma et Ba ont publié Adam en 2014, qui est rapidement devenu l'optimiseur par défaut pour l'entraînement des réseaux de neurones en raison de sa robustesse sur diverses architectures et tâches.

Quand l’utiliser

L'optimisation stochastique s'applique chaque fois que vous devez minimiser une fonction de perte différentiable (ou sous-différentiable) sur un grand jeu de données où le calcul de gradients exacts sur l'ensemble du jeu de données à chaque étape est prohibitif en termes de calcul. C'est l'approche standard pour entraîner les réseaux de neurones, les modèles linéaires avec de grandes données, et tout modèle paramétrique ajusté par descente de gradient. L'objectif doit admettre un gradient ou un sous-gradient ; la méthode ne s'applique pas aux problèmes boîte noire non différentiables. La sélection du taux d'apprentissage est critique — un taux trop élevé provoque la divergence, un taux trop faible ralentit la convergence.

Limites et points d’attention

  • Le taux d'apprentissage est un hyperparamètre critique ; de mauvais choix entraînent une divergence ou une convergence extrêmement lente.
  • Le bruit de gradient des mini-lots peut empêcher la convergence vers un minimum exact — l'optimiseur oscille généralement près de l'optimum plutôt que de s'y stabiliser précisément.
  • Les points selle et les mauvais minima locaux sont des risques réels dans les paysages non convexes, bien que le bruit de gradient et le momentum aident à les atténuer.
  • Adam et d'autres méthodes adaptatives peuvent converger vers des minima plus aigus qui généralisent moins bien que les minima plus plats trouvés par SGD simple avec un réglage soigné.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Évolutivité à des jeux de données arbitrairement grands car chaque mise à jour n'utilise qu'un mini-lot, pas toutes les données.
  • Le bruit de gradient issu de l'échantillonnage de mini-lots peut aider à échapper aux minima locaux peu profonds et aux points selle.
  • Les variantes adaptatives (Adam, RMSProp) réduisent la charge de réglage manuel du taux d'apprentissage en ajustant automatiquement les tailles de pas par paramètre.
  • Largement pris en charge par tous les principaux frameworks d'apprentissage profond et bien compris théoriquement.

Applications

  • Entraînement de réseaux de neurones de toutes profondeurs — de la régression logistique aux grands modèles de langage.
  • Ajustement de modèles linéaires et linéaires généralisés à grande échelle où la descente de gradient par lots complets est calculatoirement infaisable.
  • Paramètres d'apprentissage en ligne où les données arrivent en flux et le modèle doit se mettre à jour de manière incrémentielle.
  • Méthodes de gradient de politique en apprentissage par renforcement, où Adam et RMSProp sont des choix standards.
  • Systèmes de recommandation et modèles d'intégration entraînés sur des jeux de données épars massifs.

Comment ça marche

Comment ça marche

1

Le vecteur de paramètres est initialisé — généralement avec de petites valeurs aléatoires. Le taux d'apprentissage (taille du pas) et, pour les variantes adaptatives, les taux de décroissance du moment sont définis comme hyperparamètres avant le début de l'entraînement. Ces choix ont un impact important sur la vitesse de convergence et la performance finale.

2

À chaque itération, un mini-lot — un petit sous-ensemble aléatoire du jeu de données complet — est tiré. La taille du mini-lot contrôle un compromis : les lots plus petits introduisent plus de bruit de gradient mais mettent à jour les paramètres plus fréquemment et généralisent souvent mieux, tandis que les lots plus grands fournissent des estimations de variance plus faible à un coût par itération plus élevé.

3

Le gradient de la fonction objectif (perte) par rapport aux paramètres actuels est calculé à l'aide du mini-lot. Pour les optimiseurs adaptatifs, les estimations du premier et du second moment du gradient sont également maintenues au fil des itérations pour suivre l'échelle et la courbure par paramètre.

4

Les paramètres sont mis à jour en se déplaçant à l'opposé de la direction du gradient, mis à l'échelle par le taux d'apprentissage. Les variantes adaptatives (AdaGrad, RMSProp, Adam) divisent le pas de chaque paramètre par une estimation courante des magnitudes passées du gradient, donnant effectivement des pas plus grands aux paramètres mis à jour infrequently et des pas plus petits là où le gradient a été important et constant.

5

Le processus se répète — échantillonnage, calcul du gradient et mise à jour des paramètres — jusqu'à ce qu'un critère de convergence soit atteint : la perte cesse de diminuer, un nombre maximum d'itérations est atteint, ou la performance de validation cesse de s'améliorer. L'arrêt précoce sur un ensemble de validation réservé protège contre le surajustement.

Pièges courants

  • Régler le taux d'apprentissage trop haut provoque la divergence ou des oscillations sauvages de la perte ; surveillez toujours la courbe de perte pendant l'entraînement.
  • Oublier de mélanger les données avant chaque époque peut introduire un biais périodique dans les estimations du gradient.
  • Utiliser un taux d'apprentissage fixe tout au long de l'entraînement laisse souvent de la performance sur la table — les programmes de taux d'apprentissage (montée en puissance, décroissance cosinus) améliorent constamment les résultats finaux.
  • Comparer équitablement les optimiseurs nécessite de faire correspondre le nombre total d'évaluations de gradient (ou le temps de calcul), pas seulement le nombre d'époques.
  • Les taux adaptatifs d'Adam peuvent supprimer un signal de gradient utile dans des contextes épars ; SGD avec momentum généralise parfois mieux pour les tâches de classification d'images.

Questions fréquentes

Quel optimiseur devrais-je choisir — SGD, Adam, ou autre chose ?

Adam est un choix sûr par défaut pour la plupart des tâches d'apprentissage profond : il est robuste au choix du taux d'apprentissage et converge rapidement. SGD avec momentum et un programme de taux d'apprentissage réglé atteint souvent une généralisation finale légèrement meilleure sur les benchmarks de classification d'images, mais nécessite un réglage plus minutieux. AdaGrad convient aux problèmes de gradient épars (par exemple, NLP avec des caractéristiques sac de mots), tandis que RMSProp fonctionne bien dans l'entraînement de réseaux récurrents.

Comment choisir le taux d'apprentissage ?

Le taux d'apprentissage est l'hyperparamètre le plus important. La pratique courante est de commencer avec 1e-3 pour Adam et 1e-1 pour SGD, puis d'utiliser un chercheur de taux d'apprentissage ou une recherche par grille. L'application d'une phase de montée en puissance suivie d'une décroissance cosinus ou par étapes améliore presque toujours les résultats par rapport à un taux fixe.

Quelle taille de mini-lot devrais-je utiliser ?

Les tailles de lots entre 32 et 256 sont courantes. Les lots plus petits introduisent plus de bruit de gradient (ce qui peut aider à la généralisation) et permettent des mises à jour plus fréquentes ; les lots plus grands réduisent le bruit mais peuvent généraliser moins bien et nécessitent une mise à l'échelle du taux d'apprentissage plus prudente. En doublant la taille du lot, mettez à l'échelle le taux d'apprentissage proportionnellement (règle de mise à l'échelle linéaire) comme point de départ.

Comment savoir quand arrêter l'entraînement ?

Surveillez la perte de validation et arrêtez-vous lorsqu'elle cesse de s'améliorer pendant un nombre défini d'époques consécutives — une technique appelée arrêt précoce. C'est plus fiable que de s'arrêter à un nombre fixe d'époques et protège contre le surajustement.

Méthodes associées

Sources

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    Ouvrir la référence DOI
    Copié.
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    Ouvrir la référence de la publication
    Copié.