Descente de gradient stochastique (SGD)
- Introduite par
- Robbins, H. & Monro, S.
- Année
- 1951
- Type
- First-order iterative optimization algorithm
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La descente de gradient stochastique (SGD) est un algorithme d'optimisation itératif du premier ordre, ancré dans le cadre de l'approximation stochastique introduit par Robbins et Monro en 1951, qui minimise une fonction objectif en mettant à jour les paramètres du modèle à l'aide du gradient calculé sur un seul exemple d'entraînement sélectionné aléatoirement (ou un petit mini-lot) à chaque étape.
C'est le moteur d'optimisation principal derrière l'apprentissage automatique et l'apprentissage profond modernes, permettant l'entraînement de modèles sur des ensembles de données trop volumineux pour tenir en mémoire.
L’intuition derrière la méthode
La descente de gradient ordinaire calcule le gradient exact de la perte sur tous les exemples d'entraînement avant de procéder à une seule mise à jour des paramètres — correct mais prohibitivement lent sur de grands ensembles de données. La SGD sacrifie l'exactitude au profit de la vitesse : elle sélectionne un exemple (ou un petit lot) au hasard, calcule une estimation bruitée du gradient, et met immédiatement à jour les paramètres. Le bruit n'est pas simplement une nuisance ; il agit comme une régularisation implicite, aidant l'optimiseur à échapper aux minima locaux peu profonds et aux points selle. Sur de nombreuses itérations, les pas bruités se compensent et les paramètres convergent vers un minimum de la perte, un peu comme la marche d'un ivrogne qui arrive tout de même à destination.
Histoire
Le fondement théorique de la SGD a été posé par Herbert Robbins et Sutton Monro dans leur article de 1951 'A Stochastic Approximation Method', qui a prouvé que des mises à jour itératives bruitées avec une taille de pas décroissante convergent vers la racine d'une fonction de régression. Le lien avec l'optimisation basée sur le gradient a été rendu explicite par Kiefer et Wolfowitz (1952) et plus tard par la règle LMS de Widrow et Hoff (1960) pour le filtrage adaptatif. La SGD a gagné en importance en apprentissage automatique grâce aux travaux de LeCun et collaborateurs à la fin des années 1980 et 1990 pour l'entraînement de réseaux neuronaux via la rétropropagation. La publication d'expériences à grande échelle par Bottou et collaborateurs dans les années 2000 a démontré la supériorité de la SGD sur les méthodes par lots sur des ensembles de données industriels. La formulation moderne de la SGD par mini-lots est devenue universelle avec la renaissance de l'apprentissage profond vers 2012 (AlexNet), et l'algorithme reste l'optimiseur dominant dans le domaine, avec des variantes telles qu'Adam (Kingma & Ba, 2014) construites directement sur sa règle de mise à jour.
Quand l’utiliser
La SGD est la méthode de choix lorsque l'ensemble d'entraînement est suffisamment grand pour que le calcul du gradient complet par mise à jour soit trop coûteux, ce qui englobe pratiquement tout l'entraînement moderne des réseaux neuronaux et l'ajustement de modèles linéaires à grande échelle. Elle s'applique à toute fonction de perte différentiable. Hypothèses clés : la perte est différentiable (ou sous-différentiable) par rapport aux paramètres, les points de données sont échantillonnés indépendamment, et l'estimateur de gradient est non biaisé. Pour les objectifs fortement convexes, la SGD atteint une convergence en O(1/T) ; pour les objectifs généraux non convexes (par exemple, réseaux profonds), elle trouve des points stationnaires en pratique, bien qu'aucune garantie d'optimalité globale n'existe. La SGD par mini-lots (tailles de lots de 32 à 512) est généralement préférée à la SGD pure par exemple unique car elle fournit des estimations de gradient de variance plus faible et exploite le parallélisme sur le matériel moderne. Lorsque l'ensemble de données est suffisamment petit pour la descente de gradient par lot complet et que l'objectif est bien conditionné, les méthodes du second ordre telles que L-BFGS peuvent converger plus rapidement.
Limites et points d’attention
- Les estimations de gradient sont bruitées, ce qui fait fluctuer la perte plutôt que de la diminuer de manière monotone, rendant le diagnostic de convergence plus difficile.
- Extrêmement sensible au taux d'apprentissage : trop élevé provoque la divergence ; trop faible rend l'entraînement prohibitivement lent.
- La convergence vers un minimum global n'est pas garantie pour les objectifs non convexes tels que les réseaux neuronaux profonds.
- Les mises à jour isotropes traitent toutes les dimensions des paramètres de manière égale, ce qui la rend mal adaptée aux surfaces de perte avec des courbures très différentes le long des différents axes — motivant des variantes à taux adaptatif.
- Nécessite un réglage minutieux du programme de taux d'apprentissage ; des programmes médiocres dégradent considérablement les performances finales.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Évolutivité à des ensembles de données arbitrairement grands car chaque mise à jour ne nécessite qu'un seul exemple ou un mini-lot, maintenant la mémoire et le calcul par étape constants.
- Le bruit intégré fournit une régularisation implicite et aide à échapper aux minima locaux peu profonds et aux points selle dans les paysages non convexes.
- Extrêmement général : applicable à toute perte différentiable, y compris l'entropie croisée, l'erreur quadratique moyenne, la perte charnière et les objectifs personnalisés.
- Forme la base de presque tous les optimiseurs modernes (Adam, RMSProp, AdaGrad, moment de Nesterov) — comprendre la SGD est un prérequis pour les comprendre.
- Simple à implémenter et à paralléliser sur des GPU à l'aide de mini-lots.
Applications
- Entraînement de réseaux neuronaux profonds pour la classification d'images, la reconnaissance vocale et le traitement du langage naturel.
- Ajustement de modèles de régression logistique et de SVM linéaires à grande échelle dans la classification de texte et les systèmes de recommandation.
- Paramètres d'apprentissage en ligne où les exemples arrivent séquentiellement et le modèle doit être mis à jour en temps réel.
- Méthodes de gradient de politique en apprentissage par renforcement, où le retour attendu est optimisé à l'aide de trajectoires échantillonnées.
- Factorisation matricielle pour le filtrage collaboratif dans les systèmes de recommandation.
Comment ça marche
Comment ça marche
L'objectif d'entraînement est la perte moyenne sur les n exemples. Pour des tâches telles que la classification avec entropie croisée ou la régression avec erreur quadratique, cette somme peut comporter des milliards de termes, rendant l'évaluation complète à chaque itération impraticable.
Formule
L(\theta) = \frac{1}{n} \sum_{i=1}^{n} \ell(f(x_i; \theta),\, y_i)À l'étape t, un seul exemple d'entraînement (ou mini-lot) est échantillonné uniformément au hasard. Le gradient de la perte sur cet échantillon est un estimateur non biaisé du vrai gradient, donc en moyenne la mise à jour pointe dans la bonne direction bien qu'elle soit bruitée pour chaque pas individuel.
Formule
\hat{g}_t = \nabla_\theta \ell(f(x_{i_t}; \theta_t),\, y_{i_t})Le vecteur de paramètres est déplacé dans la direction opposée à l'estimation du gradient, mise à l'échelle par le taux d'apprentissage eta_t. Un taux d'apprentissage plus petit rend les mises à jour prudentes mais lentes ; un taux plus grand accélère la convergence mais risque de dépasser la cible. Cette seule ligne — la mise à jour de Robbins–Monro — est le cœur de presque tous les optimiseurs modernes.
Formule
\theta_{t+1} = \theta_t - \eta_t \, \hat{g}_tLes conditions de Robbins–Monro (la somme des taux diverge, la somme des taux au carré converge) garantissent la convergence pour les objectifs convexes. En pratique, les programmes courants incluent la décroissance par paliers, le recuit cosinus et les redémarrages à chaud ; les conditions fournissent le fondement théorique expliquant pourquoi un programme de décroissance est nécessaire.
Formule
\sum_{t=1}^{\infty} \eta_t = \infty, \quad \sum_{t=1}^{\infty} \eta_t^2 < \inftyPièges courants
- Utilisation d'un taux d'apprentissage constant tout au long de l'entraînement sans aucun programme de décroissance, provoquant l'oscillation de l'optimiseur autour du minimum plutôt que de s'y stabiliser.
- Choix de la taille du lot sans tenir compte de l'effet de régularisation implicite : des lots très grands réduisent le bruit et peuvent nuire à la généralisation par rapport à des lots plus petits au même nombre d'époques.
- Oubli de mélanger l'ensemble d'entraînement avant chaque époque, ce qui peut introduire un biais systématique lorsque les données sont ordonnées par classe ou par temps.
- Réglage du taux d'apprentissage sur la perte de validation une seule fois plutôt que de surveiller les courbes d'entraînement, manquant les signes de divergence ou de plateau prématuré.
- Traiter la SGD comme un optimiseur boîte noire sans comprendre ses propriétés de convergence, puis passer aveuglément à Adam lorsque la convergence semble lente sans diagnostiquer la cause profonde.
Questions fréquentes
Quelle est la différence entre la SGD, la SGD par mini-lots et la descente de gradient par lot complet ?
La descente de gradient par lot complet calcule le gradient exact sur tous les n exemples d'entraînement par mise à jour — coût précis mais O(n) par étape. La SGD pure utilise exactement un exemple choisi aléatoirement par mise à jour — coût O(1) mais très bruité. La SGD par mini-lots utilise un petit sous-ensemble aléatoire (typiquement 32 à 512 exemples) — un compromis pratique qui réduit le bruit tout en maintenant un coût gérable et en exploitant le parallélisme des GPU. Dans l'usage moderne, 'SGD' signifie presque toujours SGD par mini-lots.
Comment dois-je régler le taux d'apprentissage ?
Il n'y a pas de réponse universelle, mais une pratique courante consiste à commencer avec une valeur modérée (par exemple, 0,01 ou 0,1), à surveiller la courbe de perte d'entraînement et à appliquer un programme de décroissance tel que la décroissance par paliers, le recuit cosinus ou les redémarrages à chaud. Les localisateurs de taux d'apprentissage (balayant les taux sur quelques lots et observant la perte) peuvent identifier une bonne valeur initiale. La théorie de Robbins–Monro exige que le taux décroisse vers zéro, mais en pratique, la décroissance est souvent appliquée doucement pour éviter un ralentissement prématuré.
Pourquoi la SGD généralise-t-elle parfois mieux qu'Adam ?
Les optimiseurs à taux adaptatif comme Adam convergent souvent plus rapidement mais peuvent sur-ajuster davantage, en particulier pour les tâches de classification d'images. Le bruit plus élevé dans la SGD — surtout avec de petites tailles de lots — agit comme une régularisation implicite, aidant le modèle à trouver des minima plus plats qui généralisent mieux. Plusieurs études empiriques (par exemple, Wilson et al., 2017) ont documenté ce phénomène, c'est pourquoi la SGD avec moment est toujours préférée pour l'entraînement de modèles de vision par ordinateur tels que ResNet.
La SGD garantit-elle de trouver le minimum global ?
Seulement pour les objectifs strictement convexes, sous les conditions de taille de pas de Robbins–Monro. Pour les objectifs non convexes (pratiquement tous les réseaux profonds), la SGD assure la convergence vers un point stationnaire (où le gradient est nul), qui en pratique tend à être un bon minimum local plutôt qu'un point selle ou le minimum global. Empiriquement, les solutions trouvées sont souvent suffisantes pour des performances de pointe.
Méthodes associées
Sources
Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407.
Ouvrir la référence DOICopié.Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press.
ISBN : 978-0-262-03561-3Copié.