Zum Inhalt springen
Zurück zu den Suchergebnissen

Stochastischer Gradientenabstieg (SGD)

Eingeführt von
Robbins, H. & Monro, S.
Jahr
1951
Typ
First-order iterative optimization algorithm

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Stochastischer Gradientenabstieg (SGD) ist ein iterativer Optimierungsalgorithmus erster Ordnung, der auf dem von Robbins und Monro 1951 eingeführten Rahmen der stochastischen Approximation basiert und eine Zielfunktion minimiert, indem er die Modellparameter mithilfe des Gradienten aktualisiert, der bei jedem Schritt auf einem zufällig ausgewählten Trainingsbeispiel (oder einem kleinen Mini-Batch) berechnet wird.

Er ist die zentrale Optimierungsmaschine hinter modernem maschinellem Lernen und Deep Learning und ermöglicht das Training von Modellen auf Datensätzen, die zu groß sind, um in den Speicher zu passen.

Die Intuition hinter der Methode

Der gewöhnliche Gradientenabstieg berechnet den exakten Gradienten des Verlusts über alle Trainingsbeispiele, bevor er eine einzige Parameteraktualisierung vornimmt – korrekt, aber bei großen Datensätzen prohibitiv langsam. SGD tauscht Exaktheit gegen Geschwindigkeit: Er wählt zufällig ein Beispiel (oder einen kleinen Batch) aus, berechnet eine verrauschte Schätzung des Gradienten und aktualisiert sofort die Parameter. Das Rauschen ist nicht nur ein Ärgernis; es wirkt als implizite Regularisierung und hilft dem Optimierer, flache lokale Minima und Sattelpunkte zu verlassen. Über viele Iterationen mitteln sich die verrauschten Schritte aus und die Parameter konvergieren zu einem Minimum des Verlusts, ähnlich einem betrunkenen Spaziergang, der dennoch am Ziel ankommt.

Geschichte

Die theoretische Grundlage für SGD wurde von Herbert Robbins und Sutton Monro in ihrer Arbeit 'A Stochastic Approximation Method' von 1951 gelegt, die bewies, dass iterative verrauschte Aktualisierungen mit einer abnehmenden Schrittgröße zur Wurzel einer Regressionsfunktion konvergieren. Der Zusammenhang mit gradientenbasierten Optimierungsverfahren wurde von Kiefer und Wolfowitz (1952) und später von Widrow und Hoff mit der LMS-Regel (1960) für adaptive Filterung explizit hergestellt. SGD gewann im maschinellen Lernen durch die Arbeit von LeCun und Mitarbeitern in den späten 1980er und 1990er Jahren für das Training neuronaler Netze mittels Backpropagation an Bedeutung. Die Veröffentlichung von groß angelegten Experimenten von Bottou und Mitarbeitern in den 2000er Jahren demonstrierte die Überlegenheit von SGD gegenüber Batch-Methoden bei industriellen Datensätzen. Die moderne Mini-Batch-SGD-Formulierung wurde mit der Renaissance des Deep Learning um 2012 (AlexNet) universell, und der Algorithmus bleibt der dominierende Optimierer in diesem Bereich, mit Varianten wie Adam (Kingma & Ba, 2014), die direkt auf seiner Aktualisierungsregel aufbauen.

Wann wird sie eingesetzt?

SGD ist die Methode der Wahl, wann immer der Trainingsdatensatz groß genug ist, dass die Berechnung des vollständigen Gradienten pro Aktualisierung zu kostspielig ist, was praktisch das gesamte moderne Training von neuronalen Netzen und die Anpassung von linearen Modellen in großem Maßstab umfasst. Er ist auf jede differenzierbare Verlustfunktion anwendbar. Wichtige Annahmen: Der Verlust ist differenzierbar (oder subdifferenzierbar) in Bezug auf die Parameter, die Datenpunkte werden unabhängig gezogen und der Gradientenschätzer ist erwartungstreu. Für stark konvexe Zielfunktionen erreicht SGD eine Konvergenz von O(1/T); für allgemeine nicht-konvexe Zielfunktionen (z. B. tiefe Netze) findet er in der Praxis stationäre Punkte, obwohl keine Garantie für globale Optimalität besteht. Mini-Batch-SGD (Batch-Größen 32–512) wird typischerweise gegenüber reinem Single-Example-SGD bevorzugt, da er Gradientenschätzungen mit geringerer Varianz liefert und die Parallelität auf moderner Hardware ausnutzt. Wenn der Datensatz klein genug für Full-Batch-Gradientenabstieg ist und die Zielfunktion gut konditioniert ist, können Methoden zweiter Ordnung wie L-BFGS schneller konvergieren.

Grenzen und Hinweise

  • Gradientenschätzungen sind verrauscht, was dazu führt, dass der Verlust eher schwankt als monoton abnimmt, was die Konvergenz schwerer zu diagnostizieren macht.
  • Sehr empfindlich gegenüber der Lernrate: zu groß verursacht Divergenz; zu klein macht das Training prohibitiv langsam.
  • Die Konvergenz zu einem globalen Minimum ist bei nicht-konvexen Zielfunktionen wie tiefen neuronalen Netzen nicht garantiert.
  • Isotrope Aktualisierungen behandeln alle Parameterdimensionen gleich, was sie für Verlustoberflächen mit sehr unterschiedlichen Krümmungen entlang verschiedener Achsen ungeeignet macht – dies motiviert adaptive Ratenvarianten.
  • Erfordert sorgfältige Abstimmung des Lernraten-Zeitplans; schlechte Zeitpläne verschlechtern die Endleistung erheblich.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Skaliert auf beliebig große Datensätze, da jede Aktualisierung nur ein Beispiel oder einen Mini-Batch erfordert, wodurch der Speicher- und Rechenaufwand pro Schritt konstant bleibt.
  • Das eingebaute Rauschen bietet implizite Regularisierung und hilft, flache lokale Minima und Sattelpunkte in nicht-konvexen Landschaften zu verlassen.
  • Extrem allgemein: Anwendbar auf jede differenzierbare Verlustfunktion, einschließlich Kreuzentropie, mittlerer quadratischer Fehler, Hinge-Verlust und benutzerdefinierter Zielfunktionen.
  • Bildet die Grundlage für fast alle modernen Optimierer (Adam, RMSProp, AdaGrad, Nesterov-Momentum) – das Verständnis von SGD ist Voraussetzung für deren Verständnis.
  • Einfach zu implementieren und mithilfe von Mini-Batches über GPUs zu parallelisieren.

Anwendungen

  • Training von tiefen neuronalen Netzen für Bildklassifizierung, Spracherkennung und natürliche Sprachverarbeitung.
  • Anpassung von groß angelegten logistischen Regressions- und linearen SVM-Modellen in der Textklassifizierung und in Empfehlungssystemen.
  • Online-Lernsituationen, in denen Beispiele sequenziell eintreffen und das Modell in Echtzeit aktualisiert werden muss.
  • Policy-Gradient-Methoden im Reinforcement Learning, bei denen die erwartete Belohnung mithilfe von Stichproben-Trajektorien optimiert wird.
  • Matrixfaktorisierung für kollaboratives Filtern in Empfehlungssystemen.

So funktioniert es

So funktioniert es

1

Das Trainingsziel ist der durchschnittliche Verlust über alle n Beispiele. Bei Aufgaben wie Klassifizierung mit Kreuzentropie oder Regression mit quadratischem Fehler kann diese Summe Milliarden von Termen enthalten, was eine vollständige Auswertung bei jeder Iteration unpraktisch macht.

Formel
L(\theta) = \frac{1}{n} \sum_{i=1}^{n} \ell(f(x_i; \theta),\, y_i)
2

In Schritt t wird ein einzelnes Trainingsbeispiel (oder Mini-Batch) gleichmäßig zufällig gezogen. Der Gradient des Verlusts für dieses Sample ist ein erwartungstreuer Schätzer des wahren Gradienten, sodass die Aktualisierung im Durchschnitt in die richtige Richtung zeigt, obwohl sie für jeden einzelnen Schritt verrauscht ist.

Formel
\hat{g}_t = \nabla_\theta \ell(f(x_{i_t}; \theta_t),\, y_{i_t})
3

Der Parametervektor wird in die Richtung entgegengesetzt zum geschätzten Gradienten bewegt, skaliert mit der Lernrate eta_t. Eine kleinere Lernrate macht Aktualisierungen vorsichtig, aber langsam; eine größere Rate beschleunigt die Konvergenz, birgt aber die Gefahr des Überschießens. Diese einzelne Zeile – die Robbins-Monro-Aktualisierung – ist das Herzstück fast jedes modernen Optimierers.

Formel
\theta_{t+1} = \theta_t - \eta_t \, \hat{g}_t
4

Die Robbins-Monro-Bedingungen (Summe der Raten divergiert, Summe der quadrierten Raten konvergiert) garantieren die Konvergenz für konvexe Zielfunktionen. In der Praxis umfassen gängige Zeitpläne Step Decay, Cosine Annealing und Warm Restarts; die Bedingungen liefern die theoretische Grundlage dafür, warum ein abnehmender Zeitplan notwendig ist.

Formel
\sum_{t=1}^{\infty} \eta_t = \infty, \quad \sum_{t=1}^{\infty} \eta_t^2 < \infty

Häufige Fallstricke

  • Verwendung einer konstanten Lernrate während des gesamten Trainings ohne Abklingzeitplan, was dazu führt, dass der Optimierer um das Minimum oszilliert, anstatt sich darin einzupendeln.
  • Auswahl der Batch-Größe ohne Berücksichtigung des impliziten Regularisierungseffekts: Sehr große Batches reduzieren das Rauschen und können die Generalisierung im Vergleich zu kleineren Batches bei gleicher Anzahl von Epochen beeinträchtigen.
  • Vergessen, die Trainingsdaten vor jeder Epoche zu mischen, was zu systematischen Verzerrungen führen kann, wenn die Daten nach Klasse oder Zeit geordnet sind.
  • Abstimmen der Lernrate nur einmal auf den Validierungsverlust, anstatt die Trainingskurven zu überwachen, wodurch Anzeichen von Divergenz oder vorzeitigem Plateau übersehen werden.
  • Behandlung von SGD als Black-Box-Optimierer ohne Verständnis seiner Konvergenzeigenschaften, dann blinder Wechsel zu Adam, wenn die Konvergenz langsam erscheint, ohne die Grundursache zu diagnostizieren.

Häufig gestellte Fragen

Was ist der Unterschied zwischen SGD, Mini-Batch-SGD und Full-Batch-Gradientenabstieg?

Full-Batch-Gradientenabstieg berechnet den exakten Gradienten über alle n Trainingsbeispiele pro Aktualisierung – genau, aber mit Kosten von O(n) pro Schritt. Reines SGD verwendet genau ein zufällig ausgewähltes Beispiel pro Aktualisierung – Kosten von O(1), aber sehr verrauscht. Mini-Batch-SGD verwendet eine kleine zufällige Teilmenge (typischerweise 32–512 Beispiele) – ein praktischer Kompromiss, der das Rauschen reduziert, die Kosten überschaubar hält und die GPU-Parallelität ausnutzt. Im modernen Sprachgebrauch bedeutet 'SGD' fast immer Mini-Batch-SGD.

Wie sollte ich die Lernrate einstellen?

Es gibt keine universelle Antwort, aber eine gängige Praxis ist es, mit einem moderaten Wert zu beginnen (z. B. 0,01 oder 0,1), die Trainingsverlustkurve zu beobachten und einen Abklingzeitplan wie Step Decay, Cosine Annealing oder Warm Restarts anzuwenden. Lernratenfinder (die Raten über einige Batches hinweg durchlaufen und den Verlust beobachten) können einen guten Anfangswert identifizieren. Die Robbins-Monro-Theorie verlangt, dass die Rate gegen Null abfällt, aber in der Praxis wird der Abfall oft sanft angewendet, um eine vorzeitige Verlangsamung zu vermeiden.

Warum generalisiert SGD manchmal besser als Adam?

Adaptive Raten-Optimierer wie Adam konvergieren oft schneller, können aber stärker überanpassen, insbesondere bei Bildklassifizierungsaufgaben. Das höhere Rauschen in SGD – insbesondere bei kleinen Batch-Größen – wirkt als implizite Regularisierung und hilft dem Modell, flachere Minima zu finden, die besser generalisieren. Mehrere empirische Studien (z. B. Wilson et al., 2017) haben dieses Phänomen dokumentiert, weshalb SGD mit Momentum immer noch für das Training von Computervision-Modellen wie ResNet bevorzugt wird.

Garantiert SGD das Finden des globalen Minimums?

Nur für streng konvexe Zielfunktionen unter den Robbins-Monro-Schrittgrößenbedingungen. Für nicht-konvexe Zielfunktionen (praktisch alle tiefen Netze) liefert SGD eine Konvergenz zu einem stationären Punkt (wo der Gradient Null ist), der in der Praxis tendenziell ein gutes lokales Minimum und kein Sattelpunkt oder globales Minimum ist. Empirisch sind die gefundenen Lösungen oft gut genug für Spitzenleistungen.

Verwandte Methoden

Quellen

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407.

    DOI-Referenz öffnen
    Kopiert.
  2. Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press.

    ISBN: 978-0-262-03561-3
    Kopiert.