Zum Inhalt springen
Zurück zu den Suchergebnissen

Q-Learning

Eingeführt von
Christopher Watkins & Peter Dayan
Jahr
1992
Typ
Model-free reinforcement-learning control algorithm
Familie
Reinforcement learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Q-Learning, 1992 von Christopher Watkins und Peter Dayan eingeführt, ist ein modellfreier Reinforcement-Learning-Algorithmus, der den Wert jeder Aktion in jedem Zustand – die Q-Funktion – rein aus Erfahrung lernt, ohne ein Modell der Umgebung.

Er ist Off-Policy: Er lernt die optimalen Aktionswerte, während er einer explorativen Verhaltensstrategie folgt, und konvergiert unter Standardbedingungen nachweislich zur optimalen Strategie.

Die Intuition hinter der Methode

Ein Agent, der durch Versuch und Irrtum lernt, muss für jede Situation wissen, wie gut jede mögliche Aktion langfristig ist. Q-Learning pflegt genau das: eine Tabelle (oder Funktion) von Q-Werten, die die gesamte zukünftige Belohnung schätzen, die sich aus der Ausführung einer Aktion in einem Zustand und dem anschließenden optimalen Verhalten ergibt. Jedes Mal, wenn der Agent handelt, eine Belohnung beobachtet und in einem neuen Zustand landet, verschiebt er den Q-Wert in Richtung dessen, was er gerade erlebt hat, plus dem Besten, was er als Nächstes tun kann. Entscheidend ist, dass er sich auf die BESTE nächste Aktion hin aktualisiert, unabhängig davon, was er tatsächlich als Nächstes getan hat – so kann er frei explorieren und trotzdem die optimale Strategie lernen.

Geschichte

Christopher Watkins führte Q-Learning in seiner Dissertation von 1989 ein, und Watkins und Dayan (1992) lieferten den Konvergenzbeweis, wodurch es zu einem Eckpfeiler des Reinforcement Learning wurde. Es verallgemeinert das Temporal-Difference-Lernen auf die Steuerung und untermauert spätere Meilensteine – insbesondere Deep Q-Networks (Mnih et al., 2015), die Q-Learning mit tiefen Netzwerken kombinierten, um Atari-Spiele aus Pixeln zu spielen. Es wird kanonisch in Sutton und Bartos Lehrbuch behandelt und bleibt ein Standard-Ausgangspunkt für wertbasiertes RL.

Wann wird sie eingesetzt?

Verwenden Sie Q-Learning für sequentielle Entscheidungsprobleme, die als Markov-Entscheidungsprozess formuliert sind, bei denen Sie Transitionen und Belohnungen sampeln können, aber kein (oder ein unzuverlässiges) Modell der Dynamik haben – Steuerung, Spiele, Routing, Planung und adaptive Systeme. Tabellarisches Q-Learning eignet sich für kleine, diskrete Zustands-Aktions-Räume und konvergiert zum Optimum, wenn ausreichend Exploration und eine abnehmende Schrittweite gegeben sind. Für große oder kontinuierliche Räume wird die Tabelle durch einen Funktionsapproximator ersetzt (Deep Q-Networks). Es setzt die Markov-Eigenschaft und eine stationäre Umgebung voraus, kann stichprobenineffizient sein, und der Max-Operator induziert eine optimistische (Maximierungs-)Verzerrung, die durch Varianten wie Double Q-learning adressiert wird. Wenn eine stochastische oder kontinuierliche Aktionsstrategie benötigt wird, sind Policy-Gradient-Methoden die Alternative.

Grenzen und Hinweise

  • Tabellarische Form skaliert nicht auf große oder kontinuierliche Zustands-/Aktionsräume.
  • Stichprobenineffizient; kann viele Episoden zur Konvergenz benötigen.
  • Maximierungsverzerrung (Überschätzung) durch den Max-Operator; gemildert durch Double Q-learning.
  • Setzt einen (stationären) Markov-Entscheidungsprozess voraus; hat Schwierigkeiten bei partieller Beobachtbarkeit oder Drift.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Modellfrei: benötigt kein Transitions-/Belohnungsmodell, nur gesampelte Erfahrung.
  • Off-Policy: lernt die optimale Strategie, während eine andere (explorative) Strategie verfolgt wird.
  • Konvergiert unter Standardbedingungen nachweislich zu den optimalen Aktionswerten.
  • Einfach, grundlegend und die Basis für Deep Q-Networks und viele Erweiterungen.

Anwendungen

  • Spielen und simulierte Steuerungsaufgaben.
  • Roboternavigation und adaptive Steuerung.
  • Dynamisches Routing, Planung und Ressourcenallokation.
  • Empfehlungs- und adaptive Interaktionsstrategien.
  • Eine grundlegende wertbasierte Methode vor Deep Q-Networks.

So funktioniert es

So funktioniert es

1

Q(s, a) schätzt die erwartete diskontierte Summe zukünftiger Belohnungen, die sich aus der Ausführung von Aktion a in Zustand s und anschließendem optimalem Handeln ergeben. Der Diskontierungsfaktor γ gewichtet nahe Belohnungen stärker als entfernte. Das Lernen von Q für alle Zustands-Aktions-Paare ist äquivalent zur Lösung des Steuerungsproblems.

Formel
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]
2

Nach jeder Transition (Zustand s, Aktion a, Belohnung r, nächster Zustand s') aktualisiert Q-Learning Q(s, a) um einen Schritt α in Richtung des Temporal-Difference-Ziels r + γ·max über die nächsten Aktionen von Q(s', a'). Das „max“ macht es Off-Policy und richtet das Lernen auf den optimalen Wert aus, unabhängig von der tatsächlich als Nächstes ausgeführten Aktion.

Formel
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]
3

Um Erfahrungen zu sammeln, agiert der Agent mit einer Explorationsstrategie, üblicherweise ε-greedy: Normalerweise wird die aktuell beste Aktion gewählt, aber mit Wahrscheinlichkeit ε eine zufällige. Exploration stellt sicher, dass alle Zustands-Aktions-Paare ausprobiert werden, was die Konvergenzgarantie erfordert; ε nimmt typischerweise mit der Zeit ab.

Formel
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}
4

Sobald Q zu den optimalen Aktionswerten Q* konvergiert ist, besteht die optimale Strategie einfach darin, in jedem Zustand die Aktion mit dem höchsten Q-Wert zu wählen. In der Praxis wird die Greedy-Strategie bezüglich des aktuellen Q am Ende extrahiert (oder bei der Bereitstellung verwendet).

Formel
\pi^*(s) = \arg\max_a Q^*(s,a)

Häufige Fallstricke

  • Unzureichende Exploration (ε zu klein/zu schnell abnehmend), wodurch das Optimum ungelernte bleibt.
  • Schlechte Lernratenplanung, die zu Divergenz oder schmerzhaft langsamem Lernen führt.
  • Anwendung von tabellarischem Q-Learning auf große Räume anstelle eines Funktionsapproximators.
  • Ignorieren der Überschätzungsverzerrung bei stochastischen Problemen, bei denen Double Q-learning hilft.

Häufig gestellte Fragen

Was bedeutet „Off-Policy“ im Q-Learning?

Es bedeutet, dass Q-Learning den Wert der optimalen Strategie lernt, während der Agent einer anderen (explorativen) Verhaltensstrategie folgt. Das Update zielt auf r + γ·max Q(s', a') – die beste nächste Aktion – nicht auf die tatsächlich ausgeführte Aktion, sodass die Exploration das gelernte Optimum nicht verzerrt.

Wie hängt Q-Learning mit Deep Q-Networks (DQN) zusammen?

DQN ersetzt die Q-Tabelle durch ein tiefes neuronales Netzwerk, das Q(s, a) approximiert, wodurch Q-Learning in großen oder kontinuierlichen (z. B. Pixel-) Zustandsräumen ermöglicht wird. Es fügt stabilisierende Tricks hinzu – Experience Replay und ein Zielnetzwerk – aber die Kernlernregel ist das Temporal-Difference-Update von Q-Learning.

Warum überschätzt Q-Learning Werte?

Der Max-Operator im Update neigt dazu, überoptimistische Schätzungen auszuwählen, wodurch Q nach oben verzerrt wird, insbesondere bei verrauschten Belohnungen. Double Q-learning reduziert dies, indem es die Aktionsauswahl von der Wertbewertung unter Verwendung zweier Schätzer entkoppelt, was zu weniger verzerrten und oft besseren Strategien führt.

Verwandte Methoden

Quellen

  1. Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.

    DOI-Referenz öffnen
    Kopiert.
  2. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Kopiert.