Saltar al contenido
Volver a los resultados

Q-Learning

Propuesto por
Christopher Watkins & Peter Dayan
Año
1992
Tipo
Model-free reinforcement-learning control algorithm
Familia
Reinforcement learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Q-learning, introducido por Christopher Watkins y Peter Dayan en 1992, es un algoritmo de aprendizaje por refuerzo libre de modelo que aprende el valor de tomar cada acción en cada estado —la función Q— puramente a partir de la experiencia, sin un modelo del entorno.

Es fuera de política (off-policy): aprende los valores óptimos de las acciones mientras sigue una política de comportamiento exploratoria y, bajo condiciones estándar, converge demostrablemente a la política óptima.

La intuición detrás del método

Un agente que aprende por prueba y error necesita saber, para cada situación, cuán buena es cada acción posible a largo plazo. Q-learning mantiene exactamente eso: una tabla (o función) de valores Q que estima la recompensa futura total de tomar una acción en un estado y comportarse de manera óptima a partir de entonces. Cada vez que el agente actúa, observa una recompensa y llega a un nuevo estado, ajusta el valor Q hacia lo que acaba de experimentar más lo mejor que cree que puede hacer a continuación. Crucialmente, se actualiza hacia la MEJOR acción siguiente independientemente de lo que realmente hizo a continuación, por lo que puede explorar libremente mientras aprende la estrategia óptima.

Historia

Christopher Watkins introdujo Q-learning en su tesis de 1989, y Watkins y Dayan (1992) proporcionaron la prueba de convergencia, estableciéndolo como una piedra angular del aprendizaje por refuerzo. Generaliza el aprendizaje de diferencia temporal al control y sustenta hitos posteriores, notablemente Deep Q-Networks (Mnih et al., 2015), que combinaron Q-learning con redes profundas para jugar juegos de Atari a partir de píxeles. Se trata canónicamente en el libro de texto de Sutton y Barto y sigue siendo un punto de partida predeterminado para el RL basado en valores.

Cuándo usarlo

Utilice Q-learning para problemas de decisión secuencial enmarcados como un proceso de decisión de Markov donde se pueden muestrear transiciones y recompensas pero no se tiene un modelo (o es poco fiable) de la dinámica: control, juegos, enrutamiento, planificación y sistemas adaptativos. Q-learning tabular se adapta a espacios de estados y acciones pequeños y discretos y converge al óptimo dada una exploración suficiente y un tamaño de paso decreciente. Para espacios grandes o continuos, la tabla se reemplaza por un aproximador de funciones (Redes Neuronales Profundas Q - Deep Q-Networks). Asume la propiedad de Markov y un entorno estacionario, puede ser ineficiente en cuanto a muestras y el operador max induce un sesgo optimista (de maximización) abordado por variantes como Double Q-learning. Cuando se necesita una política estocástica o de acción continua, los métodos de gradiente de política son la alternativa.

Limitaciones y consideraciones

  • La forma tabular no escala a espacios de estados/acciones grandes o continuos.
  • Ineficiente en cuanto a muestras; puede necesitar muchos episodios para converger.
  • Sesgo de maximización (sobreestimación) del operador max; mitigado por Double Q-learning.
  • Asume un proceso de decisión de Markov (estacionario); tiene dificultades bajo observabilidad parcial o deriva.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Libre de modelo: no necesita modelo de transición/recompensa, solo experiencia muestreada.
  • Fuera de política (Off-policy): aprende la política óptima mientras explora con otra política.
  • Converge demostrablemente a los valores óptimos de las acciones bajo condiciones estándar.
  • Simple, fundamental y la base para Deep Q-Networks y muchas extensiones.

Aplicaciones

  • Juegos y tareas de control simulado.
  • Navegación robótica y control adaptativo.
  • Enrutamiento dinámico, planificación y asignación de recursos.
  • Políticas de recomendación e interacción adaptativa.
  • Un método de referencia basado en valores antes de Deep Q-Networks.

Cómo funciona

Cómo funciona

1

Q(s, a) estima la suma descontada esperada de recompensas futuras al tomar la acción a en el estado s y luego actuar de manera óptima. El factor de descuento γ pondera más las recompensas cercanas que las distantes. Aprender Q para todos los pares de estados y acciones es equivalente a resolver el problema de control.

Fórmula
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]
2

Después de cada transición (estado s, acción a, recompensa r, siguiente estado s'), Q-learning actualiza Q(s, a) en un paso α hacia el objetivo de diferencia temporal r + γ·max sobre las acciones siguientes de Q(s', a'). El 'max' es lo que lo hace fuera de política y dirige el aprendizaje al valor óptimo, independientemente de la acción que se tome realmente a continuación.

Fórmula
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]
3

Para recopilar experiencia, el agente actúa con una política de exploración, comúnmente ε-greedy: generalmente elige la mejor acción actual, pero con una probabilidad ε elige una aleatoria. La exploración asegura que se prueben todos los pares de estados y acciones, lo que requiere la garantía de convergencia; ε típicamente decae con el tiempo.

Fórmula
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}
4

Una vez que Q ha convergido a los valores óptimos de las acciones Q*, la política óptima es simplemente tomar, en cada estado, la acción con el valor Q más alto. En la práctica, la política codiciosa (greedy) con respecto al Q actual se extrae al final (o se usa en la implementación).

Fórmula
\pi^*(s) = \arg\max_a Q^*(s,a)

Errores comunes

  • Exploración insuficiente (ε demasiado pequeño/decae demasiado rápido), dejando sin aprender el óptimo.
  • Mala programación de la tasa de aprendizaje, causando divergencia o un aprendizaje dolorosamente lento.
  • Aplicar Q-learning tabular a espacios grandes en lugar de un aproximador de funciones.
  • Ignorar el sesgo de sobreestimación en problemas estocásticos donde Double Q-learning ayuda.

Preguntas frecuentes

¿Qué significa 'fuera de política' (off-policy) en Q-learning?

Significa que Q-learning aprende el valor de la política óptima mientras el agente sigue una política de comportamiento diferente (exploratoria). Los objetivos de actualización son r + γ·max Q(s', a') —la mejor acción siguiente— no la acción realmente tomada, por lo que la exploración no sesga el óptimo aprendido.

¿Cómo se relaciona Q-learning con Deep Q-Networks (DQN)?

DQN reemplaza la tabla Q con una red neuronal profunda que aproxima Q(s, a), permitiendo Q-learning en espacios de estados grandes o continuos (por ejemplo, de píxeles). Añade trucos de estabilización —repetición de experiencia y una red objetivo— pero la regla de aprendizaje central es la actualización de diferencia temporal de Q-learning.

¿Por qué Q-learning sobreestima los valores?

El operador max en la actualización tiende a seleccionar estimaciones sobre-optimistas, sesgando Q al alza, especialmente con recompensas ruidosas. Double Q-learning reduce esto desacoplando la selección de acciones de la evaluación de valores utilizando dos estimadores, lo que produce políticas menos sesgadas y a menudo mejores.

Métodos relacionados

Fuentes

  1. Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.

    Abrir referencia DOI
    Copiado.
  2. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Copiado.