Q-Learning
- Propuesto por
- Christopher Watkins & Peter Dayan
- Año
- 1992
- Tipo
- Model-free reinforcement-learning control algorithm
- Familia
- Reinforcement learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Q-learning, introducido por Christopher Watkins y Peter Dayan en 1992, es un algoritmo de aprendizaje por refuerzo libre de modelo que aprende el valor de tomar cada acción en cada estado —la función Q— puramente a partir de la experiencia, sin un modelo del entorno.
Es fuera de política (off-policy): aprende los valores óptimos de las acciones mientras sigue una política de comportamiento exploratoria y, bajo condiciones estándar, converge demostrablemente a la política óptima.
La intuición detrás del método
Un agente que aprende por prueba y error necesita saber, para cada situación, cuán buena es cada acción posible a largo plazo. Q-learning mantiene exactamente eso: una tabla (o función) de valores Q que estima la recompensa futura total de tomar una acción en un estado y comportarse de manera óptima a partir de entonces. Cada vez que el agente actúa, observa una recompensa y llega a un nuevo estado, ajusta el valor Q hacia lo que acaba de experimentar más lo mejor que cree que puede hacer a continuación. Crucialmente, se actualiza hacia la MEJOR acción siguiente independientemente de lo que realmente hizo a continuación, por lo que puede explorar libremente mientras aprende la estrategia óptima.
Historia
Christopher Watkins introdujo Q-learning en su tesis de 1989, y Watkins y Dayan (1992) proporcionaron la prueba de convergencia, estableciéndolo como una piedra angular del aprendizaje por refuerzo. Generaliza el aprendizaje de diferencia temporal al control y sustenta hitos posteriores, notablemente Deep Q-Networks (Mnih et al., 2015), que combinaron Q-learning con redes profundas para jugar juegos de Atari a partir de píxeles. Se trata canónicamente en el libro de texto de Sutton y Barto y sigue siendo un punto de partida predeterminado para el RL basado en valores.
Cuándo usarlo
Utilice Q-learning para problemas de decisión secuencial enmarcados como un proceso de decisión de Markov donde se pueden muestrear transiciones y recompensas pero no se tiene un modelo (o es poco fiable) de la dinámica: control, juegos, enrutamiento, planificación y sistemas adaptativos. Q-learning tabular se adapta a espacios de estados y acciones pequeños y discretos y converge al óptimo dada una exploración suficiente y un tamaño de paso decreciente. Para espacios grandes o continuos, la tabla se reemplaza por un aproximador de funciones (Redes Neuronales Profundas Q - Deep Q-Networks). Asume la propiedad de Markov y un entorno estacionario, puede ser ineficiente en cuanto a muestras y el operador max induce un sesgo optimista (de maximización) abordado por variantes como Double Q-learning. Cuando se necesita una política estocástica o de acción continua, los métodos de gradiente de política son la alternativa.
Limitaciones y consideraciones
- La forma tabular no escala a espacios de estados/acciones grandes o continuos.
- Ineficiente en cuanto a muestras; puede necesitar muchos episodios para converger.
- Sesgo de maximización (sobreestimación) del operador max; mitigado por Double Q-learning.
- Asume un proceso de decisión de Markov (estacionario); tiene dificultades bajo observabilidad parcial o deriva.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Libre de modelo: no necesita modelo de transición/recompensa, solo experiencia muestreada.
- Fuera de política (Off-policy): aprende la política óptima mientras explora con otra política.
- Converge demostrablemente a los valores óptimos de las acciones bajo condiciones estándar.
- Simple, fundamental y la base para Deep Q-Networks y muchas extensiones.
Aplicaciones
- Juegos y tareas de control simulado.
- Navegación robótica y control adaptativo.
- Enrutamiento dinámico, planificación y asignación de recursos.
- Políticas de recomendación e interacción adaptativa.
- Un método de referencia basado en valores antes de Deep Q-Networks.
Cómo funciona
Cómo funciona
Q(s, a) estima la suma descontada esperada de recompensas futuras al tomar la acción a en el estado s y luego actuar de manera óptima. El factor de descuento γ pondera más las recompensas cercanas que las distantes. Aprender Q para todos los pares de estados y acciones es equivalente a resolver el problema de control.
Fórmula
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]Después de cada transición (estado s, acción a, recompensa r, siguiente estado s'), Q-learning actualiza Q(s, a) en un paso α hacia el objetivo de diferencia temporal r + γ·max sobre las acciones siguientes de Q(s', a'). El 'max' es lo que lo hace fuera de política y dirige el aprendizaje al valor óptimo, independientemente de la acción que se tome realmente a continuación.
Fórmula
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]Para recopilar experiencia, el agente actúa con una política de exploración, comúnmente ε-greedy: generalmente elige la mejor acción actual, pero con una probabilidad ε elige una aleatoria. La exploración asegura que se prueben todos los pares de estados y acciones, lo que requiere la garantía de convergencia; ε típicamente decae con el tiempo.
Fórmula
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}Una vez que Q ha convergido a los valores óptimos de las acciones Q*, la política óptima es simplemente tomar, en cada estado, la acción con el valor Q más alto. En la práctica, la política codiciosa (greedy) con respecto al Q actual se extrae al final (o se usa en la implementación).
Fórmula
\pi^*(s) = \arg\max_a Q^*(s,a)
Errores comunes
- Exploración insuficiente (ε demasiado pequeño/decae demasiado rápido), dejando sin aprender el óptimo.
- Mala programación de la tasa de aprendizaje, causando divergencia o un aprendizaje dolorosamente lento.
- Aplicar Q-learning tabular a espacios grandes en lugar de un aproximador de funciones.
- Ignorar el sesgo de sobreestimación en problemas estocásticos donde Double Q-learning ayuda.
Preguntas frecuentes
¿Qué significa 'fuera de política' (off-policy) en Q-learning?
Significa que Q-learning aprende el valor de la política óptima mientras el agente sigue una política de comportamiento diferente (exploratoria). Los objetivos de actualización son r + γ·max Q(s', a') —la mejor acción siguiente— no la acción realmente tomada, por lo que la exploración no sesga el óptimo aprendido.
¿Cómo se relaciona Q-learning con Deep Q-Networks (DQN)?
DQN reemplaza la tabla Q con una red neuronal profunda que aproxima Q(s, a), permitiendo Q-learning en espacios de estados grandes o continuos (por ejemplo, de píxeles). Añade trucos de estabilización —repetición de experiencia y una red objetivo— pero la regla de aprendizaje central es la actualización de diferencia temporal de Q-learning.
¿Por qué Q-learning sobreestima los valores?
El operador max en la actualización tiende a seleccionar estimaciones sobre-optimistas, sesgando Q al alza, especialmente con recompensas ruidosas. Double Q-learning reduce esto desacoplando la selección de acciones de la evaluación de valores utilizando dos estimadores, lo que produce políticas menos sesgadas y a menudo mejores.
Métodos relacionados
Fuentes
Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.
Abrir referencia DOICopiado.Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6Copiado.