Aprendizaje por Refuerzo Profundo
- Propuesto por
- Mnih, V. et al. (DQN)
- Año
- 2015
- Tipo
- Sequential decision-making (agent–environment interaction)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning) combina redes neuronales con aprendizaje por refuerzo para que un agente aprenda interactuando con un entorno.
Se popularizó gracias al trabajo de Mnih y colegas en 2015 en Nature sobre el control a nivel humano de juegos de Atari. En lugar de aprender de un conjunto de datos fijo y etiquetado, el agente realiza acciones, observa recompensas y moldea gradualmente una política que maximiza el retorno a largo plazo.
La intuición detrás del método
Imagine aprender a jugar un juego sin un libro de reglas: usted prueba movimientos, ve cómo cambia su puntuación y, lentamente, descubre qué acciones dan frutos más adelante. El Aprendizaje por Refuerzo Profundo automatiza exactamente este ciclo de prueba y error. Una red neuronal estima cuán buenas son las situaciones y las acciones, y el agente conserva las elecciones que generan más recompensa con el tiempo, incluso cuando la recompensa llega muchos pasos después de la decisión.
Historia
El Aprendizaje por Refuerzo Profundo ganó prominencia con el artículo de Mnih y colegas en Nature de 2015, en el que una red Q profunda (deep Q-network) logró un control a nivel humano en muchos juegos de Atari directamente a partir de píxeles. Le siguieron avances en gradiente de política, incluyendo A3C y la Optimización de Política Proximal (Proximal Policy Optimization, PPO) de Schulman y colegas en 2017, que se convirtió en una opción predeterminada ampliamente utilizada y más estable. Juntos, DQN, PPO y A3C anclan el conjunto de herramientas moderno de Aprendizaje por Refuerzo Profundo utilizado en juegos, robótica y más allá.
Cuándo usarlo
Utilice el Aprendizaje por Refuerzo Profundo para problemas de toma de decisiones secuenciales y control — juegos, control de robots, optimización de recomendaciones, soporte de decisiones clínicas — donde un agente puede interactuar con un simulador o un entorno en vivo y se puede definir una señal de recompensa. Maneja variables continuas y categóricas, no hace suposiciones de normalidad, pero espera una función de recompensa diseñada y datos de interacción sustanciales (al menos aproximadamente 1000 episodios). Con muchas menos interacciones, la política no convergerá, y un modelo supervisado como Random Forest o XGBoost es una opción más segura.
Limitaciones y consideraciones
- Requiere un simulador o entorno de interacción y una función de recompensa cuidadosamente diseñada.
- Sediento de datos: necesita grandes cantidades de interacciones (aproximadamente 1000+) y se recomienda una GPU.
- Por debajo de aproximadamente 1000 interacciones, la política falla en converger; por debajo de ~500, no puede producir una política de decisión confiable.
- El entrenamiento puede ser inestable y sensible a los hiperparámetros y a la configuración de la recompensa.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprende políticas de control y toma de decisiones secuenciales directamente de la interacción, sin ejemplos etiquetados.
- La aproximación de funciones neuronales escala a espacios de estados y acciones muy grandes.
- Flexible en diversos dominios: juegos, robótica, recomendaciones, soporte de decisiones clínicas.
- Sin suposiciones de normalidad; funciona con entradas continuas y categóricas y muchas estructuras de datos.
Aplicaciones
- Juegos y control de agentes (por ejemplo, juegos de Atari y de mesa).
- Control de robots y tareas de control continuo.
- Problemas de recomendación y optimización secuencial.
- Soporte de decisiones clínicas enmarcado como toma de decisiones secuencial.
Cómo funciona
Cómo funciona
El agente observa el estado actual de un entorno (un juego, un simulador, un robot, un entorno de recomendación), elige una acción y recibe una recompensa más el siguiente estado. Se requiere un simulador o un entorno de interacción en vivo, y la función de recompensa debe diseñarse deliberadamente porque define lo que significa un 'comportamiento bueno'. Cada interacción se suma a la experiencia de la que aprende el agente.
Una red neuronal aproxima el valor de los estados y las acciones; por ejemplo, una red Q profunda (deep Q-network) estima el retorno futuro esperado de cada acción, mientras que los métodos de gradiente de política (policy-gradient) como PPO y A3C parametrizan directamente la política. Esto es lo que hace que el método sea 'profundo': la red generaliza en vastos espacios de estados que una tabla de búsqueda nunca podría cubrir.
Fórmula
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]Utilizando las recompensas recolectadas a través de la interacción, la red se actualiza para favorecer las acciones que conducen a un mayor retorno acumulado descontado, mejorando constantemente la política hacia una que maximice la recompensa a largo plazo. Dado que el aprendizaje está impulsado por la experiencia, se necesitan grandes cantidades de datos de interacción (el registro recomienda al menos unas 1000 episodios/interacciones) y, idealmente, una GPU para que la política converja.
Fórmula
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]Errores comunes
- Aplicar Aprendizaje por Refuerzo Profundo a un conjunto de datos pequeño donde la política no puede converger en lugar de usar un modelo supervisado.
- Diseñar una función de recompensa mal especificada que el agente explota de maneras no deseadas.
- Omitir un simulador/entorno de interacción e intentar aprender de una tabla estática de registros.
- Ignorar los diagnósticos de convergencia y confiar en una política subentrenada y de alta varianza.
- Subestimar las necesidades de cómputo y ejecutar sin GPU con muy pocos episodios.
Preguntas frecuentes
¿Cuántos datos necesita el Aprendizaje por Refuerzo Profundo?
Es sediento de datos. El registro recomienda al menos unas 1000 interacciones/episodios para que la política converja; por debajo de aproximadamente 500 interacciones, DQN/PPO no pueden producir una política de decisión confiable, y es preferible un modelo supervisado.
¿Cuál es la diferencia entre DQN, PPO y A3C?
DQN aprende una función de valor (el retorno esperado de cada acción) y actúa de forma codiciosa con respecto a ella. PPO y A3C son métodos de gradiente de política que optimizan directamente la política; PPO en particular es valorado por su estabilidad de entrenamiento.
¿Necesito un simulador?
Sí. El Aprendizaje por Refuerzo Profundo aprende de la interacción, por lo que se requiere un simulador o un entorno de interacción en vivo, junto con una función de recompensa diseñada deliberadamente que codifique el objetivo.
¿Necesito una GPU?
Se recomienda una GPU. El Aprendizaje por Refuerzo Profundo entrena redes neuronales en un gran número de interacciones, por lo que sin la computación adecuada, el entrenamiento es lento y la convergencia es difícil de alcanzar.
Métodos relacionados
Fuentes
Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.
Abrir referencia DOICopiado.Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
Abrir referencia de la publicaciónCopiado.