Saltar al contenido
Volver a los resultados

Aprendizaje por Refuerzo

Propuesto por
Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
Año
1950s–1998
Tipo
Sequential decision-making framework
Familia
Deep learning / NLP / CV

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El Aprendizaje por Refuerzo (RL) es un marco en el que un agente aprende a tomar decisiones secuenciales interactuando con un entorno, recibiendo señales de recompensa escalares y actualizando una política para maximizar la recompensa futura acumulada.

A diferencia del aprendizaje supervisado, no se proporcionan ejemplos etiquetados; el agente descubre el comportamiento óptimo enteramente a través de la experiencia y la retroalimentación retardada.

La intuición detrás del método

Imagine entrenar a un perro: usted no le explica cada acción; recompensa el buen comportamiento y deja que descubra qué hacer. El Aprendizaje por Refuerzo funciona de la misma manera. Un agente prueba acciones en un entorno, observa lo que sucede y recibe una recompensa — positiva para resultados deseados, negativa para errores. A lo largo de muchas interacciones, aprende qué acciones en qué situaciones tienden a conducir a la mayor recompensa, construyendo una estrategia — llamada política — sin necesidad de un conjunto de datos preetiquetado de respuestas correctas.

Historia

El Aprendizaje por Refuerzo tiene sus raíces en la programación dinámica de Bellman (1957) y la psicología del aprendizaje animal. Sutton y Barto formalizaron el marco moderno en su libro de texto de 1998, unificando el aprendizaje de diferencia temporal, Q-learning y los métodos de gradiente de política. El campo se transformó en 2013-2015 cuando DQN de DeepMind combinó CNN profundas con Q-learning para lograr un rendimiento a nivel humano en Atari, lanzando el aprendizaje por refuerzo profundo como una importante dirección de investigación. AlphaGo (2016) y el trabajo posterior de RLHF en modelos de lenguaje grandes expandieron aún más el alcance de RL.

Cuándo usarlo

Utilice el aprendizaje por refuerzo cuando la tarea sea la toma de decisiones secuencial con recompensas retardadas y sin datos de entrenamiento etiquetados: juegos, control robótico, planificación de recursos, secuenciación de recomendaciones o ajuste fino de modelos de lenguaje con retroalimentación humana (RLHF). El RL es apropiado cuando el entorno puede simularse de manera económica y el agente puede interactuar muchas veces. NO utilice RL cuando un enfoque supervisado o auto-supervisado pueda resolver el problema — el RL es ineficiente en cuanto a muestras e inestable; cuando la función de recompensa es difícil de especificar; cuando las interacciones con el entorno real son costosas o peligrosas sin un simulador; o cuando el conjunto de datos es estático y fijo (utilice RL fuera de línea con precaución).

Limitaciones y consideraciones

  • Extremadamente ineficiente en cuanto a muestras: puede requerir millones de interacciones con el entorno para converger.
  • El entrenamiento a menudo es inestable y sensible a los hiperparámetros, la configuración de la recompensa y las semillas aleatorias.
  • El diseño de la función de recompensa es difícil; las recompensas mal especificadas causan optimización no intencionada (piratería de recompensas).
  • La generalización a estados o entornos no vistos no está garantizada.
  • El despliegue en el mundo real es arriesgado sin una simulación exhaustiva; la exploración puede causar acciones peligrosas.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprende directamente de la interacción sin datos etiquetados, lo que lo hace aplicable donde la anotación es imposible.
  • Capaz de descubrir estrategias sobrehumanas en tareas secuenciales complejas (juegos, robótica, planificación).
  • Modela naturalmente la planificación a largo plazo y la asignación de crédito temporal.
  • Se escala a espacios de estados de alta dimensionalidad (píxeles, texto) cuando se combina con redes neuronales profundas.
  • RLHF permite alinear modelos de lenguaje grandes con las preferencias humanas.

Aplicaciones

  • Juegos y estrategia: Atari, Go, ajedrez, StarCraft a niveles sobrehumanos.
  • Robótica: locomoción, manipulación y control diestro de manos.
  • Alineación de modelos de lenguaje grandes a través de Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF).
  • Planificación de recursos y redes, optimización de la refrigeración de centros de datos.
  • Sistemas de recomendación personalizados que modelan el compromiso del usuario a largo plazo.
  • Simulación de conducción autónoma y control de señales de tráfico.

Cómo funciona

Cómo funciona

1

En cada paso de tiempo, el agente observa el estado actual del entorno y elige una acción de acuerdo con su política actual. El entorno transita a un nuevo estado y emite una recompensa escalar. Este bucle de observar-actuar-recompensar se repite, generando una trayectoria de experiencia que se utiliza para mejorar la política.

2

El objetivo del agente es maximizar la recompensa acumulada descontada G_t, que suma todas las recompensas futuras ponderadas por un factor de descuento gamma entre 0 y 1. Un gamma cercano a 1 hace que el agente sea previsor; un gamma pequeño lo hace centrarse en las recompensas inmediatas. La cuidadosa configuración de la recompensa es crítica porque el agente optimiza cualquier señal que recibe.

Fórmula
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
3

La política pi mapea estados a acciones (o probabilidades de acción). Puede representarse como una tabla de consulta para problemas discretos pequeños, o como una red neuronal profunda — un agente de RL profundo — para estados de alta dimensionalidad como imágenes o texto. La política es lo que el agente aprende y, en última instancia, lo que se implementa.

Fórmula
\pi(a \mid s) = P(A_t = a \mid S_t = s)
4

Las funciones de valor estiman qué tan bueno es un estado (o par estado-acción) bajo una política dada. El valor del estado V(s) es la recompensa acumulada esperada a partir del estado s en adelante. Las funciones de valor de acción Q(s, a) extienden esto a acciones específicas. Estas estimaciones guían la mejora de la política en métodos como Q-learning, SARSA y algoritmos actor-crítico.

Fórmula
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]
5

El agente actualiza su política utilizando la experiencia recopilada. Los métodos basados en valor (por ejemplo, DQN) derivan la política implícitamente de los valores Q; los métodos de gradiente de política (por ejemplo, REINFORCE, PPO) ajustan directamente los parámetros de la política para aumentar la probabilidad de trayectorias de alta recompensa. La mayoría de los algoritmos modernos combinan ambos en arquitecturas actor-crítico.

Errores comunes

  • Especificar una función de recompensa que sea fácil de optimizar pero desalineada con el objetivo real (piratería de recompensas).
  • Saltarse un entorno de simulación bien ajustado e ir directamente al hardware real, lo que lleva a fallos costosos.
  • Elegir RL cuando un enfoque de aprendizaje supervisado o de imitación sería mucho más eficiente en cuanto a muestras.
  • Ignorar la reproducibilidad: los resultados de RL varían drásticamente entre semillas aleatorias; siempre informe múltiples ejecuciones.
  • Tratar la curva de entrenamiento de una sola ejecución como evidencia de convergencia sin episodios de evaluación retenidos.

Preguntas frecuentes

¿Qué distingue al aprendizaje por refuerzo del aprendizaje supervisado?

El aprendizaje supervisado requiere pares de entrada-salida etiquetados y aprende un mapeo fijo. RL no requiere etiquetas; en cambio, el agente recibe señales de recompensa después de las acciones y debe descubrir qué hacer a través de prueba y error, lo que lo hace adecuado para problemas de decisión secuencial donde la acción correcta no se conoce de antemano.

¿Cuál es la diferencia entre RL libre de modelo y basado en modelo?

El RL libre de modelo (por ejemplo, DQN, PPO) aprende políticas o funciones de valor directamente de la experiencia sin un modelo explícito de la dinámica del entorno. El RL basado en modelo aprende o se le da un modelo de transición y lo utiliza para la planificación. Los métodos basados en modelo tienden a ser más eficientes en cuanto a muestras, pero requieren un modelo preciso, que puede ser difícil de aprender.

¿Cómo elijo entre un método basado en valor y uno de gradiente de política?

Los métodos basados en valor como DQN funcionan bien con espacios de acción discretos y son relativamente estables. Los métodos de gradiente de política (REINFORCE, PPO, SAC) manejan espacios de acción continuos de forma natural y pueden aprender políticas estocásticas. Los métodos actor-crítico combinan ambos. Para la mayoría de las aplicaciones modernas, PPO o SAC son puntos de partida seguros.

¿Cuántas interacciones con el entorno necesita típicamente el RL?

El RL es notoriamente hambriento de muestras. Las tareas tabulares simples pueden converger en miles de pasos; DQN para Atari requirió decenas de millones de fotogramas; las tareas robóticas complejas pueden necesitar cientos de millones de pasos de simulación. Esto hace que un simulador rápido sea esencial y descarta el RL para muchos problemas del mundo real con interacciones costosas.

¿Qué es RLHF y por qué es importante?

El Aprendizaje por Refuerzo con Retroalimentación Humana entrena un modelo de recompensa a partir de comparaciones de preferencias humanas y luego ajusta un modelo de lenguaje con RL para maximizar esa recompensa aprendida. Es la técnica dominante para alinear modelos de lenguaje grandes con valores humanos y es central para modelos como InstructGPT y Claude.

Métodos relacionados

Fuentes

  1. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Copiado.
  2. Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.

    Abrir referencia DOI
    Copiado.