Métodos de Gradiente de Política
- Propuesto por
- Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
- Año
- 1992
- Tipo
- Policy-based reinforcement learning
- Familia
- Reinforcement learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Los métodos de gradiente de política son algoritmos de aprendizaje por refuerzo que optimizan directamente una política parametrizada mediante ascenso por gradiente sobre el retorno esperado, en lugar de aprender valores de acción y actuar de forma codiciosa.
Fundamentados en el algoritmo REINFORCE de Ronald Williams (1992) y el teorema del gradiente de política de Sutton y colegas (2000), manejan de forma natural espacios de acción estocásticos y continuos y sustentan los algoritmos modernos de actor-crítico y aprendizaje por refuerzo profundo (Deep RL).
La intuición detrás del método
Métodos basados en valor como Q-learning aprenden cuán buena es cada acción y luego eligen la mejor; los gradientes de política se saltan el intermediario y ajustan la política misma. La política es una distribución de probabilidad sobre acciones con parámetros ajustables. Después de actuar y ver el retorno, se empujan los parámetros de modo que las acciones que llevaron a una alta recompensa se vuelvan más probables y las pobres menos probables — ascenso por gradiente sobre la recompensa esperada. Dado que la política puede ser cualquier distribución diferenciable, esto funciona para controles continuos (por ejemplo, un ángulo de dirección) donde tomar un 'máximo sobre acciones' es poco práctico. Restar una línea base (una estimación de valor) mantiene estable el gradiente ruidoso.
Historia
Ronald Williams introdujo REINFORCE, el gradiente de política Monte Carlo fundamental, en 1992. Sutton, McAllester, Singh y Mansour (2000) demostraron el teorema del gradiente de política con aproximación de funciones, permitiendo políticas de redes neuronales y la familia actor-crítico. El enfoque impulsó una década de avances en Deep RL — A3C, TRPO, PPO, DDPG/SAC — y es central en el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) utilizado para alinear modelos de lenguaje grandes. Es el contraparte basado en política de métodos basados en valor como Q-learning.
Cuándo usarlo
Utilice métodos de gradiente de política cuando el espacio de acción sea continuo o de alta dimensión, cuando sea deseable una política estocástica (exploración, observabilidad parcial, multiagente), o cuando desee optimizar una política de extremo a extremo con una red neuronal — control robótico, benchmarks de control continuo, políticas de diálogo/recomendación, y como base de RLHF para modelos de lenguaje. Optimizan directamente el objetivo y manejan acciones continuas con las que los métodos basados en valor tienen dificultades. Los costos: las estimaciones de gradiente tienen alta varianza (mitigada por líneas base/críticos), suelen ser on-policy (basadas en la política actual) e ineficientes en cuanto a muestras, sensibles al tamaño del paso y la escala de recompensa, y propensas a óptimos locales. Cuando el espacio de acción es pequeño y discreto, Q-learning/DQN basado en valor puede ser más simple y eficiente en cuanto a muestras; las variantes de región de confianza (TRPO/PPO) abordan la inestabilidad del tamaño del paso.
Limitaciones y consideraciones
- Estimaciones de gradiente de alta varianza; se necesitan líneas base o críticos para ser prácticos.
- Generalmente on-policy e ineficientes en cuanto a muestras en comparación con métodos de valor off-policy.
- Sensibles a la tasa de aprendizaje, la escala de recompensa, y pueden converger a óptimos locales.
- La estabilidad requiere cuidado; pasos grandes e ingenuos pueden colapsar la política.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Optimizar directamente la política; manejar espacios de acción continuos y de alta dimensión.
- Representar naturalmente políticas estocásticas, ayudando a la exploración y la observabilidad parcial.
- Integrarse sin problemas con la aproximación de funciones de redes neuronales (Deep RL).
- Fundamento para algoritmos modernos (A2C/A3C, TRPO, PPO, DDPG) y RLHF.
Aplicaciones
- Control continuo en robótica y entornos simulados.
- Juego y toma de decisiones secuencial compleja.
- Políticas de diálogo, recomendación e interacción adaptativa.
- Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) para modelos de lenguaje.
- Problemas de operaciones y control con acciones continuas.
Cómo funciona
Cómo funciona
El objetivo es maximizar J(θ), el retorno descontado esperado de trayectorias generadas por la política π_θ. A diferencia de los métodos de valor, el objeto que se optimiza son los parámetros de la política directamente, y la política puede ser estocástica y continua.
Fórmula
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]El teorema del gradiente de política expresa el gradiente del retorno esperado como una esperanza de la función de puntuación (el gradiente del logaritmo de la política) ponderada por el valor de la acción. Crucialmente, el gradiente no requiere diferenciar la dinámica del entorno, por lo que puede estimarse a partir de la experiencia muestreada.
Fórmula
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]REINFORCE es el estimador de Monte Carlo: después de un episodio, para cada paso, mueve los parámetros a lo largo del gradiente del logaritmo de la política escalado por el retorno de ese paso menos una línea base. La línea base (a menudo una estimación del valor del estado) reduce la varianza sin añadir sesgo, haciendo que el gradiente ruidoso sea utilizable.
Fórmula
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
Los métodos de actor-crítico aprenden dos piezas juntas: un actor (la política) actualizado por el gradiente de política, y un crítico (una función de valor) que suministra una estimación de baja varianza de la ventaja (cuánto mejor es una acción que el promedio). Las estimaciones de arranque del crítico reemplazan los retornos de Monte Carlo de alta varianza, produciendo un aprendizaje más estable y eficiente en cuanto a muestras, y la base para A2C/A3C, PPO y DDPG.
Fórmula
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot AErrores comunes
- Omitir una línea base/crítico, dejando los gradientes demasiado ruidosos para aprender.
- Reutilizar datos off-policy con un estimador on-policy simple, sesgando el gradiente.
- Recompensas/tamaños de paso grandes o no escalados que causan políticas inestables o colapsadas.
- Exploración insuficiente cuando la política se vuelve prematuramente casi determinista.
Preguntas frecuentes
¿Cómo difieren los gradientes de política de Q-learning?
Q-learning aprende valores de acción y actúa de forma codiciosa; los gradientes de política parametrizan y optimizan la política directamente mediante ascenso por gradiente sobre el retorno esperado. Los gradientes de política manejan acciones continuas/estocásticas de forma natural pero tienen mayor varianza y suelen ser on-policy, mientras que Q-learning es off-policy y a menudo más eficiente en cuanto a muestras para acciones discretas pequeñas.
¿Qué es un método de actor-crítico?
Combina una política (actor), actualizada por el gradiente de política, con una función de valor aprendida (crítico) que estima cuán buenos son los estados/acciones. El crítico proporciona una señal de ventaja de baja varianza, estabilizando y acelerando el aprendizaje. A2C/A3C, PPO y DDPG son algoritmos de actor-crítico.
¿Por qué los gradientes de política utilizan una línea base?
La estimación cruda del gradiente es muy ruidosa. Restar una línea base — típicamente una estimación del valor del estado — del retorno reduce la varianza del gradiente sin introducir sesgo, lo que hace que el aprendizaje sea mucho más estable y eficiente. La función de ventaja (retorno menos valor) es la elección común.
Métodos relacionados
Fuentes
Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.
Abrir referencia DOICopiado.Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.
Abrir referencia de la publicaciónCopiado.