Méthodes de gradient de politique
- Introduite par
- Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
- Année
- 1992
- Type
- Policy-based reinforcement learning
- Famille
- Reinforcement learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Les méthodes de gradient de politique sont des algorithmes d'apprentissage par renforcement qui optimisent directement une politique paramétrée par une ascension de gradient sur le retour attendu, plutôt que d'apprendre les valeurs des actions et d'agir de manière gloutonne.
Fondées sur l'algorithme REINFORCE de Ronald Williams (1992) et le théorème du gradient de politique de Sutton et ses collègues (2000), elles gèrent naturellement les espaces d'actions stochastiques et continus et sous-tendent les algorithmes modernes d'acteur-critique et d'apprentissage par renforcement profond (deep-RL).
L’intuition derrière la méthode
Les méthodes basées sur la valeur, comme Q-learning, apprennent la valeur de chaque action, puis choisissent la meilleure ; les gradients de politique sautent l'intermédiaire et ajustent la politique elle-même. La politique est une distribution de probabilité sur les actions avec des paramètres ajustables. Après avoir agi et observé le retour, vous poussez les paramètres de sorte que les actions qui ont conduit à une récompense élevée deviennent plus probables et les mauvaises moins probables — ascension de gradient sur la récompense attendue. Comme la politique peut être n'importe quelle distribution différentiable, cela fonctionne pour les contrôles continus (par exemple, un angle de braquage) où prendre un 'maximum sur les actions' est impraticable. Soustraire une ligne de base (une estimation de valeur) maintient la stabilité du gradient bruyant.
Histoire
Ronald Williams a introduit REINFORCE, le gradient de politique Monte-Carlo fondamental, en 1992. Sutton, McAllester, Singh et Mansour (2000) ont prouvé le théorème du gradient de politique avec approximation de fonction, permettant les politiques par réseaux neuronaux et la famille acteur-critique. L'approche a conduit une décennie d'avancées en deep-RL — A3C, TRPO, PPO, DDPG/SAC — et est centrale à l'apprentissage par renforcement à partir des retours humains (RLHF) utilisé pour aligner les grands modèles de langage. C'est le pendant basé sur la politique des méthodes basées sur la valeur comme Q-learning.
Quand l’utiliser
Utilisez les méthodes de gradient de politique lorsque l'espace d'actions est continu ou de grande dimension, lorsqu'une politique stochastique est souhaitable (exploration, observabilité partielle, multi-agents), ou lorsque vous souhaitez optimiser une politique de bout en bout avec un réseau neuronal — contrôle robotique, benchmarks de contrôle continu, politiques de dialogue/recommandation, et comme fondement du RLHF pour les modèles de langage. Elles optimisent directement l'objectif et gèrent les actions continues avec lesquelles les méthodes basées sur la valeur ont du mal. Les coûts : les estimations de gradient ont une variance élevée (atténuée par les lignes de base/critiques), elles sont généralement sur la politique (on-policy) et inefficaces en termes d'échantillons, sensibles à la taille des pas et à l'échelle des récompenses, et sujettes aux optima locaux. Lorsque l'espace d'actions est petit et discret, Q-learning/DQN basé sur la valeur peut être plus simple et plus efficace en termes d'échantillons ; les variantes de région de confiance (TRPO/PPO) traitent l'instabilité de la taille des pas.
Limites et points d’attention
- Estimations de gradient à variance élevée ; nécessitent des lignes de base ou des critiques pour être pratiques.
- Généralement sur la politique (on-policy) et inefficaces en termes d'échantillons par rapport aux méthodes de valeur hors politique (off-policy).
- Sensibles au taux d'apprentissage, à l'échelle des récompenses, et peuvent converger vers des optima locaux.
- La stabilité nécessite de la prudence ; des pas importants naïfs peuvent effondrer la politique.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Optimiser directement la politique ; gérer les espaces d'actions continus et de grande dimension.
- Représenter naturellement les politiques stochastiques, facilitant l'exploration et l'observabilité partielle.
- S'intégrer de manière transparente avec l'approximation de fonction par réseau neuronal (deep RL).
- Fondation pour les algorithmes modernes (A2C/A3C, TRPO, PPO, DDPG) et le RLHF.
Applications
- Contrôle continu en robotique et environnements simulés.
- Jeux et prise de décision séquentielle complexe.
- Politiques de dialogue, de recommandation et d'interaction adaptative.
- Apprentissage par renforcement à partir des retours humains (RLHF) pour les modèles de langage.
- Problèmes d'opérations et de contrôle avec des actions continues.
Comment ça marche
Comment ça marche
L'objectif est de maximiser J(θ), le retour escompté escompté des trajectoires générées par la politique π_θ. Contrairement aux méthodes de valeur, l'objet optimisé est directement les paramètres de la politique, et la politique peut être stochastique et continue.
Formule
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]Le théorème du gradient de politique exprime le gradient du retour attendu comme une espérance de la fonction de score (le gradient du log-politique) pondérée par la valeur de l'action. De manière cruciale, le gradient ne nécessite pas de différencier la dynamique de l'environnement, il peut donc être estimé à partir de l'expérience échantillonnée.
Formule
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]REINFORCE est l'estimateur de Monte-Carlo : après un épisode, pour chaque étape, il déplace les paramètres le long du gradient du log-politique mis à l'échelle par le retour de cette étape moins une ligne de base. La ligne de base (souvent une estimation de la valeur de l'état) réduit la variance sans ajouter de biais, rendant le gradient bruyant utilisable.
Formule
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
Les méthodes acteur-critique apprennent deux éléments ensemble : un acteur (la politique) mis à jour par le gradient de politique, et un critique (une fonction de valeur) qui fournit une estimation à faible variance de l'avantage (à quel point une action est meilleure que la moyenne). Les estimations bootstrap du critique remplacent les retours de Monte-Carlo à variance élevée, produisant un apprentissage plus stable et plus efficace en termes d'échantillons, et constituent la base des algorithmes A2C/A3C, PPO et DDPG.
Formule
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot APièges courants
- Omettre une ligne de base/critique, laissant les gradients trop bruyants pour apprendre.
- Réutiliser des données hors politique (off-policy) avec un estimateur sur politique (on-policy) simple, introduisant un biais dans le gradient.
- Des récompenses/tailles de pas importantes ou non mises à l'échelle provoquant des politiques instables ou effondrées.
- Exploration insuffisante lorsque la politique devient prématurément quasi-déterministe.
Questions fréquentes
Comment les gradients de politique diffèrent-ils de Q-learning ?
Q-learning apprend les valeurs des actions et agit de manière gloutonne ; les gradients de politique paramètrent et optimisent directement la politique via une ascension de gradient sur le retour attendu. Les gradients de politique gèrent naturellement les actions continues/stochastiques mais ont une variance plus élevée et sont généralement sur la politique (on-policy), tandis que Q-learning est hors politique (off-policy) et souvent plus efficace en termes d'échantillons pour les actions discrètes de petite taille.
Qu'est-ce qu'une méthode acteur-critique ?
Elle combine une politique (acteur), mise à jour par le gradient de politique, avec une fonction de valeur apprise (critique) qui estime la valeur des états/actions. Le critique fournit un signal d'avantage à faible variance, stabilisant et accélérant l'apprentissage. A2C/A3C, PPO et DDPG sont des algorithmes acteur-critique.
Pourquoi les gradients de politique utilisent-ils une ligne de base ?
L'estimation brute du gradient est très bruyante. Soustraire une ligne de base — typiquement une estimation de la valeur de l'état — du retour réduit la variance du gradient sans introduire de biais, ce qui rend l'apprentissage beaucoup plus stable et efficace. La fonction d'avantage (retour moins valeur) est le choix courant.
Méthodes associées
Sources
Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.
Ouvrir la référence DOICopié.Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.
Ouvrir la référence de la publicationCopié.