Skip to content
Retour aux résultats

Apprentissage par renforcement

Introduite par
Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
Année
1950s–1998
Type
Sequential decision-making framework
Famille
Deep learning / NLP / CV

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'apprentissage par renforcement (RL) est un cadre dans lequel un agent apprend à prendre des décisions séquentielles en interagissant avec un environnement, en recevant des signaux de récompense scalaires et en mettant à jour une politique pour maximiser la récompense cumulative future.

Contrairement à l'apprentissage supervisé, aucun exemple étiqueté n'est fourni ; l'agent découvre un comportement optimal entièrement par l'expérience et le retour d'information différé.

L’intuition derrière la méthode

Imaginez dresser un chien : vous n'expliquez pas chaque action ; vous récompensez le bon comportement et le laissez comprendre quoi faire. L'apprentissage par renforcement fonctionne de la même manière. Un agent essaie des actions dans un environnement, observe ce qui se passe et reçoit une récompense — positive pour les résultats souhaités, négative pour les erreurs. Au fil de nombreuses interactions, il apprend quelles actions, dans quelles situations, tendent à mener à la plus grande récompense, en construisant une stratégie — appelée politique — sans avoir besoin d'un ensemble de données pré-étiqueté de réponses correctes.

Histoire

L'apprentissage par renforcement trouve ses racines dans la programmation dynamique de Bellman (1957) et la psychologie de l'apprentissage animal. Sutton et Barto ont formalisé le cadre moderne dans leur manuel de 1998, unifiant l'apprentissage par différence temporelle, Q-learning et les méthodes de gradient de politique. Le domaine s'est transformé en 2013-2015 lorsque le DQN de DeepMind a combiné les CNN profonds avec Q-learning pour atteindre des performances humaines sur Atari, lançant l'apprentissage par renforcement profond comme une direction de recherche majeure. AlphaGo (2016) et les travaux ultérieurs sur le RLHF sur les grands modèles linguistiques ont encore élargi la portée du RL.

Quand l’utiliser

Utilisez l'apprentissage par renforcement lorsque la tâche consiste en la prise de décision séquentielle avec des récompenses différées et sans données d'entraînement étiquetées : jeux, contrôle robotique, ordonnancement de ressources, séquençage de recommandations, ou ajustement fin de modèles linguistiques avec retour humain (RLHF). Le RL est approprié lorsque l'environnement peut être simulé à faible coût et que l'agent peut interagir de nombreuses fois. N'UTILISEZ PAS le RL lorsqu'une approche supervisée ou auto-supervisée peut résoudre le problème — le RL est inefficace en termes d'échantillons et instable ; lorsque la fonction de récompense est difficile à spécifier ; lorsque les interactions avec l'environnement réel sont coûteuses ou dangereuses sans simulateur ; ou lorsque l'ensemble de données est statique et fixe (utilisez le RL hors ligne avec prudence).

Limites et points d’attention

  • Extrêmement inefficace en termes d'échantillons : peut nécessiter des millions d'interactions avec l'environnement pour converger.
  • L'entraînement est souvent instable et sensible aux hyperparamètres, à la mise en forme des récompenses et aux graines aléatoires.
  • La conception de la fonction de récompense est difficile ; des récompenses mal spécifiées entraînent une optimisation involontaire (piratage de récompense).
  • La généralisation à des états ou environnements non vus n'est pas garantie.
  • Le déploiement dans le monde réel est risqué sans simulation approfondie ; l'exploration peut entraîner des actions dangereuses.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Apprend directement à partir de l'interaction sans données étiquetées, ce qui le rend applicable là où l'annotation est impossible.
  • Capable de découvrir des stratégies surhumaines dans des tâches séquentielles complexes (jeux, robotique, ordonnancement).
  • Modélise naturellement la planification à long terme et l'attribution de crédit temporel.
  • S'adapte aux espaces d'états de haute dimension (pixels, texte) lorsqu'il est combiné avec des réseaux neuronaux profonds.
  • Le RLHF permet d'aligner les grands modèles linguistiques sur les préférences humaines.

Applications

  • Jeux et stratégie : Atari, Go, échecs, StarCraft à des niveaux surhumains.
  • Robotique : locomotion, manipulation et contrôle de mains expertes.
  • Alignement des grands modèles linguistiques via l'apprentissage par renforcement à partir des retours humains (RLHF).
  • Ordonnancement des ressources et des réseaux, optimisation du refroidissement des centres de données.
  • Systèmes de recommandation personnalisés modélisant l'engagement utilisateur à long terme.
  • Simulation de conduite autonome et contrôle des feux de circulation.

Comment ça marche

Comment ça marche

1

À chaque pas de temps, l'agent observe l'état actuel de l'environnement et choisit une action selon sa politique actuelle. L'environnement passe à un nouvel état et émet une récompense scalaire. Cette boucle observer-agir-récompenser se répète, générant une trajectoire d'expérience utilisée pour améliorer la politique.

2

L'objectif de l'agent est de maximiser la récompense cumulative escomptée G_t, qui somme toutes les récompenses futures pondérées par un facteur d'escompte gamma compris entre 0 et 1. Un gamma proche de 1 rend l'agent prévoyant ; un petit gamma le fait se concentrer sur les récompenses immédiates. Une mise en forme soignée des récompenses est essentielle car l'agent optimise le signal qu'il reçoit.

Formule
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
3

La politique pi associe des états à des actions (ou des probabilités d'action). Elle peut être représentée sous forme de table de consultation pour de petits problèmes discrets, ou sous forme de réseau neuronal profond — un agent RL profond — pour des états de haute dimension tels que des images ou du texte. La politique est ce que l'agent apprend et, en fin de compte, ce qui est déployé.

Formule
\pi(a \mid s) = P(A_t = a \mid S_t = s)
4

Les fonctions de valeur estiment la qualité d'un état (ou d'une paire état-action) selon une politique donnée. La valeur d'état V(s) est la récompense cumulative attendue à partir de l'état s. Les fonctions de valeur d'action Q(s, a) étendent cela à des actions spécifiques. Ces estimations guident l'amélioration de la politique dans des méthodes telles que Q-learning, SARSA et les algorithmes acteur-critique.

Formule
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]
5

L'agent met à jour sa politique en utilisant l'expérience collectée. Les méthodes basées sur la valeur (par ex. DQN) dérivent la politique implicitement des valeurs Q ; les méthodes de gradient de politique (par ex. REINFORCE, PPO) ajustent directement les paramètres de politique pour augmenter la probabilité des trajectoires à forte récompense. La plupart des algorithmes modernes combinent les deux dans des architectures acteur-critique.

Pièges courants

  • Spécifier une fonction de récompense facile à optimiser mais désalignée avec l'objectif réel (piratage de récompense).
  • Sauter un environnement de simulation bien réglé et passer directement au matériel réel, entraînant des échecs coûteux.
  • Choisir le RL alors qu'une approche d'apprentissage supervisé ou d'imitation serait beaucoup plus efficace en termes d'échantillons.
  • Ignorer la reproductibilité : les résultats du RL varient considérablement selon les graines aléatoires ; rapportez toujours plusieurs exécutions.
  • Traiter la courbe d'entraînement d'une seule exécution comme preuve de convergence sans épisodes d'évaluation mis de côté.

Questions fréquentes

Qu'est-ce qui distingue l'apprentissage par renforcement de l'apprentissage supervisé ?

L'apprentissage supervisé nécessite des paires entrée-sortie étiquetées et apprend une cartographie fixe. Le RL ne nécessite pas d'étiquettes ; au lieu de cela, l'agent reçoit des signaux de récompense après les actions et doit découvrir quoi faire par essais et erreurs, ce qui le rend adapté aux problèmes de décision séquentielle où l'action correcte n'est pas connue à l'avance.

Quelle est la différence entre le RL sans modèle et le RL basé sur un modèle ?

Le RL sans modèle (par ex. DQN, PPO) apprend des politiques ou des fonctions de valeur directement à partir de l'expérience sans modèle explicite de la dynamique de l'environnement. Le RL basé sur un modèle apprend ou reçoit un modèle de transition et l'utilise pour la planification. Les méthodes basées sur un modèle ont tendance à être plus efficaces en termes d'échantillons mais nécessitent un modèle précis, qui peut être difficile à apprendre.

Comment choisir entre une méthode basée sur la valeur et une méthode de gradient de politique ?

Les méthodes basées sur la valeur comme DQN fonctionnent bien avec des espaces d'actions discrets et sont relativement stables. Les méthodes de gradient de politique (REINFORCE, PPO, SAC) gèrent naturellement les espaces d'actions continus et peuvent apprendre des politiques stochastiques. Les méthodes acteur-critique combinent les deux. Pour la plupart des applications modernes, PPO ou SAC sont des points de départ sûrs.

Combien d'interactions avec l'environnement le RL nécessite-t-il généralement ?

Le RL est notoirement gourmand en échantillons. Des tâches tabulaires simples peuvent converger en quelques milliers d'étapes ; le DQN sur Atari a nécessité des dizaines de millions d'images ; des tâches robotiques complexes peuvent nécessiter des centaines de millions d'étapes de simulation. Cela rend un simulateur rapide essentiel et exclut le RL pour de nombreux problèmes du monde réel avec des interactions coûteuses.

Qu'est-ce que le RLHF et pourquoi est-il important ?

L'apprentissage par renforcement à partir des retours humains entraîne un modèle de récompense à partir de comparaisons de préférences humaines, puis affine un modèle linguistique avec le RL pour maximiser cette récompense apprise. C'est la technique dominante pour aligner les grands modèles linguistiques sur les valeurs humaines et est centrale pour des modèles comme InstructGPT et Claude.

Méthodes associées

Sources

  1. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN : 978-0-262-03924-6
    Copié.
  2. Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.

    Ouvrir la référence DOI
    Copié.