Skip to content
Retour aux résultats

Apprentissage par renforcement profond

Introduite par
Mnih, V. et al. (DQN)
Année
2015
Type
Sequential decision-making (agent–environment interaction)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'apprentissage par renforcement profond combine les réseaux neuronaux avec l'apprentissage par renforcement, de sorte qu'un agent apprend en interagissant avec un environnement.

Cette approche a été popularisée par les travaux de Mnih et coll. en 2015 dans Nature, portant sur le contrôle de jeux Atari à un niveau humain. Au lieu d'apprendre à partir d'un ensemble de données étiquetées fixe, l'agent effectue des actions, observe des récompenses et façonne progressivement une politique qui maximise le retour à long terme.

L’intuition derrière la méthode

Imaginez apprendre à jouer à un jeu sans livret de règles : vous essayez des coups, voyez votre score changer et comprenez lentement quelles actions sont payantes plus tard. L'apprentissage par renforcement profond automatise précisément cette boucle d'essais et erreurs. Un réseau neuronal estime la valeur des situations et des actions, et l'agent conserve les choix qui rapportent plus de récompenses au fil du temps, même lorsque le gain survient de nombreuses étapes après la décision.

Histoire

L'apprentissage par renforcement profond a gagné en popularité avec l'article de Mnih et coll. en 2015 dans Nature, dans lequel un réseau Q profond (DQN) a atteint un contrôle de niveau humain sur de nombreux jeux Atari directement à partir des pixels. Des avancées dans les méthodes de gradient de politique ont suivi, notamment A3C et l'Optimisation de Politique Proximal (PPO) de Schulman et coll. en 2017, qui est devenue une option par défaut largement utilisée et plus stable. Ensemble, DQN, PPO et A3C constituent la boîte à outils moderne de l'apprentissage par renforcement profond utilisée dans les jeux, la robotique et au-delà.

Quand l’utiliser

Utilisez l'apprentissage par renforcement profond pour les problèmes de prise de décision séquentielle et de contrôle — jeux, contrôle robotique, optimisation de recommandations, aide à la décision clinique — où un agent peut interagir avec un simulateur ou un environnement réel et où un signal de récompense peut être défini. Il gère les variables continues et catégorielles, ne fait aucune hypothèse de normalité, mais attend une fonction de récompense conçue et des données d'interaction substantielles (au moins environ 1000 épisodes). Avec beaucoup moins d'interactions, la politique ne convergera pas, et un modèle supervisé tel que Random Forest ou XGBoost est un choix plus sûr.

Limites et points d’attention

  • Nécessite un simulateur ou un environnement d'interaction et une fonction de récompense soigneusement conçue.
  • Affamé en données : nécessite un grand nombre d'interactions (environ 1000+) et un GPU est recommandé.
  • En deçà d'environ 1000 interactions, la politique ne parvient pas à converger ; en deçà d'environ 500, elle ne peut pas produire une politique de décision fiable.
  • L'entraînement peut être instable et sensible aux hyperparamètres et à la mise en forme de la récompense.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Apprend directement les politiques de contrôle et de décision séquentielle à partir de l'interaction, sans exemples étiquetés.
  • L'approximation de fonction neuronale s'adapte à des espaces d'états et d'actions très vastes.
  • Flexible dans divers domaines — jeux, robotique, recommandation, aide à la décision clinique.
  • Aucune hypothèse de normalité ; fonctionne avec des entrées continues et catégorielles et de nombreuses structures de données.

Applications

  • Jeux et contrôle d'agents (par exemple, jeux Atari et jeux de société).
  • Contrôle robotique et tâches de contrôle continu.
  • Problèmes de recommandation et d'optimisation séquentielle.
  • Aide à la décision clinique formulée comme une prise de décision séquentielle.

Comment ça marche

Comment ça marche

1

L'agent observe l'état actuel d'un environnement (un jeu, un simulateur, un robot, un système de recommandation), choisit une action et reçoit une récompense ainsi que l'état suivant. Un simulateur ou un environnement d'interaction réel est requis, et la fonction de récompense doit être conçue délibérément car elle définit ce que signifie un 'bon comportement'. Chaque interaction s'ajoute à l'expérience dont l'agent tire des leçons.

2

Un réseau neuronal approxime la valeur des états et des actions — par exemple, un réseau Q profond (deep Q-network) estime le retour futur attendu de chaque action, tandis que les méthodes de gradient de politique (policy-gradient) comme PPO et A3C paramètrent directement la politique. C'est ce qui rend la méthode 'profonde' : le réseau généralise sur de vastes espaces d'états qu'une table de correspondance ne pourrait jamais couvrir.

Formule
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]
3

En utilisant les récompenses collectées par interaction, le réseau est mis à jour pour favoriser les actions qui mènent à un retour escompté cumulé plus élevé, améliorant ainsi progressivement la politique vers celle qui maximise la récompense à long terme. L'apprentissage étant piloté par l'expérience, de grandes quantités de données d'interaction (le registre recommande au moins environ 1000 épisodes/interactions) et idéalement un GPU sont nécessaires pour que la politique converge.

Formule
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]

Pièges courants

  • Appliquer l'apprentissage par renforcement profond à un petit ensemble de données où la politique ne peut pas converger, au lieu d'utiliser un modèle supervisé.
  • Concevoir une fonction de récompense mal spécifiée que l'agent exploite de manière non intentionnelle.
  • Ignorer un simulateur/environnement d'interaction et essayer d'apprendre à partir d'une table statique d'enregistrements.
  • Ignorer les diagnostics de convergence et faire confiance à une politique sous-entraînée et à variance élevée.
  • Sous-estimer les besoins en calcul et exécuter sans GPU sur trop peu d'épisodes.

Questions fréquentes

Quelle quantité de données l'apprentissage par renforcement profond nécessite-t-il ?

Il est gourmand en données. Le registre recommande au moins environ 1000 interactions/épisodes pour que la politique converge ; en deçà d'environ 500 interactions, DQN/PPO ne peut pas produire une politique de décision fiable, et un modèle supervisé est préférable.

Quelle est la différence entre DQN, PPO et A3C ?

DQN apprend une fonction de valeur (le retour attendu de chaque action) et agit de manière gourmande par rapport à celle-ci. PPO et A3C sont des méthodes de gradient de politique qui optimisent directement la politique ; PPO en particulier est apprécié pour sa stabilité d'entraînement.

Ai-je besoin d'un simulateur ?

Oui. L'apprentissage par renforcement profond apprend par interaction, donc un simulateur ou un environnement d'interaction réel est requis, ainsi qu'une fonction de récompense délibérément conçue qui encode l'objectif.

Ai-je besoin d'un GPU ?

Un GPU est recommandé. L'apprentissage par renforcement profond entraîne des réseaux neuronaux sur un très grand nombre d'interactions, donc sans calcul approprié, l'entraînement est lent et la convergence difficile à atteindre.

Méthodes associées

Sources

  1. Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.

    Ouvrir la référence DOI
    Copié.
  2. Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.

    Ouvrir la référence de la publication
    Copié.