Skip to content
Voltar aos resultados

Aprendizado por Reforço Profundo

Proposto por
Mnih, V. et al. (DQN)
Ano
2015
Tipo
Sequential decision-making (agent–environment interaction)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O Aprendizado por Reforço Profundo (Deep Reinforcement Learning) combina redes neurais com aprendizado por reforço, de modo que um agente aprende interagindo com um ambiente.

Popularizado pelo trabalho de Mnih e colegas em 2015 na Nature sobre controle em nível humano de jogos Atari. Em vez de aprender a partir de um conjunto de dados rotulado fixo, o agente toma ações, observa recompensas e gradualmente molda uma política que maximiza o retorno a longo prazo.

A intuição por trás do método

Imagine aprender a jogar um jogo sem um manual de regras: você tenta movimentos, vê sua pontuação mudar e, lentamente, descobre quais ações são recompensadoras a longo prazo. O RL Profundo automatiza exatamente esse ciclo de tentativa e erro. Uma rede neural estima quão boas são as situações e ações, e o agente mantém as escolhas que geram mais recompensa ao longo do tempo — mesmo quando a recompensa vem muitos passos após a decisão.

História

O Aprendizado por Reforço Profundo ganhou proeminência com o artigo de Mnih e colegas em 2015 na Nature, no qual uma rede Q profunda alcançou controle em nível humano em muitos jogos Atari diretamente a partir de pixels. Avanços em gradiente de política se seguiram, incluindo A3C e Proximal Policy Optimization (PPO) de Schulman e colegas em 2017, que se tornou um padrão amplamente utilizado e mais estável. Juntos, DQN, PPO e A3C ancoram o kit de ferramentas moderno de RL Profundo usado em jogos, robótica e além.

Quando usar

Use Aprendizado por Reforço Profundo para problemas de tomada de decisão sequencial e controle — jogos, controle de robôs, otimização de recomendações, suporte à decisão clínica — onde um agente pode interagir com um simulador ou ambiente em tempo real e um sinal de recompensa pode ser definido. Ele lida com variáveis contínuas e categóricas, não faz suposições de normalidade, mas espera uma função de recompensa projetada e dados de interação substanciais (pelo menos aproximadamente 1000 episódios). Com muito menos interações, a política não convergirà, e um modelo supervisionado como Random Forest ou XGBoost é uma escolha mais segura.

Limitações e considerações

  • Requer um simulador ou ambiente de interação e uma função de recompensa cuidadosamente projetada.
  • Faminto por dados: necessita de um grande número de interações (cerca de 1000+) e uma GPU é recomendada.
  • Abaixo de aproximadamente 1000 interações, a política falha em convergir; abaixo de ~500, ela não consegue produzir uma política de decisão confiável.
  • O treinamento pode ser instável e sensível a hiperparâmetros e modelagem de recompensa (reward shaping).

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aprende políticas de controle e decisão sequencial diretamente da interação, sem exemplos rotulados.
  • A aproximação de função neural escala para espaços de estados e ações muito grandes.
  • Flexível entre domínios — jogos, robótica, recomendação, suporte à decisão clínica.
  • Sem suposições de normalidade; funciona com entradas contínuas e categóricas e muitas estruturas de dados.

Aplicações

  • Jogos e controle de agentes (por exemplo, Atari e jogos de tabuleiro).
  • Controle de robôs e tarefas de controle contínuo.
  • Recomendação e problemas de otimização sequencial.
  • Suporte à decisão clínica enquadrado como tomada de decisão sequencial.

Como funciona

Como funciona

1

O agente observa o estado atual de um ambiente (um jogo, um simulador, um robô, um cenário de recomendação), escolhe uma ação e recebe uma recompensa mais o próximo estado. Um simulador ou ambiente de interação em tempo real é necessário, e a função de recompensa deve ser projetada deliberadamente, pois define o que significa 'comportamento bom'. Cada interação adiciona à experiência da qual o agente aprende.

2

Uma rede neural aproxima o valor de estados e ações — por exemplo, uma rede Q profunda (deep Q-network) estima o retorno futuro esperado de cada ação, enquanto métodos de gradiente de política (policy-gradient) como PPO e A3C parametrizam diretamente a política. É isso que torna o método 'profundo': a rede generaliza em vastos espaços de estados que uma tabela de consulta jamais cobriria.

Fórmula
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]
3

Usando as recompensas coletadas através da interação, a rede é atualizada para favorecer ações que levam a um maior retorno cumulativo descontado, melhorando continuamente a política em direção a uma que maximize a recompensa a longo prazo. Como o aprendizado é impulsionado pela experiência, grandes quantidades de dados de interação (o registro recomenda pelo menos cerca de 1000 episódios/interações) e, idealmente, uma GPU são necessárias para que a política convirja.

Fórmula
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]

Erros comuns

  • Aplicar RL Profundo a um pequeno conjunto de dados onde a política não consegue convergir, em vez de usar um modelo supervisionado.
  • Projetar uma função de recompensa mal especificada que o agente explora de maneiras não intencionais.
  • Pular um simulador/ambiente de interação e tentar aprender a partir de uma tabela estática de registros.
  • Ignorar diagnósticos de convergência e confiar em uma política subtreinada e de alta variância.
  • Subestimar as necessidades de computação e executar sem GPU em poucos episódios.

Perguntas frequentes

Quanta informação o RL Profundo necessita?

É faminto por dados. O registro recomenda pelo menos cerca de 1000 interações/episódios para que a política convirja; abaixo de aproximadamente 500 interações, DQN/PPO não conseguem produzir uma política de decisão confiável, e um modelo supervisionado é preferível.

Qual a diferença entre DQN, PPO e A3C?

DQN aprende uma função de valor (o retorno esperado de cada ação) e age de forma gulosa em relação a ela. PPO e A3C são métodos de gradiente de política que otimizam diretamente a política; PPO, em particular, é valorizado por sua estabilidade de treinamento.

Preciso de um simulador?

Sim. O RL Profundo aprende com a interação, portanto, um simulador ou um ambiente de interação em tempo real é necessário, juntamente com uma função de recompensa projetada deliberadamente que codifique o objetivo.

Preciso de uma GPU?

Uma GPU é recomendada. O RL Profundo treina redes neurais em um grande número de interações, portanto, sem computação adequada, o treinamento é lento e a convergência é difícil de alcançar.

Métodos relacionados

Fontes

  1. Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.

    Abrir referência DOI
    Copiado.
  2. Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.

    Abrir referência da publicação
    Copiado.