Skip to content
Voltar aos resultados

Aprendizagem por Reforço

Proposto por
Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
Ano
1950s–1998
Tipo
Sequential decision-making framework
Família
Deep learning / NLP / CV

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Aprendizagem por Reforço (AR) é um quadro em que um agente aprende a tomar decisões sequenciais interagindo com um ambiente, recebendo sinais de recompensa escalares e atualizando uma política para maximizar a recompensa cumulativa futura.

Ao contrário da aprendizagem supervisionada, não são fornecidos exemplos rotulados; o agente descobre o comportamento ótimo inteiramente através da experiência e do feedback atrasado.

A intuição por trás do método

Imagine treinar um cão: você não explica cada ação; você recompensa o bom comportamento e deixa-o descobrir o que fazer. A Aprendizagem por Reforço funciona da mesma maneira. Um agente tenta ações num ambiente, observa o que acontece e recebe uma recompensa — positiva para resultados desejados, negativa para erros. Ao longo de muitas interações, aprende quais ações em quais situações tendem a levar à maior recompensa, construindo uma estratégia — chamada política — sem necessitar de qualquer conjunto de dados pré-rotulado de respostas corretas.

História

A Aprendizagem por Reforço tem raízes na programação dinâmica de Bellman (1957) e na psicologia da aprendizagem animal. Sutton e Barto formalizaram o quadro moderno no seu livro de 1998, unificando a aprendizagem por diferença temporal, Q-learning e métodos de gradiente de política. O campo transformou-se em 2013-2015 quando o DQN da DeepMind combinou CNNs profundas com Q-learning para alcançar desempenho ao nível humano em Atari, lançando a aprendizagem por reforço profunda como uma importante direção de pesquisa. AlphaGo (2016) e trabalhos subsequentes de RLHF em grandes modelos de linguagem expandiram ainda mais o alcance da AR.

Quando usar

Use aprendizagem por reforço quando a tarefa for tomada de decisão sequencial com recompensas atrasadas e sem dados de treino rotulados: jogos, controlo robótico, agendamento de recursos, sequenciação de recomendações ou ajuste fino de modelos de linguagem com feedback humano (RLHF). A AR é apropriada quando o ambiente pode ser simulado de forma barata e o agente pode interagir muitas vezes. NÃO use AR quando uma abordagem supervisionada ou auto-supervisionada pode resolver o problema — a AR é ineficiente em termos de amostras e instável; quando a função de recompensa é difícil de especificar; quando as interações com o ambiente real são caras ou perigosas sem um simulador; ou quando o conjunto de dados é estático e fixo (use AR offline com cautela).

Limitações e considerações

  • Extremamente ineficiente em termos de amostras: pode exigir milhões de interações com o ambiente para convergir.
  • O treino é frequentemente instável e sensível a hiperparâmetros, modelagem de recompensa e sementes aleatórias.
  • O desenho da função de recompensa é difícil; recompensas mal especificadas causam otimização não intencional (hacking de recompensa).
  • A generalização para estados ou ambientes não vistos não é garantida.
  • A implementação no mundo real é arriscada sem simulação extensiva; a exploração pode causar ações perigosas.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aprende diretamente da interação sem dados rotulados, tornando-a aplicável onde a anotação é impossível.
  • Capaz de descobrir estratégias sobre-humanas em tarefas sequenciais complexas (jogos, robótica, agendamento).
  • Modela naturalmente o planeamento de longo horizonte e a atribuição de crédito temporal.
  • Escala para espaços de estados de alta dimensionalidade (pixels, texto) quando combinada com redes neurais profundas.
  • RLHF permite alinhar grandes modelos de linguagem com preferências humanas.

Aplicações

  • Jogos e estratégia: Atari, Go, xadrez, StarCraft a níveis sobre-humanos.
  • Robótica: locomoção, manipulação e controlo de mãos destras.
  • Alinhamento de grandes modelos de linguagem via Aprendizagem por Reforço a partir de Feedback Humano (RLHF).
  • Agendamento de recursos e redes, otimização de arrefecimento de centros de dados.
  • Sistemas de recomendação personalizados que modelam o envolvimento do utilizador a longo prazo.
  • Simulação de condução autónoma e controlo de semáforos.

Como funciona

Como funciona

1

A cada passo temporal, o agente observa o estado atual do ambiente e escolhe uma ação de acordo com a sua política atual. O ambiente transita para um novo estado e emite uma recompensa escalar. Este ciclo de observar-agir-recompensar repete-se, gerando uma trajetória de experiência que é usada para melhorar a política.

2

O objetivo do agente é maximizar a recompensa cumulativa descontada G_t, que soma todas as recompensas futuras ponderadas por um fator de desconto gamma entre 0 e 1. Um gamma próximo de 1 torna o agente perspicaz; um gamma pequeno faz com que se concentre em recompensas imediatas. A modelagem cuidadosa da recompensa é crítica porque o agente otimiza qualquer sinal que recebe.

Fórmula
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
3

A política pi mapeia estados para ações (ou probabilidades de ação). Pode ser representada como uma tabela de consulta para problemas discretos pequenos, ou como uma rede neural profunda — um agente de AR profundo — para estados de alta dimensionalidade como imagens ou texto. A política é o que o agente aprende e, em última análise, o que é implementado.

Fórmula
\pi(a \mid s) = P(A_t = a \mid S_t = s)
4

Funções de valor estimam quão bom é um estado (ou par estado-ação) sob uma dada política. O valor do estado V(s) é a recompensa cumulativa esperada a partir do estado s em diante. As funções de valor de ação Q(s, a) estendem isto para ações específicas. Estas estimativas guiam a melhoria da política em métodos como Q-learning, SARSA e algoritmos ator-crítico.

Fórmula
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]
5

O agente atualiza a sua política usando a experiência recolhida. Métodos baseados em valor (por exemplo, DQN) derivam a política implicitamente de valores Q; métodos de gradiente de política (por exemplo, REINFORCE, PPO) ajustam diretamente os parâmetros da política para aumentar a probabilidade de trajetórias de alta recompensa. A maioria dos algoritmos modernos combina ambos em arquiteturas ator-crítico.

Erros comuns

  • Especificar uma função de recompensa que seja fácil de otimizar, mas desalinhada com o objetivo verdadeiro (hacking de recompensa).
  • Saltar um ambiente de simulação bem ajustado e ir diretamente para hardware real, levando a falhas dispendiosas.
  • Escolher AR quando uma abordagem de aprendizagem supervisionada ou de imitação seria muito mais eficiente em termos de amostras.
  • Ignorar a reprodutibilidade: os resultados de AR variam dramaticamente entre sementes aleatórias; relate sempre múltiplas execuções.
  • Tratar a curva de treino de uma única execução como evidência de convergência sem episódios de avaliação retidos.

Perguntas frequentes

O que distingue a aprendizagem por reforço da aprendizagem supervisionada?

A aprendizagem supervisionada requer pares de entrada-saída rotulados e aprende um mapeamento fixo. A AR não requer rótulos; em vez disso, o agente recebe sinais de recompensa após as ações e deve descobrir o que fazer através de tentativa e erro, tornando-a adequada para problemas de decisão sequencial onde a ação correta não é conhecida antecipadamente.

Qual é a diferença entre AR livre de modelo e baseada em modelo?

A AR livre de modelo (por exemplo, DQN, PPO) aprende políticas ou funções de valor diretamente da experiência sem um modelo explícito da dinâmica do ambiente. A AR baseada em modelo aprende ou recebe um modelo de transição e usa-o para planeamento. Métodos baseados em modelo tendem a ser mais eficientes em termos de amostras, mas requerem um modelo preciso, que pode ser difícil de aprender.

Como escolho entre um método baseado em valor e um método de gradiente de política?

Métodos baseados em valor como DQN funcionam bem com espaços de ação discretos e são relativamente estáveis. Métodos de gradiente de política (REINFORCE, PPO, SAC) lidam com espaços de ação contínuos naturalmente e podem aprender políticas estocásticas. Métodos ator-crítico combinam ambos. Para a maioria das aplicações modernas, PPO ou SAC são pontos de partida seguros.

Quantas interações com o ambiente a AR tipicamente necessita?

A AR é notoriamente faminta por amostras. Tarefas tabulares simples podem convergir em milhares de passos; Atari DQN exigiu dezenas de milhões de frames; tarefas robóticas complexas podem necessitar de centenas de milhões de passos de simulação. Isto torna um simulador rápido essencial e descarta a AR para muitos problemas do mundo real com interações dispendiosas.

O que é RLHF e porque é importante?

A Aprendizagem por Reforço a partir de Feedback Humano treina um modelo de recompensa a partir de comparações de preferência humana e, em seguida, ajusta um modelo de linguagem com AR para maximizar essa recompensa aprendida. É a técnica dominante para alinhar grandes modelos de linguagem com valores humanos e é central para modelos como InstructGPT e Claude.

Métodos relacionados

Fontes

  1. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Copiado.
  2. Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.

    Abrir referência DOI
    Copiado.