Aprendizagem por Reforço
- Proposto por
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- Ano
- 1950s–1998
- Tipo
- Sequential decision-making framework
- Família
- Deep learning / NLP / CV
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Aprendizagem por Reforço (AR) é um quadro em que um agente aprende a tomar decisões sequenciais interagindo com um ambiente, recebendo sinais de recompensa escalares e atualizando uma política para maximizar a recompensa cumulativa futura.
Ao contrário da aprendizagem supervisionada, não são fornecidos exemplos rotulados; o agente descobre o comportamento ótimo inteiramente através da experiência e do feedback atrasado.
A intuição por trás do método
Imagine treinar um cão: você não explica cada ação; você recompensa o bom comportamento e deixa-o descobrir o que fazer. A Aprendizagem por Reforço funciona da mesma maneira. Um agente tenta ações num ambiente, observa o que acontece e recebe uma recompensa — positiva para resultados desejados, negativa para erros. Ao longo de muitas interações, aprende quais ações em quais situações tendem a levar à maior recompensa, construindo uma estratégia — chamada política — sem necessitar de qualquer conjunto de dados pré-rotulado de respostas corretas.
História
A Aprendizagem por Reforço tem raízes na programação dinâmica de Bellman (1957) e na psicologia da aprendizagem animal. Sutton e Barto formalizaram o quadro moderno no seu livro de 1998, unificando a aprendizagem por diferença temporal, Q-learning e métodos de gradiente de política. O campo transformou-se em 2013-2015 quando o DQN da DeepMind combinou CNNs profundas com Q-learning para alcançar desempenho ao nível humano em Atari, lançando a aprendizagem por reforço profunda como uma importante direção de pesquisa. AlphaGo (2016) e trabalhos subsequentes de RLHF em grandes modelos de linguagem expandiram ainda mais o alcance da AR.
Quando usar
Use aprendizagem por reforço quando a tarefa for tomada de decisão sequencial com recompensas atrasadas e sem dados de treino rotulados: jogos, controlo robótico, agendamento de recursos, sequenciação de recomendações ou ajuste fino de modelos de linguagem com feedback humano (RLHF). A AR é apropriada quando o ambiente pode ser simulado de forma barata e o agente pode interagir muitas vezes. NÃO use AR quando uma abordagem supervisionada ou auto-supervisionada pode resolver o problema — a AR é ineficiente em termos de amostras e instável; quando a função de recompensa é difícil de especificar; quando as interações com o ambiente real são caras ou perigosas sem um simulador; ou quando o conjunto de dados é estático e fixo (use AR offline com cautela).
Limitações e considerações
- Extremamente ineficiente em termos de amostras: pode exigir milhões de interações com o ambiente para convergir.
- O treino é frequentemente instável e sensível a hiperparâmetros, modelagem de recompensa e sementes aleatórias.
- O desenho da função de recompensa é difícil; recompensas mal especificadas causam otimização não intencional (hacking de recompensa).
- A generalização para estados ou ambientes não vistos não é garantida.
- A implementação no mundo real é arriscada sem simulação extensiva; a exploração pode causar ações perigosas.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aprende diretamente da interação sem dados rotulados, tornando-a aplicável onde a anotação é impossível.
- Capaz de descobrir estratégias sobre-humanas em tarefas sequenciais complexas (jogos, robótica, agendamento).
- Modela naturalmente o planeamento de longo horizonte e a atribuição de crédito temporal.
- Escala para espaços de estados de alta dimensionalidade (pixels, texto) quando combinada com redes neurais profundas.
- RLHF permite alinhar grandes modelos de linguagem com preferências humanas.
Aplicações
- Jogos e estratégia: Atari, Go, xadrez, StarCraft a níveis sobre-humanos.
- Robótica: locomoção, manipulação e controlo de mãos destras.
- Alinhamento de grandes modelos de linguagem via Aprendizagem por Reforço a partir de Feedback Humano (RLHF).
- Agendamento de recursos e redes, otimização de arrefecimento de centros de dados.
- Sistemas de recomendação personalizados que modelam o envolvimento do utilizador a longo prazo.
- Simulação de condução autónoma e controlo de semáforos.
Como funciona
Como funciona
A cada passo temporal, o agente observa o estado atual do ambiente e escolhe uma ação de acordo com a sua política atual. O ambiente transita para um novo estado e emite uma recompensa escalar. Este ciclo de observar-agir-recompensar repete-se, gerando uma trajetória de experiência que é usada para melhorar a política.
O objetivo do agente é maximizar a recompensa cumulativa descontada G_t, que soma todas as recompensas futuras ponderadas por um fator de desconto gamma entre 0 e 1. Um gamma próximo de 1 torna o agente perspicaz; um gamma pequeno faz com que se concentre em recompensas imediatas. A modelagem cuidadosa da recompensa é crítica porque o agente otimiza qualquer sinal que recebe.
Fórmula
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}A política pi mapeia estados para ações (ou probabilidades de ação). Pode ser representada como uma tabela de consulta para problemas discretos pequenos, ou como uma rede neural profunda — um agente de AR profundo — para estados de alta dimensionalidade como imagens ou texto. A política é o que o agente aprende e, em última análise, o que é implementado.
Fórmula
\pi(a \mid s) = P(A_t = a \mid S_t = s)
Funções de valor estimam quão bom é um estado (ou par estado-ação) sob uma dada política. O valor do estado V(s) é a recompensa cumulativa esperada a partir do estado s em diante. As funções de valor de ação Q(s, a) estendem isto para ações específicas. Estas estimativas guiam a melhoria da política em métodos como Q-learning, SARSA e algoritmos ator-crítico.
Fórmula
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]O agente atualiza a sua política usando a experiência recolhida. Métodos baseados em valor (por exemplo, DQN) derivam a política implicitamente de valores Q; métodos de gradiente de política (por exemplo, REINFORCE, PPO) ajustam diretamente os parâmetros da política para aumentar a probabilidade de trajetórias de alta recompensa. A maioria dos algoritmos modernos combina ambos em arquiteturas ator-crítico.
Erros comuns
- Especificar uma função de recompensa que seja fácil de otimizar, mas desalinhada com o objetivo verdadeiro (hacking de recompensa).
- Saltar um ambiente de simulação bem ajustado e ir diretamente para hardware real, levando a falhas dispendiosas.
- Escolher AR quando uma abordagem de aprendizagem supervisionada ou de imitação seria muito mais eficiente em termos de amostras.
- Ignorar a reprodutibilidade: os resultados de AR variam dramaticamente entre sementes aleatórias; relate sempre múltiplas execuções.
- Tratar a curva de treino de uma única execução como evidência de convergência sem episódios de avaliação retidos.
Perguntas frequentes
O que distingue a aprendizagem por reforço da aprendizagem supervisionada?
A aprendizagem supervisionada requer pares de entrada-saída rotulados e aprende um mapeamento fixo. A AR não requer rótulos; em vez disso, o agente recebe sinais de recompensa após as ações e deve descobrir o que fazer através de tentativa e erro, tornando-a adequada para problemas de decisão sequencial onde a ação correta não é conhecida antecipadamente.
Qual é a diferença entre AR livre de modelo e baseada em modelo?
A AR livre de modelo (por exemplo, DQN, PPO) aprende políticas ou funções de valor diretamente da experiência sem um modelo explícito da dinâmica do ambiente. A AR baseada em modelo aprende ou recebe um modelo de transição e usa-o para planeamento. Métodos baseados em modelo tendem a ser mais eficientes em termos de amostras, mas requerem um modelo preciso, que pode ser difícil de aprender.
Como escolho entre um método baseado em valor e um método de gradiente de política?
Métodos baseados em valor como DQN funcionam bem com espaços de ação discretos e são relativamente estáveis. Métodos de gradiente de política (REINFORCE, PPO, SAC) lidam com espaços de ação contínuos naturalmente e podem aprender políticas estocásticas. Métodos ator-crítico combinam ambos. Para a maioria das aplicações modernas, PPO ou SAC são pontos de partida seguros.
Quantas interações com o ambiente a AR tipicamente necessita?
A AR é notoriamente faminta por amostras. Tarefas tabulares simples podem convergir em milhares de passos; Atari DQN exigiu dezenas de milhões de frames; tarefas robóticas complexas podem necessitar de centenas de milhões de passos de simulação. Isto torna um simulador rápido essencial e descarta a AR para muitos problemas do mundo real com interações dispendiosas.
O que é RLHF e porque é importante?
A Aprendizagem por Reforço a partir de Feedback Humano treina um modelo de recompensa a partir de comparações de preferência humana e, em seguida, ajusta um modelo de linguagem com AR para maximizar essa recompensa aprendida. É a técnica dominante para alinhar grandes modelos de linguagem com valores humanos e é central para modelos como InstructGPT e Claude.
Métodos relacionados
Fontes
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6Copiado.Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
Abrir referência DOICopiado.