Skip to content
Voltar aos resultados

Métodos de Gradiente de Política

Proposto por
Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
Ano
1992
Tipo
Policy-based reinforcement learning
Família
Reinforcement learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Métodos de gradiente de política são algoritmos de aprendizado por reforço que otimizam uma política parametrizada diretamente por ascensão de gradiente no retorno esperado, em vez de aprender valores de ação e agir de forma gulosa.

Fundamentados no algoritmo REINFORCE de Ronald Williams (1992) e no teorema do gradiente de política de Sutton e colegas (2000), eles lidam naturalmente com espaços de ação estocásticos e contínuos e sustentam algoritmos modernos de ator-crítico e RL profundo.

A intuição por trás do método

Métodos baseados em valor como Q-learning aprendem quão boa é cada ação e então escolhem a melhor; gradientes de política pulam o intermediário e ajustam a própria política. A política é uma distribuição de probabilidade sobre ações com parâmetros ajustáveis. Após agir e ver o retorno, você ajusta os parâmetros de modo que ações que levaram a alta recompensa se tornem mais prováveis e as ruins, menos prováveis — ascensão de gradiente sobre a recompensa esperada. Como a política pode ser qualquer distribuição diferenciável, isso funciona para controles contínuos (por exemplo, um ângulo de direção) onde tirar um 'máximo sobre as ações' é impraticável. Subtrair uma linha de base (uma estimativa de valor) mantém o gradiente ruidoso estável.

História

Ronald Williams introduziu REINFORCE, o gradiente de política Monte-Carlo fundamental, em 1992. Sutton, McAllester, Singh e Mansour (2000) provaram o teorema do gradiente de política com aproximação de função, permitindo políticas de rede neural e a família ator-crítico. A abordagem impulsionou uma década de avanços em RL profundo — A3C, TRPO, PPO, DDPG/SAC — e é central para o aprendizado por reforço a partir de feedback humano (RLHF) usado para alinhar grandes modelos de linguagem. É o contraponto baseado em política a métodos baseados em valor como Q-learning.

Quando usar

Use métodos de gradiente de política quando o espaço de ação for contínuo ou de alta dimensão, quando uma política estocástica for desejável (exploração, observabilidade parcial, multiagente), ou quando você quiser otimizar uma política de ponta a ponta com uma rede neural — controle de robótica, benchmarks de controle contínuo, políticas de diálogo/recomendação e como a fundação do RLHF para modelos de linguagem. Eles otimizam diretamente o objetivo e lidam com ações contínuas com as quais métodos baseados em valor lutam. Os custos: estimativas de gradiente têm alta variância (mitigada por linhas de base/críticos), são tipicamente on-policy e ineficientes em termos de amostra, sensíveis ao tamanho do passo e escalonamento da recompensa, e propensas a ótimos locais. Quando o espaço de ação é pequeno e discreto, Q-learning/DQN baseado em valor pode ser mais simples e mais eficiente em termos de amostra; variantes de região de confiança (TRPO/PPO) abordam a instabilidade do tamanho do passo.

Limitações e considerações

  • Estimativas de gradiente de alta variância; necessitam de linhas de base ou críticos para serem práticos.
  • Geralmente on-policy e ineficientes em termos de amostra em comparação com métodos de valor off-policy.
  • Sensíveis à taxa de aprendizado, escalonamento da recompensa e podem convergir para ótimos locais.
  • A estabilidade requer cuidado; passos grandes ingênuos podem colapsar a política.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Otimizam diretamente a política; lidam com espaços de ação contínuos e de alta dimensão.
  • Representam naturalmente políticas estocásticas, auxiliando na exploração e na observabilidade parcial.
  • Integram-se perfeitamente com aproximação de função por rede neural (RL profundo).
  • Fundação para algoritmos modernos (A2C/A3C, TRPO, PPO, DDPG) e RLHF.

Aplicações

  • Controle contínuo em robótica e ambientes simulados.
  • Jogos e tomada de decisão sequencial complexa.
  • Políticas de diálogo, recomendação e interação adaptativa.
  • Aprendizado por reforço a partir de feedback humano (RLHF) para modelos de linguagem.
  • Problemas de operações e controle com ações contínuas.

Como funciona

Como funciona

1

O objetivo é maximizar J(θ), o retorno descontado esperado de trajetórias geradas pela política π_θ. Diferentemente de métodos de valor, o objeto sendo otimizado são os parâmetros da política diretamente, e a política pode ser estocástica e contínua.

Fórmula
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]
2

O teorema do gradiente de política expressa o gradiente do retorno esperado como uma expectativa da função de pontuação (o gradiente do log-da-política) ponderada pelo valor da ação. Crucialmente, o gradiente não requer a diferenciação das dinâmicas do ambiente, de modo que pode ser estimado a partir de experiências amostradas.

Fórmula
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]
3

REINFORCE é o estimador de Monte-Carlo: após um episódio, para cada passo, ele move os parâmetros ao longo do gradiente do log-da-política escalado pelo retorno a partir daquele passo menos uma linha de base. A linha de base (frequentemente uma estimativa de valor do estado) reduz a variância sem adicionar viés, tornando o gradiente ruidoso utilizável.

Fórmula
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
4

Métodos ator-crítico aprendem duas peças juntas: um ator (a política) atualizado pelo gradiente de política, e um crítico (uma função de valor) que fornece uma estimativa de baixa variância da vantagem (o quão melhor uma ação é do que a média). As estimativas de bootstrapping do crítico substituem os retornos de Monte-Carlo de alta variância, resultando em aprendizado mais estável e eficiente em termos de amostra e a base para A2C/A3C, PPO e DDPG.

Fórmula
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A

Erros comuns

  • Omissão de uma linha de base/crítico, deixando os gradientes muito ruidosos para aprender.
  • Reutilização de dados off-policy com um estimador on-policy simples, enviesando o gradiente.
  • Recompensas/tamanhos de passo grandes ou não escalados causando políticas instáveis ou em colapso.
  • Exploração insuficiente quando a política se torna prematuramente quase determinística.

Perguntas frequentes

Como os gradientes de política diferem do Q-learning?

Q-learning aprende valores de ação e age de forma gulosa; gradientes de política parametrizam e otimizam a política diretamente via ascensão de gradiente no retorno esperado. Gradientes de política lidam com ações contínuas/estocásticas naturalmente, mas têm maior variância e são geralmente on-policy, enquanto Q-learning é off-policy e frequentemente mais eficiente em termos de amostra para ações discretas pequenas.

O que é um método ator-crítico?

Ele combina uma política (ator), atualizada pelo gradiente de política, com uma função de valor aprendida (crítico) que estima quão bons são os estados/ações. O crítico fornece um sinal de vantagem de baixa variância, estabilizando e acelerando o aprendizado. A2C/A3C, PPO e DDPG são algoritmos ator-crítico.

Por que gradientes de política usam uma linha de base?

A estimativa bruta do gradiente é muito ruidosa. Subtrair uma linha de base — tipicamente uma estimativa de valor do estado — do retorno reduz a variância do gradiente sem introduzir viés, o que torna o aprendizado muito mais estável e eficiente. A função de vantagem (retorno menos valor) é a escolha comum.

Métodos relacionados

Fontes

  1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.

    Abrir referência DOI
    Copiado.
  2. Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.

    Abrir referência da publicação
    Copiado.