Q-Learning
- Proposto por
- Christopher Watkins & Peter Dayan
- Ano
- 1992
- Tipo
- Model-free reinforcement-learning control algorithm
- Família
- Reinforcement learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Q-learning, introduzido por Christopher Watkins e Peter Dayan em 1992, é um algoritmo de aprendizado por reforço livre de modelo que aprende o valor de tomar cada ação em cada estado — a função Q — puramente a partir da experiência, sem um modelo do ambiente.
É off-policy: aprende os valores ótimos de ação enquanto segue uma política de comportamento exploratória e, sob condições padrão, converge comprovadamente para a política ótima.
A intuição por trás do método
Um agente que aprende por tentativa e erro precisa saber, para cada situação, quão boa é cada ação possível a longo prazo. Q-learning mantém exatamente isso: uma tabela (ou função) de valores Q estimando a recompensa futura total de tomar uma ação em um estado e se comportar otimamente a partir daí. Cada vez que o agente age, observa uma recompensa e chega a um novo estado, ele ajusta o valor Q em direção ao que acabou de experimentar mais o melhor que acredita que pode fazer a seguir. Crucialmente, ele atualiza em direção à MELHOR ação seguinte, independentemente do que realmente fez em seguida — assim, pode explorar livremente enquanto ainda aprende a estratégia ótima.
História
Christopher Watkins introduziu Q-learning em sua tese de 1989, e Watkins e Dayan (1992) forneceram a prova de convergência, estabelecendo-o como um pilar do aprendizado por reforço. Ele generaliza o aprendizado por diferença temporal para controle e fundamenta marcos posteriores — notavelmente Deep Q-Networks (Mnih et al., 2015), que combinaram Q-learning com redes neurais profundas para jogar jogos Atari a partir de pixels. É tratado canonicamente no livro de Sutton e Barto e permanece um ponto de partida padrão para RL baseado em valor.
Quando usar
Use Q-learning para problemas de decisão sequencial enquadrados como um processo de decisão de Markov onde você pode amostrar transições e recompensas, mas não tem (ou tem um modelo não confiável) da dinâmica — controle, jogos, roteamento, agendamento e sistemas adaptativos. Q-learning tabular se adequa a espaços de estado-ação pequenos e discretos e converge para o ótimo dada exploração suficiente e um tamanho de passo decrescente. Para espaços grandes ou contínuos, a tabela é substituída por um aproximador de função (Deep Q-Networks). Assume a propriedade de Markov e um ambiente estacionário, pode ser ineficiente em termos de amostra e o operador max induz um viés otimista (de maximização) abordado por variantes como Double Q-learning. Quando uma política estocástica ou de ação contínua é necessária, métodos de gradiente de política são a alternativa.
Limitações e considerações
- A forma tabular não escala para espaços de estado/ação grandes ou contínuos.
- Ineficiente em termos de amostra; pode precisar de muitos episódios para convergir.
- Viés de maximização (superestimação) do operador max; mitigado por Double Q-learning.
- Assume um processo de decisão de Markov (estacionário); tem dificuldades sob observabilidade parcial ou deriva.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Livre de modelo: não necessita de modelo de transição/recompensa, apenas experiência amostrada.
- Off-policy: aprende a política ótima enquanto explora com outra política.
- Converge comprovadamente para os valores ótimos de ação sob condições padrão.
- Simples, fundamental e a base para Deep Q-Networks e muitas extensões.
Aplicações
- Jogos e tarefas de controle simulado.
- Navegação robótica e controle adaptativo.
- Roteamento dinâmico, agendamento e alocação de recursos.
- Recomendação e políticas de interação adaptativa.
- Um método de base baseado em valor antes das Deep Q-Networks.
Como funciona
Como funciona
Q(s, a) estima a soma descontada esperada de recompensas futuras ao tomar a ação a no estado s e, em seguida, agir otimamente. O fator de desconto γ pondera recompensas próximas mais do que as distantes. Aprender Q para todos os pares estado-ação é equivalente a resolver o problema de controle.
Fórmula
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]Após cada transição (estado s, ação a, recompensa r, próximo estado s'), Q-learning atualiza Q(s, a) por um passo α em direção ao alvo de diferença temporal r + γ·max sobre as próximas ações de Q(s', a'). O 'max' é o que o torna off-policy e direciona o aprendizado para o valor ótimo, independentemente da ação realmente tomada em seguida.
Fórmula
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]Para coletar experiência, o agente age com uma política de exploração, comumente ε-greedy: geralmente escolhe a melhor ação atual, mas com probabilidade ε escolhe uma aleatória. A exploração garante que todos os pares estado-ação sejam tentados, o que a garantia de convergência exige; ε tipicamente decai com o tempo.
Fórmula
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}Uma vez que Q convergiu para os valores ótimos de ação Q*, a política ótima é simplesmente tomar, em cada estado, a ação com o maior valor Q. Na prática, a política gulosa em relação ao Q atual é extraída no final (ou usada na implantação).
Fórmula
\pi^*(s) = \arg\max_a Q^*(s,a)
Erros comuns
- Exploração insuficiente (ε muito pequeno/decaiu muito rápido), deixando o ótimo não aprendido.
- Má programação da taxa de aprendizado, causando divergência ou aprendizado dolorosamente lento.
- Aplicar Q-learning tabular a espaços grandes em vez de um aproximador de função.
- Ignorar o viés de superestimação em problemas estocásticos onde Double Q-learning ajuda.
Perguntas frequentes
O que significa 'off-policy' em Q-learning?
Significa que Q-learning aprende o valor da política ótima enquanto o agente segue uma política de comportamento diferente (exploratória). Os alvos de atualização r + γ·max Q(s', a') — a melhor ação seguinte — e não a ação realmente tomada, de modo que a exploração não enviesse o ótimo aprendido.
Como Q-learning se relaciona com Deep Q-Networks (DQN)?
DQN substitui a Q-tabela por uma rede neural profunda que aproxima Q(s, a), permitindo Q-learning em espaços de estado grandes ou contínuos (por exemplo, pixels). Ele adiciona truques de estabilização — replay de experiência e uma rede alvo — mas a regra de aprendizado central é a atualização de diferença temporal do Q-learning.
Por que Q-learning superestima os valores?
O operador max na atualização tende a selecionar estimativas superotimistas, enviesando Q para cima, especialmente com recompensas ruidosas. Double Q-learning reduz isso desacoplando a seleção de ação da avaliação de valor usando dois estimadores, resultando em políticas menos enviesadas e frequentemente melhores.
Métodos relacionados
Fontes
Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.
Abrir referência DOICopiado.Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6Copiado.