Skip to content
Torna ai risultati

Metodi basati sul gradiente di policy

Introdotto da
Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
Anno
1992
Tipo
Policy-based reinforcement learning
Famiglia
Reinforcement learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

I metodi basati sul gradiente di policy sono algoritmi di apprendimento per rinforzo che ottimizzano una policy parametrizzata direttamente tramite salita del gradiente sul ritorno atteso, anziché apprendere i valori delle azioni e agire in modo goloso.

Fondati sull'algoritmo REINFORCE di Ronald Williams del 1992 e sul teorema del gradiente di policy di Sutton e colleghi (2000), gestiscono naturalmente spazi di azioni stocastici e continui e sono alla base degli algoritmi moderni actor-critic e deep-RL.

L’intuizione alla base del metodo

Metodi basati sul valore come Q-learning apprendono quanto sia buona ogni azione e poi scelgono la migliore; i gradienti di policy saltano l'intermediario e aggiustano la policy stessa. La policy è una distribuzione di probabilità sulle azioni con parametri modificabili. Dopo aver agito e osservato il ritorno, si spingono i parametri in modo che le azioni che hanno portato a ricompense elevate diventino più probabili e quelle scarse meno probabili — salita del gradiente sulla ricompensa attesa. Poiché la policy può essere una qualsiasi distribuzione differenziabile, questo funziona per controlli continui (ad es., un angolo di sterzata) dove un 'massimo sulle azioni' è impraticabile. Sottrarre una baseline (una stima del valore) mantiene stabile il gradiente rumoroso.

Storia

Ronald Williams introdusse REINFORCE, il gradiente di policy Monte-Carlo fondamentale, nel 1992. Sutton, McAllester, Singh e Mansour (2000) dimostrarono il teorema del gradiente di policy con approssimazione di funzione, abilitando policy basate su reti neurali e la famiglia actor-critic. L'approccio ha guidato un decennio di progressi nel deep-RL — A3C, TRPO, PPO, DDPG/SAC — ed è centrale nell'apprendimento per rinforzo da feedback umano (RLHF) utilizzato per allineare i grandi modelli linguistici. È il contraltare basato sulla policy ai metodi basati sul valore come Q-learning.

Quando usarlo

Utilizzare metodi basati sul gradiente di policy quando lo spazio delle azioni è continuo o ad alta dimensionalità, quando una policy stocastica è desiderabile (esplorazione, osservabilità parziale, multi-agente), o quando si desidera ottimizzare una policy end-to-end con una rete neurale — controllo robotico, benchmark di controllo continuo, policy di dialogo/raccomandazione e come fondamento di RLHF per modelli linguistici. Ottimizzano direttamente l'obiettivo e gestiscono azioni continue con cui i metodi basati sul valore faticano. I costi: le stime del gradiente hanno alta varianza (mitigata da baseline/critici), sono tipicamente on-policy e inefficienti in termini di campioni, sensibili alla dimensione del passo e alla scalatura della ricompensa, e inclini a ottimi locali. Quando lo spazio delle azioni è piccolo e discreto, Q-learning/DQN basati sul valore possono essere più semplici ed efficienti in termini di campioni; le varianti trust-region (TRPO/PPO) affrontano l'instabilità della dimensione del passo.

Limiti e considerazioni

  • Stime del gradiente ad alta varianza; necessitano di baseline o critici per essere pratici.
  • Solitamente on-policy e inefficienti in termini di campioni rispetto ai metodi basati sul valore off-policy.
  • Sensibili al tasso di apprendimento, alla scalatura della ricompensa, e possono convergere a ottimi locali.
  • La stabilità richiede attenzione; passi grandi e ingenui possono far collassare la policy.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Ottimizzare direttamente la policy; gestire spazi di azioni continui e ad alta dimensionalità.
  • Rappresentare naturalmente policy stocastiche, favorendo l'esplorazione e l'osservabilità parziale.
  • Integrarsi senza soluzione di continuità con l'approssimazione di funzione tramite reti neurali (deep RL).
  • Fondamento per algoritmi moderni (A2C/A3C, TRPO, PPO, DDPG) e RLHF.

Applicazioni

  • Controllo continuo in robotica e ambienti simulati.
  • Gioco e processi decisionali sequenziali complessi.
  • Politiche di dialogo, raccomandazione e interazione adattiva.
  • Apprendimento per rinforzo da feedback umano (RLHF) per modelli linguistici.
  • Problemi di operazioni e controllo con azioni continue.

Come funziona

Come funziona

1

L'obiettivo è massimizzare J(θ), il ritorno scontato atteso delle traiettorie generate dalla policy π_θ. A differenza dei metodi basati sul valore, l'oggetto ottimizzato sono direttamente i parametri della policy, e la policy può essere stocastica e continua.

Formula
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]
2

Il teorema del gradiente di policy esprime il gradiente del ritorno atteso come un'aspettativa della funzione score (il gradiente della log-policy) pesata dal valore dell'azione. Crucialmente, il gradiente non richiede la differenziazione delle dinamiche dell'ambiente, quindi può essere stimato dall'esperienza campionata.

Formula
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]
3

REINFORCE è il stimatore Monte-Carlo: dopo un episodio, per ogni passo, sposta i parametri lungo il gradiente della log-policy scalato dal ritorno da quel passo meno una baseline. La baseline (spesso una stima del valore dello stato) riduce la varianza senza aggiungere bias, rendendo utilizzabile il gradiente rumoroso.

Formula
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
4

I metodi actor-critic apprendono due elementi insieme: un attore (la policy) aggiornato dal gradiente di policy, e un critico (una funzione di valore) che fornisce una stima a bassa varianza del vantaggio (quanto un'azione sia migliore della media). Le stime bootstrap del critico sostituiscono i ritorni Monte-Carlo ad alta varianza, producendo un apprendimento più stabile, efficiente in termini di campioni e la base per A2C/A3C, PPO e DDPG.

Formula
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A

Errori comuni

  • Omettere una baseline/critico, lasciando i gradienti troppo rumorosi per apprendere.
  • Riutilizzare dati off-policy con uno stimatore on-policy semplice, introducendo bias nel gradiente.
  • Ricompense/dimensioni del passo grandi o non scalate che causano policy instabili o in collasso.
  • Esplorazione insufficiente quando la policy diventa prematuramente quasi deterministica.

Domande frequenti

In che modo i gradienti di policy differiscono da Q-learning?

Q-learning apprende i valori delle azioni e agisce in modo goloso; i gradienti di policy parametrizzano e ottimizzano direttamente la policy tramite salita del gradiente sul ritorno atteso. I gradienti di policy gestiscono azioni continue/stocastiche naturalmente ma hanno varianza più alta e sono solitamente on-policy, mentre Q-learning è off-policy e spesso più efficiente in termini di campioni per azioni discrete piccole.

Cos'è un metodo actor-critic?

Combina una policy (attore), aggiornata dal gradiente di policy, con una funzione di valore appresa (critico) che stima quanto siano buone gli stati/azioni. Il critico fornisce un segnale di vantaggio a bassa varianza, stabilizzando e accelerando l'apprendimento. A2C/A3C, PPO e DDPG sono algoritmi actor-critic.

Perché i gradienti di policy usano una baseline?

La stima grezza del gradiente è molto rumorosa. Sottrarre una baseline — tipicamente una stima del valore dello stato — dal ritorno riduce la varianza del gradiente senza introdurre bias, il che rende l'apprendimento molto più stabile ed efficiente. La funzione di vantaggio (ritorno meno valore) è la scelta comune.

Metodi correlati

Fonti

  1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.

    Apri il riferimento DOI
    Copiato.
  2. Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.

    Apri il riferimento della pubblicazione
    Copiato.