Skip to content
Torna ai risultati

Apprendimento per Rinforzo Profondo

Introdotto da
Mnih, V. et al. (DQN)
Anno
2015
Tipo
Sequential decision-making (agent–environment interaction)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'Apprendimento per Rinforzo Profondo (Deep Reinforcement Learning) combina le reti neurali con l'apprendimento per rinforzo, permettendo a un agente di imparare interagendo con un ambiente.

È stato reso popolare dal lavoro del 2015 su Nature di Mnih e colleghi sul controllo di Atari a livello umano. Invece di imparare da un dataset etichettato fisso, l'agente compie azioni, osserva le ricompense e modella gradualmente una politica che massimizza il ritorno a lungo termine.

L’intuizione alla base del metodo

Immaginate di imparare a giocare senza un manuale di regole: provate delle mosse, vedete il vostro punteggio cambiare e lentamente capite quali azioni ripagano in seguito. Il Deep RL automatizza esattamente questo ciclo di prova ed errore. Una rete neurale stima la bontà delle situazioni e delle azioni, e l'agente mantiene le scelte che ottengono più ricompense nel tempo — anche quando il guadagno arriva molti passi dopo la decisione.

Storia

Il Deep Reinforcement Learning ha guadagnato importanza con l'articolo su Nature del 2015 di Mnih e colleghi, in cui una deep Q-network ha raggiunto il controllo a livello umano in molti giochi Atari direttamente dai pixel. Sono seguiti progressi nel gradiente di politica, inclusi A3C e il Proximal Policy Optimization (PPO) del 2017 di Schulman e colleghi, che è diventato un default ampiamente utilizzato e più stabile. Insieme, DQN, PPO e A3C costituiscono il moderno toolkit di Deep RL utilizzato nei giochi, nella robotica e oltre.

Quando usarlo

Utilizzare l'Apprendimento per Rinforzo Profondo per problemi di decisione sequenziale e controllo — giochi, controllo di robot, ottimizzazione delle raccomandazioni, supporto decisionale clinico — dove un agente può interagire con un simulatore o un ambiente dal vivo e un segnale di ricompensa può essere definito. Gestisce variabili continue e categoriche, non assume normalità, ma si aspetta una funzione di ricompensa progettata e dati di interazione sostanziali (almeno circa 1000 episodi). Con molte meno interazioni la politica non convergerà, e un modello supervisionato come Random Forest o XGBoost è una scelta più sicura.

Limiti e considerazioni

  • Richiede un simulatore o un ambiente di interazione e una funzione di ricompensa attentamente progettata.
  • Affamato di dati: necessita di un gran numero di interazioni (circa 1000+) ed è raccomandata una GPU.
  • Sotto circa 1000 interazioni la politica non converge; sotto ~500 non può produrre una politica decisionale affidabile.
  • L'addestramento può essere instabile e sensibile agli iperparametri e alla modellazione della ricompensa (reward shaping).

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Apprende politiche di controllo e decisione sequenziale direttamente dall'interazione, senza esempi etichettati.
  • L'approssimazione di funzione neurale si adatta a spazi di stato e azione molto ampi.
  • Flessibile in diversi domini — giochi, robotica, raccomandazione, supporto decisionale clinico.
  • Nessuna assunzione di normalità; funziona con input continui e categorici e molte strutture di dati.

Applicazioni

  • Gioco e controllo di agenti (ad esempio Atari e giochi da tavolo).
  • Controllo di robot e compiti di controllo continuo.
  • Problemi di raccomandazione e ottimizzazione sequenziale.
  • Supporto decisionale clinico inquadrato come decisione sequenziale.

Come funziona

Come funziona

1

L'agente osserva lo stato attuale di un ambiente (un gioco, un simulatore, un robot, un contesto di raccomandazione), sceglie un'azione e riceve una ricompensa più lo stato successivo. È richiesto un simulatore o un ambiente di interazione dal vivo, e la funzione di ricompensa deve essere progettata deliberatamente perché definisce cosa significa 'buon comportamento'. Ogni interazione si aggiunge all'esperienza da cui l'agente impara.

2

Una rete neurale approssima il valore degli stati e delle azioni — per esempio, una deep Q-network stima il ritorno futuro atteso di ogni azione, mentre i metodi basati sul gradiente di politica come PPO e A3C parametrizzano direttamente la politica. Questo è ciò che rende il metodo 'profondo': la rete generalizza attraverso vasti spazi di stato che una tabella di lookup non potrebbe mai coprire.

Formula
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]
3

Utilizzando le ricompense raccolte tramite l'interazione, la rete viene aggiornata per favorire le azioni che portano a un ritorno cumulativo scontato più elevato, migliorando costantemente la politica verso una che massimizza la ricompensa a lungo termine. Poiché l'apprendimento è guidato dall'esperienza, sono necessarie grandi quantità di dati di interazione (il registro raccomanda almeno circa 1000 episodi/interazioni) e idealmente una GPU affinché la politica converga.

Formula
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]

Errori comuni

  • Applicare il Deep RL a un piccolo dataset dove la politica non può convergere invece di usare un modello supervisionato.
  • Progettare una funzione di ricompensa mal specificata che l'agente sfrutta in modi non intenzionali.
  • Saltare un simulatore/ambiente di interazione e cercare di imparare da una tabella statica di registrazioni.
  • Ignorare le diagnostiche di convergenza e fidarsi di una politica poco addestrata e con alta varianza.
  • Sottostimare le esigenze computazionali e eseguire senza una GPU su troppo pochi episodi.

Domande frequenti

Quanti dati richiede il Deep RL?

È affamato di dati. Il registro raccomanda almeno circa 1000 interazioni/episodi affinché la politica converga; sotto circa 500 interazioni DQN/PPO non possono produrre una politica decisionale affidabile, e un modello supervisionato è preferibile.

Qual è la differenza tra DQN, PPO e A3C?

DQN apprende una funzione di valore (il ritorno atteso di ogni azione) e agisce in modo goloso rispetto ad essa. PPO e A3C sono metodi basati sul gradiente di politica che ottimizzano direttamente la politica; PPO in particolare è apprezzato per la sua stabilità di addestramento.

Ho bisogno di un simulatore?

Sì. Il Deep RL impara dall'interazione, quindi è richiesto un simulatore o un ambiente di interazione dal vivo, insieme a una funzione di ricompensa deliberatamente progettata che codifica l'obiettivo.

Ho bisogno di una GPU?

È raccomandata una GPU. Il Deep RL addestra reti neurali su un numero molto elevato di interazioni, quindi senza una potenza di calcolo adeguata l'addestramento è lento e la convergenza è difficile da raggiungere.

Metodi correlati

Fonti

  1. Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.

    Apri il riferimento DOI
    Copiato.
  2. Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.

    Apri il riferimento della pubblicazione
    Copiato.