Apprendimento per Rinforzo Profondo
- Introdotto da
- Mnih, V. et al. (DQN)
- Anno
- 2015
- Tipo
- Sequential decision-making (agent–environment interaction)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'Apprendimento per Rinforzo Profondo (Deep Reinforcement Learning) combina le reti neurali con l'apprendimento per rinforzo, permettendo a un agente di imparare interagendo con un ambiente.
È stato reso popolare dal lavoro del 2015 su Nature di Mnih e colleghi sul controllo di Atari a livello umano. Invece di imparare da un dataset etichettato fisso, l'agente compie azioni, osserva le ricompense e modella gradualmente una politica che massimizza il ritorno a lungo termine.
L’intuizione alla base del metodo
Immaginate di imparare a giocare senza un manuale di regole: provate delle mosse, vedete il vostro punteggio cambiare e lentamente capite quali azioni ripagano in seguito. Il Deep RL automatizza esattamente questo ciclo di prova ed errore. Una rete neurale stima la bontà delle situazioni e delle azioni, e l'agente mantiene le scelte che ottengono più ricompense nel tempo — anche quando il guadagno arriva molti passi dopo la decisione.
Storia
Il Deep Reinforcement Learning ha guadagnato importanza con l'articolo su Nature del 2015 di Mnih e colleghi, in cui una deep Q-network ha raggiunto il controllo a livello umano in molti giochi Atari direttamente dai pixel. Sono seguiti progressi nel gradiente di politica, inclusi A3C e il Proximal Policy Optimization (PPO) del 2017 di Schulman e colleghi, che è diventato un default ampiamente utilizzato e più stabile. Insieme, DQN, PPO e A3C costituiscono il moderno toolkit di Deep RL utilizzato nei giochi, nella robotica e oltre.
Quando usarlo
Utilizzare l'Apprendimento per Rinforzo Profondo per problemi di decisione sequenziale e controllo — giochi, controllo di robot, ottimizzazione delle raccomandazioni, supporto decisionale clinico — dove un agente può interagire con un simulatore o un ambiente dal vivo e un segnale di ricompensa può essere definito. Gestisce variabili continue e categoriche, non assume normalità, ma si aspetta una funzione di ricompensa progettata e dati di interazione sostanziali (almeno circa 1000 episodi). Con molte meno interazioni la politica non convergerà, e un modello supervisionato come Random Forest o XGBoost è una scelta più sicura.
Limiti e considerazioni
- Richiede un simulatore o un ambiente di interazione e una funzione di ricompensa attentamente progettata.
- Affamato di dati: necessita di un gran numero di interazioni (circa 1000+) ed è raccomandata una GPU.
- Sotto circa 1000 interazioni la politica non converge; sotto ~500 non può produrre una politica decisionale affidabile.
- L'addestramento può essere instabile e sensibile agli iperparametri e alla modellazione della ricompensa (reward shaping).
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Apprende politiche di controllo e decisione sequenziale direttamente dall'interazione, senza esempi etichettati.
- L'approssimazione di funzione neurale si adatta a spazi di stato e azione molto ampi.
- Flessibile in diversi domini — giochi, robotica, raccomandazione, supporto decisionale clinico.
- Nessuna assunzione di normalità; funziona con input continui e categorici e molte strutture di dati.
Applicazioni
- Gioco e controllo di agenti (ad esempio Atari e giochi da tavolo).
- Controllo di robot e compiti di controllo continuo.
- Problemi di raccomandazione e ottimizzazione sequenziale.
- Supporto decisionale clinico inquadrato come decisione sequenziale.
Come funziona
Come funziona
L'agente osserva lo stato attuale di un ambiente (un gioco, un simulatore, un robot, un contesto di raccomandazione), sceglie un'azione e riceve una ricompensa più lo stato successivo. È richiesto un simulatore o un ambiente di interazione dal vivo, e la funzione di ricompensa deve essere progettata deliberatamente perché definisce cosa significa 'buon comportamento'. Ogni interazione si aggiunge all'esperienza da cui l'agente impara.
Una rete neurale approssima il valore degli stati e delle azioni — per esempio, una deep Q-network stima il ritorno futuro atteso di ogni azione, mentre i metodi basati sul gradiente di politica come PPO e A3C parametrizzano direttamente la politica. Questo è ciò che rende il metodo 'profondo': la rete generalizza attraverso vasti spazi di stato che una tabella di lookup non potrebbe mai coprire.
Formula
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]Utilizzando le ricompense raccolte tramite l'interazione, la rete viene aggiornata per favorire le azioni che portano a un ritorno cumulativo scontato più elevato, migliorando costantemente la politica verso una che massimizza la ricompensa a lungo termine. Poiché l'apprendimento è guidato dall'esperienza, sono necessarie grandi quantità di dati di interazione (il registro raccomanda almeno circa 1000 episodi/interazioni) e idealmente una GPU affinché la politica converga.
Formula
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]Errori comuni
- Applicare il Deep RL a un piccolo dataset dove la politica non può convergere invece di usare un modello supervisionato.
- Progettare una funzione di ricompensa mal specificata che l'agente sfrutta in modi non intenzionali.
- Saltare un simulatore/ambiente di interazione e cercare di imparare da una tabella statica di registrazioni.
- Ignorare le diagnostiche di convergenza e fidarsi di una politica poco addestrata e con alta varianza.
- Sottostimare le esigenze computazionali e eseguire senza una GPU su troppo pochi episodi.
Domande frequenti
Quanti dati richiede il Deep RL?
È affamato di dati. Il registro raccomanda almeno circa 1000 interazioni/episodi affinché la politica converga; sotto circa 500 interazioni DQN/PPO non possono produrre una politica decisionale affidabile, e un modello supervisionato è preferibile.
Qual è la differenza tra DQN, PPO e A3C?
DQN apprende una funzione di valore (il ritorno atteso di ogni azione) e agisce in modo goloso rispetto ad essa. PPO e A3C sono metodi basati sul gradiente di politica che ottimizzano direttamente la politica; PPO in particolare è apprezzato per la sua stabilità di addestramento.
Ho bisogno di un simulatore?
Sì. Il Deep RL impara dall'interazione, quindi è richiesto un simulatore o un ambiente di interazione dal vivo, insieme a una funzione di ricompensa deliberatamente progettata che codifica l'obiettivo.
Ho bisogno di una GPU?
È raccomandata una GPU. Il Deep RL addestra reti neurali su un numero molto elevato di interazioni, quindi senza una potenza di calcolo adeguata l'addestramento è lento e la convergenza è difficile da raggiungere.
Metodi correlati
Fonti
Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.
Apri il riferimento DOICopiato.Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
Apri il riferimento della pubblicazioneCopiato.