Apprendimento per rinforzo
- Introdotto da
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- Anno
- 1950s–1998
- Tipo
- Sequential decision-making framework
- Famiglia
- Deep learning / NLP / CV
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'apprendimento per rinforzo (RL) è un quadro in cui un agente impara a prendere decisioni sequenziali interagendo con un ambiente, ricevendo segnali di ricompensa scalari e aggiornando una politica per massimizzare la ricompensa cumulativa futura.
A differenza dell'apprendimento supervisionato, non vengono forniti esempi etichettati; l'agente scopre il comportamento ottimale interamente attraverso l'esperienza e il feedback ritardato.
L’intuizione alla base del metodo
Immagina di addestrare un cane: non gli spieghi ogni azione; premi il comportamento corretto e lo lasci capire cosa fare. L'apprendimento per rinforzo funziona allo stesso modo. Un agente prova azioni in un ambiente, osserva cosa succede e riceve una ricompensa — positiva per i risultati desiderati, negativa per gli errori. Attraverso molte interazioni, impara quali azioni in quali situazioni tendono a portare alla massima ricompensa, costruendo una strategia — chiamata politica — senza bisogno di alcun set di dati pre-etichettato di risposte corrette.
Storia
L'apprendimento per rinforzo ha radici nella programmazione dinamica di Bellman (1957) e nella psicologia dell'apprendimento animale. Sutton e Barto hanno formalizzato il quadro moderno nel loro libro di testo del 1998, unificando l'apprendimento temporale differenziale, il Q-learning e i metodi del gradiente di politica. Il campo si è trasformato nel 2013-2015 quando DQN di DeepMind ha combinato CNN profonde con Q-learning per ottenere prestazioni a livello umano in Atari, lanciando il deep reinforcement learning come una direzione di ricerca importante. AlphaGo (2016) e il successivo lavoro RLHF sui modelli linguistici di grandi dimensioni hanno ulteriormente ampliato la portata dell'RL.
Quando usarlo
Utilizzare l'apprendimento per rinforzo quando il compito è il processo decisionale sequenziale con ricompense ritardate e nessun dato di addestramento etichettato: giochi, controllo robotico, pianificazione delle risorse, sequenziamento delle raccomandazioni o messa a punto di modelli linguistici con feedback umano (RLHF). L'RL è appropriato quando l'ambiente può essere simulato a basso costo e l'agente può interagire molte volte. NON utilizzare l'RL quando un approccio supervisionato o auto-supervisionato può risolvere il problema — l'RL è inefficiente in termini di campioni e instabile; quando la funzione di ricompensa è difficile da specificare; quando le interazioni con l'ambiente reale sono costose o pericolose senza un simulatore; o quando il set di dati è statico e fisso (utilizzare l'RL offline con cautela).
Limiti e considerazioni
- Estremamente inefficiente in termini di campioni: può richiedere milioni di interazioni con l'ambiente per convergere.
- L'addestramento è spesso instabile e sensibile agli iperparametri, alla modellazione della ricompensa e ai semi casuali.
- La progettazione della funzione di ricompensa è difficile; ricompense specificate in modo errato causano ottimizzazione involontaria (reward hacking).
- La generalizzazione a stati o ambienti non visti non è garantita.
- Il dispiegamento nel mondo reale è rischioso senza simulazione estesa; l'esplorazione può causare azioni pericolose.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Apprende direttamente dall'interazione senza dati etichettati, rendendolo applicabile dove l'annotazione è impossibile.
- Capace di scoprire strategie sovrumane in compiti sequenziali complessi (giochi, robotica, pianificazione).
- Modella naturalmente la pianificazione a lungo termine e l'assegnazione del credito temporale.
- Scala a spazi di stato ad alta dimensionalità (pixel, testo) se combinato con reti neurali profonde.
- RLHF consente di allineare modelli linguistici di grandi dimensioni con le preferenze umane.
Applicazioni
- Giochi e strategia: Atari, Go, scacchi, StarCraft a livelli sovrumani.
- Robotica: locomozione, manipolazione e controllo di mani destre.
- Allineamento di modelli linguistici di grandi dimensioni tramite Apprendimento per Rinforzo da Feedback Umano (RLHF).
- Pianificazione di risorse e reti, ottimizzazione del raffreddamento dei data center.
- Sistemi di raccomandazione personalizzati che modellano l'impegno a lungo termine dell'utente.
- Simulazione di guida autonoma e controllo dei segnali stradali.
Come funziona
Come funziona
Ad ogni passo temporale, l'agente osserva lo stato corrente dell'ambiente e sceglie un'azione secondo la sua politica attuale. L'ambiente transita a un nuovo stato ed emette una ricompensa scalare. Questo ciclo di osservazione-azione-ricompensa si ripete, generando una traiettoria di esperienza utilizzata per migliorare la politica.
L'obiettivo dell'agente è massimizzare la ricompensa cumulativa scontata G_t, che somma tutte le ricompense future pesate da un fattore di sconto gamma compreso tra 0 e 1. Un gamma vicino a 1 rende l'agente lungimirante; un gamma piccolo lo fa concentrare sulle ricompense immediate. Un'attenta modellazione della ricompensa è critica perché l'agente ottimizza qualsiasi segnale riceve.
Formula
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}La politica pi mappa gli stati alle azioni (o probabilità d'azione). Può essere rappresentata come una tabella di ricerca per piccoli problemi discreti, o come una rete neurale profonda — un agente di deep RL — per stati ad alta dimensionalità come immagini o testo. La politica è ciò che l'agente impara e, in ultima analisi, ciò che viene distribuito.
Formula
\pi(a \mid s) = P(A_t = a \mid S_t = s)
Le funzioni di valore stimano quanto sia buono uno stato (o una coppia stato-azione) sotto una data politica. Il valore di stato V(s) è la ricompensa cumulativa attesa a partire dallo stato s. Le funzioni di valore d'azione Q(s, a) estendono questo a specifiche azioni. Queste stime guidano il miglioramento della politica in metodi come Q-learning, SARSA e algoritmi attore-critico.
Formula
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]L'agente aggiorna la sua politica utilizzando l'esperienza raccolta. I metodi basati sul valore (es. DQN) derivano la politica implicitamente dai valori Q; i metodi basati sul gradiente di politica (es. REINFORCE, PPO) regolano direttamente i parametri della politica per aumentare la probabilità di traiettorie ad alta ricompensa. La maggior parte degli algoritmi moderni combina entrambi in architetture attore-critico.
Errori comuni
- Specificare una funzione di ricompensa facile da ottimizzare ma disallineata dall'obiettivo reale (reward hacking).
- Saltare un ambiente di simulazione ben calibrato e passare direttamente all'hardware reale, portando a costosi fallimenti.
- Scegliere l'RL quando un approccio di apprendimento supervisionato o per imitazione sarebbe molto più efficiente in termini di campioni.
- Ignorare la riproducibilità: i risultati dell'RL variano drasticamente tra i semi casuali; riportare sempre più esecuzioni.
- Trattare la curva di addestramento di una singola esecuzione come prova di convergenza senza episodi di valutazione tenuti da parte.
Domande frequenti
Cosa distingue l'apprendimento per rinforzo dall'apprendimento supervisionato?
L'apprendimento supervisionato richiede coppie input-output etichettate e apprende una mappatura fissa. L'RL non richiede etichette; invece, l'agente riceve segnali di ricompensa dopo le azioni e deve scoprire cosa fare attraverso tentativi ed errori, rendendolo adatto a problemi di decisione sequenziale in cui l'azione corretta non è nota in anticipo.
Qual è la differenza tra RL model-free e model-based?
L'RL model-free (es. DQN, PPO) apprende politiche o funzioni di valore direttamente dall'esperienza senza un modello esplicito delle dinamiche ambientali. L'RL model-based apprende o riceve un modello di transizione e lo utilizza per la pianificazione. I metodi model-based tendono ad essere più efficienti in termini di campioni ma richiedono un modello accurato, che può essere difficile da apprendere.
Come scelgo tra un metodo basato sul valore e uno basato sul gradiente di politica?
I metodi basati sul valore come DQN funzionano bene con spazi d'azione discreti e sono relativamente stabili. I metodi basati sul gradiente di politica (REINFORCE, PPO, SAC) gestiscono naturalmente spazi d'azione continui e possono apprendere politiche stocastiche. I metodi attore-critico combinano entrambi. Per la maggior parte delle applicazioni moderne, PPO o SAC sono punti di partenza sicuri.
Quante interazioni con l'ambiente richiede tipicamente l'RL?
L'RL è notoriamente affamato di campioni. Compiti tabulari semplici possono convergere in migliaia di passi; Atari DQN ha richiesto decine di milioni di frame; compiti robotici complessi possono richiedere centinaia di milioni di passi di simulazione. Questo rende essenziale un simulatore veloce e preclude l'RL per molti problemi del mondo reale con interazioni costose.
Cos'è RLHF e perché è importante?
L'Apprendimento per Rinforzo da Feedback Umano addestra un modello di ricompensa da confronti di preferenze umane e poi mette a punto un modello linguistico con RL per massimizzare quella ricompensa appresa. È la tecnica dominante per allineare modelli linguistici di grandi dimensioni con i valori umani ed è centrale per modelli come InstructGPT e Claude.
Metodi correlati
Fonti
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6Copiato.Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
Apri il riferimento DOICopiato.