Rete Generativa Avversaria
- Introdotto da
- Goodfellow, I. et al.
- Anno
- 2014
- Tipo
- Generative deep learning (adversarial two-network game)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Una Rete Generativa Avversaria (GAN), introdotta da Ian Goodfellow e colleghi nel 2014, produce dati sintetici realistici attraverso la competizione di due reti neurali: un generatore e un discriminatore.
È ampiamente utilizzata per la sintesi di immagini, l'aumento dei dati e la stima della distribuzione.
L’intuizione alla base del metodo
Pensate a un falsario e a un detective chiusi in una competizione. Il generatore (falsario) cerca di produrre campioni falsi abbastanza convincenti da passare per reali, mentre il discriminatore (detective) cerca di distinguere i dati reali dai falsi. Man mano che ciascuno migliora nel proprio compito, il generatore è costretto a produrre output sempre più realistici fino a quando i suoi falsi diventano difficili da distinguere dai dati originali.
Storia
La Rete Generativa Avversaria è stata introdotta da Ian Goodfellow e colleghi nel 2014, inquadrando la generazione come un gioco a due giocatori tra un generatore e un discriminatore. L'idea ha generato una vasta famiglia di varianti per la sintesi e la traduzione di immagini. Karras e colleghi (2020) hanno migliorato sostanzialmente la qualità delle immagini con StyleGAN, analizzando e migliorando la sua fedeltà generativa. Più recentemente, i modelli di diffusione sono emersi come un'alternativa leader per la generazione di alta qualità.
Quando usarlo
Utilizzare una GAN quando è necessario generare campioni sintetici realistici — sintesi di immagini, aumento dei dati o stima della distribuzione — da dati continui ad alta dimensionalità come immagini o audio, e si dispone di un set di dati sufficientemente ampio (circa 500 osservazioni come minimo, con 1000 o più fortemente preferite). Non presuppone dati distribuiti normalmente, ma richiede risorse GPU e l'equilibrio generatore-discriminatore deve essere monitorato per il collasso di modo. Su set di dati piccoli, l'equilibrio avversario non può essere stabilito; un autoencoder variazionale o un approccio più semplice di aumento dei dati è più sicuro.
Limiti e considerazioni
- L'addestramento è instabile e incline al collasso di modo, dove il generatore copre solo una parte della distribuzione dei dati.
- Richiede una GPU e dati di addestramento sostanziali — tipicamente un minimo di 500 osservazioni e in pratica 1000 o più.
- Al di sotto di circa 1000 campioni, l'equilibrio generatore-discriminatore non può essere stabilito e il rischio di collasso di modo diventa molto elevato.
- Al di sotto di circa 500 campioni, il modello non può produrre dati realistici affatto, e le alternative di aumento sono preferibili.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Produce dati sintetici altamente realistici, incluse immagini e audio.
- Non richiede dati distribuiti normalmente e gestisce input continui ad alta dimensionalità.
- Utile per l'aumento dei dati quando i campioni etichettati reali sono scarsi.
- Adatto sia per scopi predittivi che di stima esplorativa della distribuzione.
Applicazioni
- Sintesi di immagini e generazione di contenuti visivi realistici.
- Aumento dei dati per espandere set di dati di addestramento scarsi.
- Stima della distribuzione per dati continui ad alta dimensionalità.
- Sintesi audio e di segnali.
Come funziona
Come funziona
Vengono impostate due reti con obiettivi opposti. Il generatore mappa rumore casuale in campioni sintetici, con l'obiettivo di imitare la distribuzione dei dati reali. Il discriminatore riceve sia campioni reali che generati e impara a classificare quale sia quale. Poiché i dati sono tipicamente ad alta dimensionalità (immagini, audio), l'addestramento richiede solitamente una GPU.
Le due reti vengono addestrate insieme come un gioco minimax: il discriminatore viene aggiornato per massimizzare la sua capacità di separare il reale dal falso, mentre il generatore viene aggiornato per minimizzare il successo del discriminatore, ovvero per ingannarlo. L'obiettivo condiviso accoppia entrambe le reti, quindi il miglioramento di una mette pressione sull'altra.
Formula
\min_G \max_D \; \mathbb{E}_{x}[\log D(x)] + \mathbb{E}_{z}[\log(1 - D(G(z)))]L'addestramento continua fino a quando non si avvicina un equilibrio in cui i campioni del generatore assomigliano abbastanza alla distribuzione reale da non poter più essere distinti in modo affidabile dal discriminatore. L'equilibrio tra le due reti deve essere monitorato attentamente, poiché l'instabilità può causare il collasso di modo, in cui il generatore produce solo una ristretta porzione delle possibili uscite.
Errori comuni
- Addestramento su dati insufficienti, in modo che l'equilibrio avversario fallisca e segua il collasso di modo.
- Non monitorare il collasso di modo e presumere un output vario senza controllare la diversità dei campioni.
- Tentare di addestrare senza risorse GPU per dati di immagini o audio ad alta dimensionalità.
- Ricorrere a una GAN su un set di dati piccolo dove un autoencoder variazionale o un semplice aumento sarebbe più affidabile.
Domande frequenti
Cos'è il collasso di modo?
Il collasso di modo si verifica quando il generatore impara a produrre solo una ristretta gamma di output che ingannano in modo affidabile il discriminatore, invece di coprire l'intera varietà dei dati reali. È una modalità di fallimento centrale dell'addestramento GAN, specialmente su set di dati piccoli, e la diversità dei campioni dovrebbe essere monitorata durante tutto l'addestramento.
Quanti dati sono necessari?
Una GAN necessita di un set di dati sostanziale: circa 500 osservazioni è un minimo pratico, ma al di sotto di circa 1000 l'equilibrio generatore-discriminatore è difficile da stabilire e il rischio di collasso di modo è elevato. Con pochissimi dati, un autoencoder variazionale o un metodo di aumento più semplice è la scelta più sicura.
È necessaria una GPU?
In pratica sì. Le GAN operano su dati ad alta dimensionalità come immagini e audio, e l'addestramento delle due reti in competizione è computazionalmente intensivo, quindi una GPU è effettivamente richiesta.
In cosa differisce una GAN da un modello di diffusione?
Una GAN genera attraverso la competizione avversaria di due reti, il che rende l'addestramento veloce ma instabile. I modelli di diffusione, invece, imparano a invertire un processo di aggiunta di rumore passo dopo passo e sono diventati una forte alternativa per la generazione di alta qualità.
Metodi correlati
Fonti
Goodfellow, I. et al. (2014). Generative Adversarial Nets. NeurIPS.
Apri il riferimento della pubblicazioneCopiato.Karras, T. et al. (2020). Analyzing and Improving the Image Quality of StyleGAN. CVPR.
Apri il riferimento DOICopiato.