Ricerca Architetturale Neurale
- Introdotto da
- Zoph, B. & Le, Q.V.
- Anno
- 2017
- Tipo
- Automated architecture optimization (deep learning)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La Ricerca Architetturale Neurale (NAS), introdotta da Zoph e Le nel 2017, ottimizza automaticamente decisioni architetturali come la profondità, la larghezza e la struttura di connessione di una rete, anziché progettarle manualmente.
I metodi leader nel campo includono DARTS, ENAS e Once-for-All.
L’intuizione alla base del metodo
Progettare una rete profonda manualmente significa indovinare quante reti impilare, quanto larghe dovrebbero essere e come dovrebbero connettersi — un lento mestiere per tentativi ed errori. La NAS trasforma questo mestiere in un problema di ricerca: un computer esplora uno spazio definito di architetture candidate, le valuta e converge su un progetto che funziona bene, in modo che l'architettura venga scoperta piuttosto che indovinata.
Storia
La Ricerca Architetturale Neurale è stata introdotta da Barret Zoph e Quoc V. Le nel 2017, che hanno utilizzato l'apprendimento per rinforzo per far proporre architetture di rete da un controller. L'alto costo di quell'approccio ha guidato un'ondata di metodi più efficienti: ENAS ha introdotto la condivisione dei pesi tra i candidati, DARTS (Liu et al., 2019) ha reso la ricerca differenziabile in modo che potesse essere ottimizzata dalla discesa del gradiente, e Once-for-All ha addestrato una singola super-rete da cui potevano essere estratte reti specializzate. Insieme, questi progressi hanno trasformato la NAS da una curiosità di ricerca che richiedeva un'enorme computazione in uno strumento più pratico per la progettazione automatica di modelli.
Quando usarlo
Utilizzare la NAS quando è necessario progettare una rete profonda ad alte prestazioni per la predizione o la classificazione su dati continui o testuali, si dispone di un ampio dataset (circa 1000 osservazioni o più), lo spazio di ricerca è ben definito e è disponibile un ampio budget computazionale con risorse GPU/TPU. Con piccoli campioni lo spazio di ricerca non può essere valutato in modo affidabile e le architetture candidate vanno in overfitting; al di sotto di circa 1000 osservazioni una Random Forest è una scelta più sicura, e al di sotto di 500 un modello standard come il gradient boosting è preferibile.
Limiti e considerazioni
- Richiede un ampio budget computazionale e spesso un cluster GPU/TPU.
- Necessita di un ampio dataset (circa 1000+ osservazioni) per valutare i candidati in modo affidabile.
- La qualità dipende fortemente da uno spazio di ricerca ben definito, che richiede a sua volta competenza.
- Su dati piccoli, le architetture candidate vanno in overfitting e la ricerca diventa inaffidabile.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Automatizza la progettazione architetturale, eliminando la lenta prova ed errore manuale.
- Può scoprire reti che superano i progetti realizzati manualmente nel compito target.
- Poche assunzioni sui dati: nessun requisito di normalità; gestisce input continui e testuali.
- Flessibile tra compiti e strutture dati una volta specificato lo spazio di ricerca.
- Varianti di condivisione dei pesi e super-rete (ENAS, Once-for-All) riducono drasticamente il costo della ricerca.
Applicazioni
- Progettare automaticamente reti di classificazione di immagini ad alte prestazioni.
- Ottimizzare architetture per compiti di predizione su dati tabulari o sequenziali di grandi dimensioni.
- Ricercare sotto-reti efficienti su misura per budget hardware (es. mobile o edge).
- Progettazione automatica di modelli dove la messa a punto manuale dell'architettura è impraticabile.
Come funziona
Come funziona
Innanzitutto, viene definito uno spazio di ricerca — l'insieme di scelte architetturali che la procedura è autorizzata a considerare, come il numero di reti, la larghezza di ciascuna rete, le operazioni candidate e come i blocchi possono connettersi. Uno spazio di ricerca ben definito è essenziale: se è troppo stretto esclude buoni progetti, e se è troppo ampio la ricerca diventa intrattabile.
Una strategia di ricerca esplora quindi questo spazio per trovare un'architettura robusta. Le prime NAS utilizzavano l'apprendimento per rinforzo per proporre architetture (Zoph e Le), mentre DARTS ha reso la ricerca differenziabile rilassando le scelte discrete in pesi continui, in modo che la discesa del gradiente possa ottimizzare i parametri architetturali rispetto alla perdita di validazione. Questa fase richiede molta computazione e tipicamente necessita di un cluster GPU o TPU e un ampio budget computazionale.
Formula
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)Ogni architettura candidata viene addestrata e valutata sui dati, e il progetto con le migliori prestazioni viene selezionato e addestrato fino al completamento. Poiché la valutazione di molti candidati è costosa, metodi come ENAS condividono i pesi tra i candidati e Once-for-All addestra una singola super-rete da cui possono essere estratte molte sotto-architetture, riducendo drasticamente il costo della ricerca.
Errori comuni
- Eseguire la NAS su un dataset piccolo, dove i candidati vanno in overfitting e le classifiche non hanno significato.
- Definire uno spazio di ricerca troppo ampio da esplorare o troppo stretto per contenere buoni progetti.
- Sottovalutare il costo computazionale e interrompere la ricerca prima che converga.
- Selezionare un'architettura su uno split di validazione e non riaddestrarla e testarla in modo pulito.
- Ricorrere alla NAS quando un modello standard sarebbe già sufficiente per il problema.
Domande frequenti
In che modo la NAS differisce dalla messa a punto degli iperparametri?
La messa a punto degli iperparametri regola le impostazioni di un'architettura fissa, come il tasso di apprendimento o il numero di alberi. La NAS cerca nell'architettura stessa — il numero e la larghezza delle reti, le operazioni e come si connettono — scoprendo la struttura della rete piuttosto che semplicemente ottimizzarne una scelta.
Perché la NAS è così computazionalmente costosa?
La NAS naive addestra e valuta molte architetture candidate, ognuna delle quali è una rete profonda completa. Questo tipicamente richiede un cluster GPU o TPU e un ampio budget. Metodi come ENAS (condivisione dei pesi) e Once-for-All (una singola super-rete) sono stati sviluppati specificamente per ridurre questo costo.
Quanti dati sono necessari per la NAS?
La NAS si aspetta un dataset ampio, circa 1000 osservazioni o più. Con meno di circa 1000, lo spazio di ricerca non può essere valutato in modo affidabile e i candidati vanno in overfitting, quindi una Random Forest è più sicura; al di sotto di 500 è preferibile un modello standard come il gradient boosting.
Cosa contribuisce DARTS?
DARTS rende la ricerca differenziabile rilassando la scelta discreta delle operazioni in pesi continui, in modo che l'architettura possa essere ottimizzata con la discesa del gradiente anziché con l'apprendimento per rinforzo. Questo ha reso la ricerca architetturale molto più veloce dell'approccio originale basato sull'apprendimento per rinforzo.
Metodi correlati
Fonti
Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.
Apri il riferimento della pubblicazioneCopiato.Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.
Apri il riferimento della pubblicazioneCopiato.