Skip to content
Torna ai risultati

Few-shot Learning

Introdotto da
Lake, B. M.; Vinyals, O.; Finn, C. et al.
Anno
2011–2017
Tipo
Meta-learning / low-data learning paradigm
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il few-shot learning è un paradigma di machine learning che addestra modelli a riconoscere nuove classi o risolvere nuovi compiti da solo una manciata di esempi etichettati — tipicamente da uno a cinque — sfruttando la conoscenza pregressa acquisita da una distribuzione di addestramento ampia e correlata.

È particolarmente rilevante in domini in cui l'etichettatura è costosa, scarsa o strutturalmente limitata.

L’intuizione alla base del metodo

Gli esseri umani possono identificare in modo affidabile una nuova specie di uccello da una singola fotografia, perché possiedono già una ricca conoscenza visiva derivante da anni di esperienza. Il few-shot learning tenta di replicare computazionalmente questa capacità: un modello viene prima esposto a molti compiti diversi in modo che impari a imparare rapidamente, quindi al momento dell'inferenza si adatta a un compito completamente nuovo utilizzando solo un minuscolo set di supporto etichettato. L'intuizione chiave è che la rappresentazione e la strategia di adattamento corrette possano sostituire il grande set di dati etichettati richiesto dall'apprendimento supervisionato standard.

Storia

Il few-shot learning ha guadagnato attenzione formale intorno al 2011 quando Lake et al. hanno dimostrato un apprendimento one-shot a livello umano di caratteri manoscritti utilizzando un modello di induzione di programmi bayesiano gerarchico. Il campo ha accelerato dopo il 2016 con approcci di deep metric learning — Matching Networks di Vinyals et al. e Prototypical Networks di Snell et al. — seguiti dal model-agnostic meta-learning (MAML) di Finn et al. nel 2017, che ha unificato il paradigma sotto l'adattamento rapido basato su gradiente. I grandi modelli pre-addestrati hanno da allora reso il few-shot learning una capacità standard nei moderni sistemi NLP e di visione.

Quando usarlo

Utilizzare il few-shot learning quando i dati etichettati per un compito target sono genuinamente scarsi — meno di circa 10-20 esempi per classe — ma è disponibile un ampio set di dati correlato per il pre-addestramento o il meta-addestramento. Casi d'uso tipici includono la classificazione di malattie rare, il riconoscimento di specie in via di estinzione, compiti linguistici a basse risorse e la personalizzazione per utenti cold-start. Non usarlo come sostituto della raccolta di più dati etichettati quando l'etichettatura è fattibile; con etichette sufficienti, l'apprendimento supervisionato completo o il transfer learning fine-tuned supereranno quasi sempre i metodi few-shot. Evitarlo anche se la distribuzione di meta-addestramento è molto diversa dal dominio target, poiché ciò invalida il prior appreso.

Limiti e considerazioni

  • Richiede un set di meta-addestramento ampio e diversificato; le prestazioni degradano rapidamente quando le distribuzioni di meta-addestramento e target divergono significativamente.
  • I metodi basati su ottimizzazione (es. MAML) sono computazionalmente intensivi durante il meta-addestramento a causa dei gradienti di secondo ordine.
  • L'accuratezza di benchmark su dataset standard (miniImageNet, Omniglot) può sovrastimare le prestazioni nel mondo reale se il dominio di test differisce.
  • La scelta dell'architettura giusta, del backbone di embedding e della strategia di campionamento degli episodi comporta decisioni non banali sugli iperparametri.
  • Con più di circa 20 esempi etichettati per classe, il transfer learning standard o il fine-tuning offrono tipicamente una migliore accuratezza con minore complessità.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Permette l'apprendimento pratico da uno a cinque esempi etichettati per classe, riducendo drasticamente il costo di annotazione.
  • L'addestramento episodico prepara esplicitamente il modello allo scenario di deployment con pochi dati che affronterà.
  • Le varianti basate su metriche (Prototypical Networks, Matching Networks) sono computazionalmente leggere all'inferenza — non sono richiesti passi di gradiente.
  • Ampiamente applicabile a compiti di visione, NLP, audio e dati strutturati.
  • Si integra naturalmente con grandi modelli pre-addestrati, permettendo di sfruttare potenti prior senza un fine-tuning completo.

Applicazioni

  • Classificazione di malattie rare o anomalie nell'imaging medico dove i casi annotati sono intrinsecamente scarsi.
  • Compiti di elaborazione del linguaggio naturale a basse risorse come il rilevamento di intenti in nuove lingue o domini.
  • Personalizzazione cold-start nei sistemi di raccomandazione quando un nuovo utente ha pochissime interazioni.
  • Riconoscimento di specie in via di estinzione o riconoscimento fine-grained delle specie nel monitoraggio dell'ecologia e della biodiversità.
  • Rilevamento di difetti industriali quando solo una manciata di campioni difettosi è disponibile per l'addestramento.
  • Prototipazione rapida di nuovi compiti di classificazione nella robotica e nell'apprendimento automatico interattivo.

Come funziona

Come funziona

1

L'addestramento è organizzato in episodi, ognuno dei quali simula uno scenario few-shot. In ogni episodio viene campionato un piccolo insieme di classi dal pool di addestramento, e il modello deve imparare a distinguerle. Questo addestramento episodico assicura che la conoscenza pregressa del modello sia strutturata per un rapido adattamento piuttosto che per la memorizzazione mnemonica di classi specifiche.

2

Ogni episodio divide i suoi esempi in un set di supporto (i pochi esempi etichettati che il modello può utilizzare) e un set di query (esempi tenuti fuori usati per misurare quanto bene il modello si è generalizzato). Un compito k-shot, n-way fornisce k esempi etichettati per ciascuna di n classi nuove. Questa struttura rispecchia lo scenario di deployment durante l'addestramento.

3

Il modello apprende una funzione di embedding — tipicamente una rete neurale profonda — che mappa gli input in uno spazio di caratteristiche dove gli esempi della stessa classe si raggruppano e gli esempi di classi diverse sono separati. La qualità di questa rappresentazione condivisa è il principale determinante dell'accuratezza few-shot downstream.

4

Al momento del test, il modello calcola le similarità tra gli embedding delle query e gli embedding di supporto (metodi basati su metriche come Matching Networks o Prototypical Networks) o esegue un piccolo numero di passi di gradiente per adattare i suoi parametri al set di supporto (metodi basati su ottimizzazione come MAML). Entrambe le strategie sfruttano la rappresentazione appresa senza riaddestrare da zero.

5

La loss sul set di query viene utilizzata per aggiornare i parametri del meta-learner attraverso gli episodi, in modo che la rappresentazione e la strategia di adattamento migliorino globalmente. Al momento del deployment, il modello finale si adatta a qualsiasi nuovo set di supporto in pochi secondi, effettuando previsioni su esempi di query non visti senza ulteriore ottimizzazione.

Errori comuni

  • Confusione tra few-shot learning e zero-shot learning: il few-shot richiede almeno un esempio etichettato per classe nuova al momento del test.
  • Valutazione su classi di test viste durante il meta-addestramento, gonfiando l'accuratezza riportata.
  • Ignorare il divario di dominio: un modello meta-addestrato su ImageNet non generalizzerà automaticamente all'istologia medica senza adattamento del dominio.
  • Utilizzare una loss supervisionata standard senza addestramento episodico e aspettarsi generalizzazione few-shot.
  • Riportare solo l'accuratezza top-1 senza intervalli di confidenza su più estrazioni di episodi, il che maschera la varianza nei risultati few-shot.

Domande frequenti

Qual è la differenza tra few-shot learning e transfer learning?

Il transfer learning affina un modello pre-addestrato su un nuovo compito e beneficia tipicamente da decine a migliaia di esempi etichettati. Il few-shot learning è specificamente progettato per adattarsi con solo uno o cinque esempi per classe, utilizzando il meta-addestramento episodico in modo che il modello impari a generalizzare rapidamente piuttosto che ad adattarsi a un dominio specifico.

Cosa significa k-shot n-way?

Descrive la struttura dell'episodio: n-way significa che vengono presentate contemporaneamente n classi nuove, e k-shot significa che vengono forniti k esempi etichettati per classe. Un compito 5-way 1-shot chiede al modello di classificare immagini di query in una di cinque categorie dato un solo esempio etichettato per ciascuna.

Ho bisogno di una GPU per eseguire il few-shot learning?

Il meta-addestramento — specialmente metodi basati su ottimizzazione come MAML — richiede una notevole potenza di calcolo ed è tipicamente eseguito su GPU. Tuttavia, l'inferenza basata su metriche (confronto tra embedding di query e prototipi di supporto) è economica e può essere eseguita su CPU in produzione una volta che il backbone è pre-addestrato.

Quanti compiti di meta-addestramento sono necessari?

Dipende dalla diversità piuttosto che dal conteggio assoluto. Poche migliaia di compiti campionati episodicamente da un pool di classi vario costituiscono una baseline comune. Ciò che conta di più è che le classi di meta-addestramento siano numerose e sufficientemente diverse da generalizzare a classi target non viste.

Il few-shot learning è la stessa cosa dello zero-shot learning?

No. Lo zero-shot learning non richiede esempi etichettati di classi nuove al momento del test, affidandosi interamente a descrittori semantici di classe o attributi. Il few-shot learning fornisce sempre almeno un esempio etichettato per classe nuova nel set di supporto.

Metodi correlati

Fonti

  1. Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.

    Apri il riferimento della pubblicazione
    Copiato.