Skip to content
Torna ai risultati

Apprendimento per trasferimento

Introdotto da
Pan, S. J. & Yang, Q. (survey); Bengio, Y. (deep learning framing)
Anno
2010 (formalized); 1990s (early roots)
Tipo
Learning paradigm
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'apprendimento per trasferimento è un paradigma di machine learning in cui la conoscenza acquisita dall'addestramento di un modello su un compito o dominio sorgente viene riutilizzata per migliorare l'apprendimento su un compito o dominio diverso ma correlato.

È particolarmente potente quando i dati etichettati per il compito target sono scarsi e costituisce la base della maggior parte delle moderne applicazioni di deep learning nella computer vision, nell'elaborazione del linguaggio naturale e oltre.

L’intuizione alla base del metodo

Immagina di imparare ad andare in bicicletta e poi di applicare quella conoscenza di equilibrio e coordinazione all'apprendimento di come guidare una motocicletta: non parti da zero. L'apprendimento per trasferimento funziona allo stesso modo: un modello addestrato su un set di dati ampio e ricco (il dominio sorgente) ha già appreso rappresentazioni utili come bordi, texture o schemi grammaticali. Quando applicato a un nuovo set di dati target più piccolo, il modello necessita di molti meno dati etichettati per raggiungere buone prestazioni, poiché il lavoro di rappresentazione più difficile è già stato svolto.

Storia

Il concetto di trasferimento di conoscenza tra compiti è emerso negli anni '90 (Pratt 1993; Thrun 1996). Il campo è stato formalmente esaminato e sistematizzato da Pan e Yang nel loro articolo del 2010 su IEEE TKDE, che rimane il riferimento canonico. Il paradigma è stato potenziato dal successo del deep learning: Bengio e colleghi hanno dimostrato che le reti profonde apprendono rappresentazioni trasferibili, e il pre-addestramento su ImageNet (Krizhevsky et al., 2012) ha reso il trasferimento la pratica predefinita nella computer vision. L'introduzione di modelli linguistici di grandi dimensioni come BERT (2018) e GPT (2018–) ha esteso l'apprendimento per trasferimento all'NLP e lo ha trasformato nel paradigma dominante in quasi tutte le applicazioni di deep learning.

Quando usarlo

L'apprendimento per trasferimento è la scelta giusta quando i dati etichettati per il compito target sono limitati ma esiste un dominio sorgente correlato con etichette abbondanti o un modello pre-addestrato di grandi dimensioni — ad esempio, il fine-tuning di BERT per un classificatore di testo specifico del dominio o l'adattamento di CNN pre-addestrate su ImageNet all'imaging medico. Riduce drasticamente i dati e il calcolo necessari per raggiungere prestazioni elevate. Evitarlo quando i domini sorgente e target sono fondamentalmente non correlati, poiché il trasferimento negativo può peggiorare le prestazioni rispetto all'addestramento da zero. È anche meno giustificato quando il set di dati target è sufficientemente ampio da addestrare un modello capace in modo indipendente.

Limiti e considerazioni

  • Può verificarsi un trasferimento negativo quando i domini sorgente e target sono troppo dissimili, potenzialmente danneggiando le prestazioni rispetto all'addestramento da zero.
  • Il fine-tuning di grandi modelli pre-addestrati richiede memoria sostanziale e, per modelli molto grandi, risorse GPU significative.
  • La quantità appropriata di modello da congelare rispetto al fine-tuning dipende dal compito e richiede sperimentazione.
  • Lo spostamento del dominio tra sorgente e target potrebbe non essere ovvio e può degradare silenziosamente le prestazioni.
  • Vincoli legali ed etici sui modelli pre-addestrati (licenza, bias dei dati di addestramento) possono limitarne l'uso in determinate applicazioni.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Riduce drasticamente i requisiti di dati etichettati per il compito target riutilizzando le rappresentazioni sorgente.
  • Accorcia i tempi di addestramento e i costi computazionali rispetto all'addestramento di modelli di grandi dimensioni da zero.
  • Spesso raggiunge prestazioni allo stato dell'arte su set di dati target piccoli e medi.
  • Modelli pre-addestrati di uso generale (ad es. ResNet, BERT, GPT) forniscono solidi punti di partenza in molti domini.
  • La modalità di estrazione di caratteristiche consente l'uso di rappresentazioni profonde anche senza fine-tuning intensivo di GPU.

Applicazioni

  • Fine-tuning di modelli linguistici pre-addestrati (BERT, GPT) per la classificazione di testi specifici del dominio, NER o question answering.
  • Adattamento di CNN pre-addestrate su ImageNet (ResNet, VGG) all'analisi di immagini mediche dove le scansioni etichettate sono scarse.
  • Sistemi di riconoscimento vocale adattati da modelli multilingue di grandi dimensioni a lingue a basse risorse.
  • Analisi del sentiment cross-dominio trasferendo rappresentazioni apprese su recensioni di prodotti a testi di social media.
  • Dati tabulari: utilizzo di caratteristiche di reti neurali pre-addestrate su set di dati correlati per migliorare le predizioni su una piccola tabella target.
  • Domini scientifici (scoperta di farmaci, scienza dei materiali) dove i dati sperimentali etichettati sono costosi e i modelli sorgente dalla letteratura chimica forniscono forti prior.

Come funziona

Come funziona

1

Un modello viene addestrato su un ampio set di dati sorgente in cui sono disponibili dati etichettati in abbondanza. Durante questa fase, il modello apprende rappresentazioni di caratteristiche di uso generale: ad esempio, una rete convoluzionale apprende gerarchie visive da milioni di immagini, o un modello linguistico apprende schemi sintattici e semantici da miliardi di token.

2

Viene valutata la relazione tra i domini sorgente e target. Se i domini sono vicini (ad esempio, entrambi riguardano immagini naturali), le rappresentazioni apprese si trasferiscono più direttamente. Se lo spostamento del dominio è ampio, vengono applicate tecniche come l'addestramento avversariale del dominio o la ponderazione delle istanze per ridurre la discrepanza distributiva prima che inizi l'adattamento.

3

Il modello pre-addestrato viene applicato al compito target. Nell'estrazione di caratteristiche, gli strati precedenti vengono congelati e solo gli strati successivi specifici del compito vengono sostituiti e addestrati. Nel fine-tuning completo, tutti gli strati vengono aggiornati sui dati target, solitamente con un tasso di apprendimento inferiore per preservare le rappresentazioni apprese in precedenza ed evitare l'oblio catastrofico.

4

Il modello adattato viene addestrato sul (tipicamente piccolo) set di dati target etichettato. Strategie di regolarizzazione — come L2-SP (penalità verso i pesi sorgente), dropout o early stopping — prevengono l'overfitting sui limitati etichette target. La pianificazione del tasso di apprendimento per strato è comune nelle reti profonde.

5

Le prestazioni vengono misurate su un set di test target tenuto da parte utilizzando metriche appropriate al compito (accuratezza, F1, RMSE, ecc.). I confronti con l'addestramento da zero e con un baseline solo sorgente quantificano il guadagno di trasferimento e rivelano se si è verificato un trasferimento negativo.

Errori comuni

  • Assumere che qualsiasi modello pre-addestrato si trasferirà bene senza verificare la somiglianza del dominio — fare sempre un baseline rispetto all'addestramento da zero.
  • Utilizzare un tasso di apprendimento troppo elevato durante il fine-tuning, causando l'oblio catastrofico delle rappresentazioni sorgente.
  • Valutare solo sul set di addestramento target o ignorare una corretta suddivisione di test tenuta da parte.
  • Trascurare il bias del set di dati ereditato dal dominio sorgente, che può propagarsi nelle predizioni target.
  • Fine-tuning su un set target estremamente piccolo senza regolarizzazione, portando a un grave overfitting.

Domande frequenti

Qual è la differenza tra estrazione di caratteristiche e fine-tuning nell'apprendimento per trasferimento?

Nell'estrazione di caratteristiche, i pesi del modello pre-addestrato sono congelati e viene addestrata solo una nuova testa specifica del compito. Nel fine-tuning, alcuni o tutti i pesi pre-addestrati vengono anche aggiornati sui dati target — tipicamente con un piccolo tasso di apprendimento per evitare l'oblio catastrofico. L'estrazione di caratteristiche è più veloce e meno incline all'overfitting su set di dati minuscoli; il fine-tuning generalmente fornisce prestazioni migliori quando ci sono dati target sufficienti.

Come faccio a sapere se l'apprendimento per trasferimento aiuterà o danneggerà?

La domanda chiave è la somiglianza del dominio. Se le distribuzioni sorgente e target condividono una struttura significativa (stessa modalità, vocabolario simile, concetti visivi correlati), il trasferimento aiuta quasi sempre. Addestrare un baseline da zero e confrontare: se il modello trasferito non è migliore, i domini potrebbero essere troppo dissimili, o potrebbero essere necessarie tecniche di allineamento avversariale del dominio.

Cos'è il trasferimento negativo?

Il trasferimento negativo si verifica quando la conoscenza dal dominio sorgente danneggia attivamente le prestazioni sul compito target — le rappresentazioni pre-addestrate non corrispondono alla struttura target e fuorviano l'ottimizzazione. È più comune quando sorgente e target sono semanticamente o statisticamente dissimili. La regolarizzazione verso i pesi sorgente (ad es. L2-SP) o l'uso solo di strati più superficiali possono mitigarne gli effetti.

Quanto target data mi serve per il fine-tuning?

Non esiste una soglia universale, ma l'apprendimento per trasferimento è più prezioso quando il numero di esempi etichettati target va da decine a qualche migliaio. Con pochissimi esempi (meno di ~100), congelare la maggior parte degli strati e addestrare solo la testa (estrazione di caratteristiche) è più sicuro. Con migliaia di esempi, il fine-tuning più profondo è fattibile e solitamente benefico.

L'apprendimento per trasferimento è applicabile ai dati tabulari, non solo a immagini e testo?

Sì, anche se è meno plug-and-play. Gli approcci includono il pre-addestramento di reti neurali su grandi corpora tabulari di domini correlati, o l'uso di embedding da modelli fondazionali come caratteristiche aggiuntive. Librerie come SAINT e TabPFN esplorano questa direzione. Per i classici compiti tabulari, il gradient boosting rimane spesso un forte concorrente anche senza trasferimento.

Metodi correlati

Fonti

  1. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

    Apri il riferimento DOI
    Copiato.
  2. Bengio, Y. (2012). Deep Learning of Representations for Unsupervised and Transfer Learning. In Proceedings of ICML Workshop on Unsupervised and Transfer Learning, PMLR 27, 17–36.

    Apri il riferimento della pubblicazione
    Copiato.