Apprendimento Autocontrollato
- Introdotto da
- LeCun, Y. and community (formalized ~2018–2020)
- Anno
- 2018–2020
- Tipo
- Representation learning paradigm
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'apprendimento autocontrollato (SSL) è un paradigma di machine learning che genera il proprio segnale di supervisione direttamente da dati non etichettati, definendo un compito preliminare ausiliario — come la predizione di parole mascherate, la rotazione di immagini o il confronto tra viste aumentate — e utilizza le rappresentazioni apprese come un potente punto di partenza per compiti successivi con esempi etichettati minimi.
L’intuizione alla base del metodo
La maggior parte dei dati del mondo reale non è etichettata. L'apprendimento autocontrollato trasforma questa abbondanza in una risorsa di addestramento inventando una sfida che il modello deve risolvere utilizzando solo i dati stessi — ad esempio, nascondendo parte di una frase e chiedendo al modello di predittarla. La risoluzione di tale sfida costringe il modello a costruire rappresentazioni interne ricche. Una volta che le rappresentazioni sono sufficientemente buone, è necessaria solo una piccola quantità di dati etichettati per adattare il modello a un compito specifico, riducendo drasticamente il costo di annotazione.
Storia
Il concetto di apprendimento da dati non etichettati tramite compiti proxy precede il deep learning, ma l'apprendimento autocontrollato come paradigma nominato è diventato prominente intorno al 2018-2020 con BERT (Devlin et al., 2018) in NLP e MoCo / SimCLR in computer vision. Yann LeCun ha promosso il termine e la visione, descrivendo l'SSL come la 'materia oscura dell'intelligenza' nel 2022. Oggi è alla base di quasi tutti i grandi modelli linguistici e i modelli fondazionali di visione.
Quando usarlo
Scegliere l'apprendimento autocontrollato quando si dispone di un ampio corpus di dati non etichettati nel dominio di destinazione ma l'etichettatura è costosa o lenta — comune nell'imaging medico, NLP, immagini satellitari e dati scientifici. È l'approccio standard quando si costruiscono modelli fondazionali su larga scala (BERT, GPT, DINO) o quando i set etichettati successivi sono piccoli. Evitare l'SSL quando il corpus non etichettato è troppo piccolo (sotto qualche migliaio di esempi), il compito preliminare non è allineato con il compito successivo, o le risorse computazionali sono gravemente limitate — in quei casi, l'apprendimento supervisionato sulle etichette disponibili o il trasferimento di apprendimento tradizionale da un checkpoint pubblico è più pratico.
Limiti e considerazioni
- Il pre-addestramento di modelli di grandi dimensioni richiede un calcolo sostanziale (GPU/TPU per giorni o settimane) e ampi corpus non etichettati.
- La progettazione del compito preliminare non è banale; un compito scelto male può produrre rappresentazioni che non si trasferiscono bene.
- La stabilità dell'affinamento può essere sensibile al tasso di apprendimento e al numero di layer non congelati.
- La valutazione è indiretta: le prestazioni sul compito preliminare non garantiscono le prestazioni sul compito successivo.
- Il divario di dominio tra il corpus di pre-addestramento e il dominio di destinazione può limitare i guadagni.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Sfrutta enormi quantità di dati non etichettati, rendendolo l'approccio più scalabile per il pre-addestramento su corpus ampi.
- Produce rappresentazioni di uso generale che si trasferiscono bene a molti compiti successivi con pochi dati di affinamento.
- Riduce drasticamente il costo di annotazione generando supervisione dalla struttura dei dati piuttosto che da etichette umane.
- I modelli fondazionali all'avanguardia (BERT, GPT, DINO, MAE) sono tutti basati su obiettivi autocontrollati.
- Gestisce naturalmente dati multimodali progettando compiti preliminari cross-modali (es. CLIP).
- Produce embedding ricchi utili per il recupero, il clustering e il rilevamento di anomalie senza alcun affinamento.
Applicazioni
- Pre-addestramento di grandi modelli linguistici (BERT, GPT, T5) per compiti NLP come classificazione e risposta a domande.
- Modelli fondazionali di visione (DINO, MAE, SimCLR) per riconoscimento di immagini, segmentazione e recupero.
- Analisi di immagini mediche dove le scansioni etichettate sono scarse ma le immagini non etichettate sono abbondanti.
- Apprendimento di rappresentazioni vocali e audio (wav2vec, HuBERT) per ASR e verifica del parlante.
- Apprendimento di rappresentazioni molecolari e proteiche (ChemBERTa, ESM) per la scoperta di farmaci.
- Rilevamento di anomalie e recupero tramite similarità di embedding senza anomalie etichettate.
Come funziona
Come funziona
Un compito preliminare (ausiliario) è progettato in modo che le sue etichette derivino gratuitamente dalla struttura dei dati stessa — ad esempio, la predizione di token mascherati nel testo (BERT), la predizione del frame successivo nel video, o la massimizzazione della similarità tra viste aumentate diversamente della stessa immagine (SimCLR, MoCo). Nessuna annotazione umana è necessaria per questa fase.
Un codificatore neurale mappa ogni input x in una rappresentazione densa z = f(x; theta). L'architettura del codificatore varia per modalità: Transformer per testo e visione, reti convoluzionali per audio, o reti neurali a grafo per dati molecolari. Questa rappresentazione è ciò che trasporta la conoscenza ai compiti successivi.
Formula
z = f_{\theta}(x)Il modello viene addestrato per minimizzare una perdita che misura quanto bene risolve il compito preliminare — cross-entropia per la predizione mascherata, perdita contrastiva (InfoNCE) per l'accordo tra viste, o errore di ricostruzione per gli autoencoder. La minimizzazione di questa perdita modella la rappresentazione per catturare una struttura semantica utile.
Una volta che il pre-addestramento converge, i pesi del codificatore vengono trasferiti a un compito successivo. Viene collegata una leggera testa di classificazione o regressione e l'intero modello (o solo la testa) viene affinato su un piccolo set di dati etichettati, ottenendo un'accuratezza comparabile a modelli completamente supervisionati addestrati su molti più dati etichettati.
Errori comuni
- Selezionare un compito preliminare senza ragionare sul suo allineamento con la semantica del compito successivo.
- Utilizzare un corpus non etichettato troppo piccolo o non rappresentativo del dominio di destinazione, producendo rappresentazioni scadenti.
- Affina tutti i layer con un alto tasso di apprendimento e dimentica catastroficamente la rappresentazione pre-addestrata.
- Riportare solo l'accuratezza successiva dopo l'affinamento senza analizzare il valore del pre-addestramento rispetto alla supervisione diretta.
- Ignorare la progettazione dell'aumento dei dati nei metodi contrastivi, che è critica per la qualità della rappresentazione.
Domande frequenti
Qual è la differenza tra apprendimento autocontrollato e non supervisionato?
Entrambi utilizzano dati non etichettati, ma l'apprendimento autocontrollato costruisce un segnale di supervisione specifico dalla struttura dei dati (es. token mascherati, viste aumentate) e si addestra con una funzione di perdita definita. L'apprendimento non supervisionato classico (clustering, PCA) invece trova struttura senza alcun obiettivo di predizione esplicito.
Devo pre-addestrare da zero o posso usare un checkpoint esistente?
Per la maggior parte dei progetti applicati, l'affinamento di un checkpoint disponibile pubblicamente (es. BERT da Hugging Face, DINO da Meta) è molto più pratico del pre-addestramento da zero. Il pre-addestramento da zero è giustificato solo quando il tuo dominio è altamente specializzato (es. testo clinico) e i checkpoint esistenti si trasferiscono male.
Quanti dati non etichettati sono necessari?
Più sono, meglio è per il pre-addestramento, ma è stato dimostrato un SSL efficace specifico per dominio con decine di migliaia di esempi non etichettati per modelli più piccoli. La soglia dipende fortemente dalla dimensione del modello e dalla complessità del compito preliminare.
Cos'è un compito preliminare contrastivo?
I compiti preliminari contrastivi (SimCLR, MoCo) creano due viste aumentate diversamente dello stesso campione e addestrano il codificatore in modo che le viste siano simili nello spazio delle rappresentazioni pur essendo diverse dalle rappresentazioni di altri campioni. Questo insegna al modello ad essere invariante all'aumento preservando il contenuto semantico.
L'apprendimento autocontrollato è adatto per dati tabulari?
Sì, sebbene i guadagni siano minori rispetto a immagini o testo. Approcci come SCARF, pre-addestramento TabNet e predizione di feature mascherate hanno mostrato benefici quando i dati tabulari etichettati sono scarsi, ma per dataset tabulari tipici con ragionevole disponibilità di etichette, i metodi ensemble supervisionati dominano ancora.
Metodi correlati
Fonti
LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/
Apri il riferimento della pubblicazioneCopiato.Self-supervised learning. Wikipedia.
Apri il riferimento della pubblicazioneCopiato.