Skip to content
Torna ai risultati

Apprendimento visivo contrastivo

Introdotto da
Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
Anno
2020
Tipo
Self-supervised deep representation learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'apprendimento visivo contrastivo è un approccio di deep learning auto-supervisionato — reso popolare da framework come SimCLR (Chen et al., 2020) e MoCo (He et al., 2020) — che apprende rappresentazioni ricche di immagini senza etichette, avvicinando diverse versioni aumentate della stessa immagine e allontanando immagini diverse.

Trasforma un ampio insieme di immagini non etichettate in un utile estrattore di caratteristiche.

L’intuizione alla base del metodo

Se ritagli, ricolori o capovolgi una singola foto in due modi diversi, entrambe le versioni dovrebbero essere ancora riconoscibilmente la stessa cosa. L'apprendimento contrastivo si basa esattamente su questa idea: insegna a una rete a mappare due viste aumentate di un'immagine vicine nello spazio delle caratteristiche, mantenendo lontane le viste di altre immagini. Non sono necessarie etichette umane: la supervisione proviene interamente dal confronto tra immagini.

Storia

L'apprendimento visivo contrastivo è maturato rapidamente nel 2020. SimCLR (Chen et al., ICML 2020) ha dimostrato che un semplice framework di aumenti forti, una testa di proiezione e la perdita contrastiva NT-Xent potevano competere con il pre-addestramento supervisionato. MoCo (He et al., CVPR 2020) ha introdotto un encoder aggiornato con momento e una coda dinamica di negativi, rendendo fattibile l'apprendimento contrastivo su larga scala senza batch massicci. Approcci successivi come BYOL hanno esteso la famiglia apprendendo senza coppie negative esplicite.

Quando usarlo

Usalo quando hai una vasta raccolta di immagini non etichettate — dell'ordine di almeno circa 1000 immagini — e vuoi apprendere forti rappresentazioni visive prima di qualsiasi compito etichettato. Presuppone la disponibilità di un tale set di dati non etichettato, richiede una GPU e dipende fortemente da una strategia di aumento dei dati ben scelta. Al di sotto di circa 500-1000 immagini, le coppie negative sono troppo poche e troppo simili per apprendere rappresentazioni utili, e l'apprendimento automatico classico supervisionato è la scelta più sicura.

Limiti e considerazioni

  • Richiede un ampio set di dati di immagini non etichettate; su set piccoli non può produrre rappresentazioni significative.
  • Richiede una GPU e una notevole potenza di calcolo per il pre-addestramento.
  • Le prestazioni dipendono dalla strategia di aumento dei dati, che deve essere ottimizzata per dominio.
  • Al di sotto di circa 500 immagini l'apprendimento auto-supervisionato fallisce e l'ML classico supervisionato è preferibile.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Apprende rappresentazioni visive utili da immagini non etichettate, eliminando la necessità di costose annotazioni manuali.
  • L'encoder pre-addestrato si trasferisce a molti compiti downstream con solo un piccolo set etichettato.
  • Framework come SimCLR e MoCo forniscono ricette ben studiate e riproducibili.
  • L'encoder a momento e la coda di negativi di MoCo rendono disponibili molti confronti negativi senza batch enormi.

Applicazioni

  • Pre-addestramento di encoder di immagini su grandi raccolte di foto non etichettate.
  • Trasferimento di apprendimento a classificazione di immagini downstream con etichette limitate.
  • Costruzione di estrattori di caratteristiche visive riutilizzabili per pipeline di visione.
  • Apprendimento di rappresentazioni in domini in cui le etichette sono scarse o costose.

Come funziona

Come funziona

1

Ogni immagine viene trasformata due volte con aumenti casuali come ritaglio, variazione del colore e capovolgimento, producendo due viste correlate. La scelta della strategia di aumento è fondamentale: definisce ciò che il modello deve trattare come 'lo stesso', e aumenti deboli o mal scelti portano a rappresentazioni deboli.

2

Un encoder mappa ogni vista in un embedding, e un obiettivo contrastivo avvicina le due viste della stessa immagine (la coppia positiva) mentre allontana le viste di altre immagini (le negative). SimCLR utilizza la perdita NT-Xent con un parametro di temperatura; MoCo mantiene un encoder aggiornato con momento e una coda di negativi in modo che siano disponibili molti confronti senza batch enormi.

Formula
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}
3

Dopo il pre-addestramento auto-supervisionato, l'encoder appreso viene riutilizzato come estrattore generale di caratteristiche visive. Un piccolo set etichettato è quindi sufficiente per affinare o addestrare un classificatore leggero sopra, trasferendo la rappresentazione a compiti downstream.

Errori comuni

  • Tentare il pre-addestramento contrastivo su un piccolo set di immagini dove la diversità delle coppie negative è insufficiente.
  • Utilizzare aumenti deboli o inappropriati al dominio, che collassano la rappresentazione appresa.
  • Ignorare il parametro di temperatura nella perdita contrastiva.
  • Aspettarsi buoni risultati senza una GPU o un tempo di addestramento adeguato.

Domande frequenti

Ho bisogno di etichette?

No. L'intero scopo dell'apprendimento auto-supervisionato contrastivo è apprendere rappresentazioni da immagini non etichettate. Le etichette sono necessarie solo in seguito, per un piccolo set di valutazione o affinamento downstream.

Quante immagini mi servono?

Prevedi almeno circa 1000 immagini non etichettate. Al di sotto di circa 500-1000, la diversità delle coppie negative è troppo bassa affinché il metodo apprenda rappresentazioni significative, e l'ML classico supervisionato è una scelta più sicura.

Qual è la differenza tra SimCLR e MoCo?

SimCLR si basa su batch di grandi dimensioni per fornire molti negativi e utilizza la perdita NT-Xent. MoCo invece mantiene un encoder aggiornato con momento e una coda di embedding passati come negativi, quindi richiede meno confronti all'interno del batch.

Perché l'aumento dei dati è così importante?

L'aumento definisce quali viste trasformate di un'immagine il modello deve trattare come uguali. Una strategia di aumento forte e ben scelta è fondamentale; aumenti deboli producono rappresentazioni deboli.

Metodi correlati

Fonti

  1. Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.

    Apri il riferimento della pubblicazione
    Copiato.
  2. He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.

    Apri il riferimento della pubblicazione
    Copiato.