Apprentissage visuel contrastif
- Introduite par
- Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
- Année
- 2020
- Type
- Self-supervised deep representation learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'apprentissage visuel contrastif est une approche d'apprentissage profond auto-supervisé — popularisée par des cadres tels que SimCLR (Chen et al., 2020) et MoCo (He et al., 2020) — qui apprend des représentations d'images riches sans étiquettes en rapprochant différentes augmentations de la même image et en éloignant les images différentes.
Il transforme un grand ensemble d'images non étiquetées en un extracteur de caractéristiques utile.
L’intuition derrière la méthode
Si vous recadrez, recolorez ou retournez une seule photo de deux manières différentes, les deux versions devraient toujours être reconnaissables comme la même chose. L'apprentissage contrastif repose exactement sur cette idée : il apprend à un réseau à rapprocher deux vues augmentées d'une image dans l'espace des caractéristiques tout en éloignant les vues d'autres images. Aucune étiquette humaine n'est nécessaire — la supervision provient entièrement de la comparaison des images entre elles.
Histoire
L'apprentissage visuel contrastif a mûri rapidement en 2020. SimCLR (Chen et al., ICML 2020) a montré qu'un cadre simple d'augmentations fortes, d'une tête de projection et de la perte contrastive NT-Xent pouvait rivaliser avec le pré-entraînement supervisé. MoCo (He et al., CVPR 2020) a introduit un encodeur mis à jour par moment avec une file d'attente dynamique de négatifs, rendant l'apprentissage contrastif à grande échelle réalisable sans lots massifs. Des approches ultérieures telles que BYOL ont étendu la famille en apprenant sans paires négatives explicites.
Quand l’utiliser
Utilisez-le lorsque vous disposez d'une grande collection d'images non étiquetées — de l'ordre d'au moins environ 1000 images — et que vous souhaitez apprendre des représentations visuelles solides avant toute tâche étiquetée. Il suppose qu'un tel ensemble de données non étiquetées est disponible, nécessite un GPU et dépend fortement d'une stratégie d'augmentation de données bien choisie. En dessous d'environ 500 à 1000 images, les paires négatives sont trop peu nombreuses et trop similaires pour apprendre des représentations utiles, et l'apprentissage automatique classique supervisé est le choix le plus sûr.
Limites et points d’attention
- Nécessite un grand ensemble de données d'images non étiquetées ; sur de petits ensembles, il ne peut pas produire de représentations significatives.
- Nécessite un GPU et une puissance de calcul substantielle pour le pré-entraînement.
- Les performances dépendent de la stratégie d'augmentation des données, qui doit être ajustée par domaine.
- En dessous d'environ 500 images, l'apprentissage auto-supervisé échoue et l'apprentissage automatique classique supervisé est préférable.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Apprend des représentations visuelles utiles à partir d'images non étiquetées, éliminant le besoin d'annotations manuelles coûteuses.
- L'encodeur pré-entraîné se transfère à de nombreuses tâches en aval avec seulement un petit ensemble étiqueté.
- Des cadres comme SimCLR et MoCo fournissent des recettes bien étudiées et reproductibles.
- L'encodeur à moment et la file d'attente de négatifs de MoCo rendent disponibles de nombreuses comparaisons négatives sans lots énormes.
Applications
- Pré-entraînement d'encodeurs d'images sur de grandes collections de photos non étiquetées.
- Apprentissage par transfert vers la classification d'images en aval avec des étiquettes limitées.
- Construction d'extracteurs de caractéristiques visuelles réutilisables pour les pipelines de vision.
- Apprentissage de représentations dans des domaines où les étiquettes sont rares ou coûteuses.
Comment ça marche
Comment ça marche
Chaque image est transformée deux fois avec des augmentations aléatoires telles que le recadrage, la variation de couleur et le retournement, produisant deux vues liées. Le choix de la stratégie d'augmentation est critique : il définit ce que le modèle est censé traiter comme « identique », et des augmentations faibles ou mal choisies conduisent à des représentations faibles.
Un encodeur mappe chaque vue vers un plongement, et un objectif contrastif rapproche les deux vues de la même image (la paire positive) tout en éloignant les vues d'autres images (les négatives). SimCLR utilise la perte NT-Xent avec un paramètre de température ; MoCo maintient un encodeur mis à jour par moment et une file d'attente de négatifs afin que de nombreuses comparaisons soient disponibles sans lots importants.
Formule
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}Après un pré-entraînement auto-supervisé, l'encodeur appris est réutilisé comme extracteur général de caractéristiques visuelles. Un petit ensemble étiqueté suffit alors à affiner ou à entraîner un classifieur léger par-dessus, transférant la représentation à des tâches en aval.
Pièges courants
- Tentative de pré-entraînement contrastif sur un ensemble d'images minuscule où la diversité des paires négatives est insuffisante.
- Utilisation d'augmentations faibles ou inappropriées au domaine, qui effondrent la représentation apprise.
- Ignorer le paramètre de température dans la perte contrastive.
- Attendre de bons résultats sans GPU ou sans temps d'entraînement adéquat.
Questions fréquentes
Ai-je besoin d'étiquettes ?
Non. L'objectif même de l'apprentissage auto-supervisé contrastif est d'apprendre des représentations à partir d'images non étiquetées. Les étiquettes ne sont nécessaires que plus tard, pour un ensemble d'affinement ou d'évaluation en aval de petite taille.
Combien d'images me faut-il ?
Prévoyez au moins environ 1000 images non étiquetées. En dessous d'environ 500 à 1000, la diversité des paires négatives est trop faible pour que la méthode apprenne des représentations significatives, et l'apprentissage automatique classique supervisé est un choix plus sûr.
Quelle est la différence entre SimCLR et MoCo ?
SimCLR s'appuie sur de grands lots pour fournir de nombreux négatifs et utilise la perte NT-Xent. MoCo, quant à lui, conserve un encodeur mis à jour par moment et une file d'attente d'embeddings passés comme négatifs, nécessitant ainsi moins de comparaisons au sein d'un lot.
Pourquoi l'augmentation des données est-elle si importante ?
L'augmentation définit quelles vues transformées d'une image le modèle doit traiter comme identiques. Une stratégie d'augmentation forte et bien choisie est essentielle ; des augmentations faibles donnent des représentations faibles.
Méthodes associées
Sources
Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.
Ouvrir la référence de la publicationCopié.He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.
Ouvrir la référence de la publicationCopié.