Skip to content
Retour aux résultats

Apprentissage auto-supervisé

Introduite par
LeCun, Y. and community (formalized ~2018–2020)
Année
2018–2020
Type
Representation learning paradigm
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'apprentissage auto-supervisé (SSL) est un paradigme d'apprentissage automatique qui génère son propre signal de supervision directement à partir de données non étiquetées en définissant une tâche prétexte auxiliaire — telle que la prédiction de mots masqués, la rotation d'images ou la comparaison de vues augmentées — et utilise les représentations apprises comme point de départ puissant pour des tâches en aval avec un minimum d'exemples étiquetés.

L’intuition derrière la méthode

La plupart des données du monde réel ne sont pas étiquetées. L'apprentissage auto-supervisé transforme cette abondance en une ressource d'entraînement en inventant un défi que le modèle doit résoudre en utilisant uniquement les données elles-mêmes — par exemple, masquer une partie d'une phrase et demander au modèle de la prédire. La résolution de ce défi oblige le modèle à construire des représentations internes riches. Une fois les représentations suffisantes, une petite quantité de données étiquetées suffit pour adapter le modèle à une tâche spécifique, réduisant considérablement le coût d'annotation.

Histoire

Le concept d'apprentissage à partir de données non étiquetées via des tâches proxy précède l'apprentissage profond, mais l'apprentissage auto-supervisé en tant que paradigme nommé est devenu prédominant vers 2018-2020 avec BERT (Devlin et al., 2018) en NLP et MoCo / SimCLR en vision par ordinateur. Yann LeCun a défendu le terme et la vision, décrivant le SSL comme la 'matière noire de l'intelligence' en 2022. Aujourd'hui, il sous-tend pratiquement tous les grands modèles linguistiques et les modèles de fondation en vision.

Quand l’utiliser

Choisissez l'apprentissage auto-supervisé lorsque vous disposez d'un grand corpus de données non étiquetées dans votre domaine cible, mais que l'étiquetage est coûteux ou lent — courant en imagerie médicale, en NLP, en imagerie satellite et en données scientifiques. C'est l'approche standard pour construire des modèles de fondation à grande échelle (BERT, GPT, DINO) ou lorsque les ensembles étiquetés en aval sont petits. Évitez le SSL lorsque le corpus non étiqueté est trop petit (moins de quelques milliers d'exemples), que la tâche prétexte ne correspond pas à la tâche en aval, ou que les ressources de calcul sont sévèrement limitées — dans ces cas, l'apprentissage supervisé sur les étiquettes disponibles ou le transfert d'apprentissage traditionnel à partir d'un point de contrôle public est plus pratique.

Limites et points d’attention

  • Le pré-entraînement de grands modèles nécessite des ressources de calcul substantielles (GPU/TPU pendant des jours à des semaines) et de grands corpus non étiquetés.
  • La conception de la tâche prétexte n'est pas triviale ; une tâche mal choisie peut produire des représentations qui ne se transfèrent pas bien.
  • La stabilité de l'affinage peut être sensible au taux d'apprentissage et au nombre de couches débloquées.
  • L'évaluation est indirecte : la performance à la tâche prétexte ne garantit pas la performance à la tâche en aval.
  • L'écart de domaine entre le corpus de pré-entraînement et le domaine cible peut limiter les gains.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Exploite de vastes quantités de données non étiquetées, ce qui en fait l'approche la plus évolutive pour le pré-entraînement sur de grands corpus.
  • Produit des représentations à usage général qui se transfèrent bien à de nombreuses tâches en aval avec peu de données d'affinage.
  • Réduit considérablement le coût d'annotation en générant la supervision à partir de la structure des données plutôt que d'étiquettes humaines.
  • Les modèles de fondation de pointe (BERT, GPT, DINO, MAE) sont tous construits sur des objectifs auto-supervisés.
  • Gère naturellement les données multimodales en concevant des tâches prétextes intermodales (par exemple, CLIP).
  • Produit des plongements riches utiles pour la recherche, le clustering et la détection d'anomalies sans aucun affinage.

Applications

  • Pré-entraînement de grands modèles linguistiques (BERT, GPT, T5) pour des tâches NLP telles que la classification et la réponse aux questions.
  • Modèles de fondation en vision (DINO, MAE, SimCLR) pour la reconnaissance d'images, la segmentation et la recherche.
  • Analyse d'images médicales où les scans étiquetés sont rares mais les images non étiquetées sont abondantes.
  • Apprentissage de représentations vocales et audio (wav2vec, HuBERT) pour la reconnaissance vocale automatique (ASR) et la vérification du locuteur.
  • Apprentissage de représentations moléculaires et protéiques (ChemBERTa, ESM) pour la découverte de médicaments.
  • Détection d'anomalies et recherche via la similarité des plongements sans anomalies étiquetées.

Comment ça marche

Comment ça marche

1

Une tâche prétexte (auxiliaire) est conçue de manière à ce que ses étiquettes proviennent gratuitement de la structure des données elle-même — par exemple, la prédiction de jetons masqués dans le texte (BERT), la prédiction de la prochaine image dans une vidéo, ou la maximisation de la similarité entre des vues augmentées différemment de la même image (SimCLR, MoCo). Aucune annotation humaine n'est nécessaire pour cette étape.

2

Un encodeur neuronal mappe chaque entrée x dans une représentation dense z = f(x; theta). L'architecture de l'encodeur varie selon la modalité : Transformers pour le texte et la vision, réseaux convolutifs pour l'audio, ou réseaux de neurones graphiques pour les données moléculaires. Cette représentation est ce qui transporte les connaissances vers les tâches en aval.

Formule
z = f_{\theta}(x)
3

Le modèle est entraîné à minimiser une perte qui mesure la performance à la tâche prétexte — entropie croisée pour la prédiction masquée, perte contrastive (InfoNCE) pour l'accord de vues, ou erreur de reconstruction pour les auto-encodeurs. Minimiser cette perte façonne la représentation pour capturer une structure sémantique utile.

4

Une fois le pré-entraînement terminé, les poids de l'encodeur sont transférés vers une tâche en aval. Une tête de classification ou de régression légère est attachée et l'ensemble du modèle (ou seulement la tête) est affiné sur un petit ensemble de données étiquetées, atteignant une précision comparable à celle des modèles entièrement supervisés entraînés sur beaucoup plus de données étiquetées.

Pièges courants

  • Sélectionner une tâche prétexte sans raisonner sur son alignement avec la sémantique de la tâche en aval.
  • Utiliser un corpus non étiqueté trop petit ou non représentatif du domaine cible, produisant de mauvaises représentations.
  • Affiner toutes les couches avec un taux d'apprentissage élevé et oublier catastrophiquement la représentation pré-entraînée.
  • Rapporter uniquement la précision en aval après affinage sans analyser la valeur du pré-entraînement par rapport à la supervision directe.
  • Ignorer la conception de l'augmentation des données dans les méthodes contrastives, qui est essentielle à la qualité de la représentation.

Questions fréquentes

Quelle est la différence entre l'apprentissage auto-supervisé et l'apprentissage non supervisé ?

Les deux utilisent des données non étiquetées, mais l'apprentissage auto-supervisé construit un signal de supervision spécifique à partir de la structure des données (par exemple, jetons masqués, vues augmentées) et s'entraîne avec une fonction de perte définie. L'apprentissage non supervisé classique (clustering, ACP) trouve plutôt une structure sans objectif de prédiction explicite.

Dois-je pré-entraîner à partir de zéro ou puis-je utiliser un point de contrôle existant ?

Pour la plupart des projets appliqués, l'affinage d'un point de contrôle publiquement disponible (par exemple, BERT de Hugging Face, DINO de Meta) est beaucoup plus pratique que le pré-entraînement à partir de zéro. Le pré-entraînement à partir de zéro n'est justifié que lorsque votre domaine est très spécialisé (par exemple, texte clinique) et que les points de contrôle existants se transfèrent mal.

Quelle quantité de données non étiquetées est nécessaire ?

Plus il y en a, mieux c'est pour le pré-entraînement, mais un SSL efficace et spécifique au domaine a été démontré avec des dizaines de milliers d'exemples non étiquetés pour des modèles plus petits. Le seuil dépend fortement de la taille du modèle et de la complexité de la tâche prétexte.

Qu'est-ce qu'une tâche prétexte contrastive ?

Les tâches prétextes contrastives (SimCLR, MoCo) créent deux vues différemment augmentées du même échantillon et entraînent l'encodeur de sorte que les vues soient similaires dans l'espace de représentation tout en étant différentes des représentations d'autres échantillons. Cela apprend au modèle à être invariant aux augmentations tout en préservant le contenu sémantique.

L'apprentissage auto-supervisé convient-il aux données tabulaires ?

Oui, bien que les gains soient moindres que pour les images ou le texte. Des approches telles que SCARF, le pré-entraînement TabNet et la prédiction de caractéristiques masquées ont montré des avantages lorsque les données tabulaires étiquetées sont rares, mais pour les ensembles de données tabulaires typiques avec une disponibilité raisonnable d'étiquettes, les méthodes d'ensemble supervisées dominent toujours.

Méthodes associées

Sources

  1. LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/

    Ouvrir la référence de la publication
    Copié.
  2. Self-supervised learning. Wikipedia.

    Ouvrir la référence de la publication
    Copié.