Skip to content
Retour aux résultats

Processus Gaussien semi-supervisé

Introduite par
Lawrence, N. D. & Jordan, M. I.
Année
2004
Type
Probabilistic model (semi-supervised)
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le processus Gaussien semi-supervisé étend le cadre probabiliste des processus Gaussiens pour exploiter des données non étiquetées aux côtés d'un petit ensemble d'observations étiquetées.

En plaçant un prior de processus Gaussien sur les fonctions et en exploitant la structure géométrique révélée par les entrées non étiquetées, il apprend des prédicteurs plus précis et mieux calibrés qu'un processus Gaussien purement supervisé lorsque les étiquettes sont rares, ce qui le rend bien adapté aux problèmes scientifiques et médicaux où l'annotation est coûteuse.

L’intuition derrière la méthode

Un processus Gaussien standard définit une distribution sur des fonctions lisses et conditionne sur les points d'entraînement étiquetés pour former des prédictions. Lorsque les étiquettes sont rares, ce postérieur conditionné est très incertain dans les régions peu denses en données. Le processus Gaussien semi-supervisé aborde ce problème en utilisant également les entrées non étiquetées pour révéler la structure de la variété ou de la densité sous-jacente de l'espace d'entrée. Le noyau — qui encode la similarité — peut alors être façonné par de nombreux points non étiquetés, de sorte que le modèle apprend où se trouvent les données avant même de voir une étiquette. Cela réduit considérablement l'incertitude du postérieur et améliore la généralisation à partir de peu d'exemples étiquetés.

Histoire

Le cadre du processus Gaussien semi-supervisé a été formellement introduit par Lawrence et Jordan à NeurIPS 2004, s'appuyant sur le travail fondamental de Rasmussen et Williams sur les processus Gaussiens pour l'apprentissage automatique (livre de 2006, manuscrits antérieurs circulant dès 1996). L'approche combine des idées de régularisation de variété, de Laplacien de graphe et de non-paramétriques bayésiens, et a influencé les travaux ultérieurs sur les processus Gaussiens épars, l'apprentissage par noyau profond et les réseaux de neurones graphiques avec sorties probabilistes.

Quand l’utiliser

Utilisez le processus Gaussien semi-supervisé lorsque les données étiquetées sont rares mais les données non étiquetées sont abondantes, que vous avez besoin d'estimations d'incertitude calibrées aux côtés des prédictions, et que l'espace d'entrée possède une structure géométrique lisse que les points non étiquetés peuvent éclairer. Il excelle dans les contextes biologiques, médicaux et des sciences physiques où l'annotation est coûteuse. Évitez-le lorsque le jeu de données est volumineux (des milliers de points étiquetés), car l'inférence de processus Gaussien a une complexité O(n^3) par rapport au nombre de points étiquetés et devient prohibitive sur le plan computationnel. Évitez-le également lorsque la dimension d'entrée est très élevée (au-dessus d'environ 50 caractéristiques) sans ingénierie de noyau soignée, ou lorsque des coefficients interprétables plutôt que des prédictions probabilistes sont le livrable principal.

Limites et points d’attention

  • La mise à l'échelle cubique O(n^3) par rapport au nombre de points étiquetés le rend impraticable au-delà de quelques milliers d'observations sans approximations par points inducteurs épars.
  • Une inférence approximative (Laplace, EP) est nécessaire pour les vraisemblances non Gaussiennes telles que la classification, introduisant une erreur d'approximation.
  • Les performances dépendent fortement du choix du noyau et de l'hypothèse que les points non étiquetés représentent fidèlement la variété des données.
  • L'optimisation des hyperparamètres, computationnellement intensive, peut être lente et converger vers de mauvais optima locaux dans les hautes dimensions.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Produit des distributions prédictives complètes, fournissant une incertitude calibrée à côté de chaque prédiction.
  • Les données non étiquetées peuvent améliorer considérablement la précision lorsque les étiquettes sont rares, permettant d'optimiser les budgets d'annotation.
  • La flexibilité du noyau permet d'encoder les connaissances du domaine sur la régularité, la périodicité ou la géométrie des entrées.
  • Le cadre bayésien principiel supporte la sélection des hyperparamètres par maximisation de la vraisemblance marginale.
  • Gère naturellement les tâches de prédiction multi-sorties et structurées grâce aux extensions de processus Gaussien multi-sorties.

Applications

  • Prédiction de l'activité médicamenteuse à partir de descripteurs moléculaires avec peu de composés marqués par des essais.
  • Classification d'imagerie médicale où les annotations expertes sont limitées mais les scans bruts sont abondants.
  • Modélisation environnementale par capteurs utilisant des lectures calibrées éparses et des mesures non calibrées denses.
  • Classification de l'expression génique avec des étiquettes phénotypiques limitées mais de grands ensembles de données transcriptomiques.
  • Prédiction de propriétés matérielles en chimie et physique où les mesures expérimentales étiquetées sont coûteuses.

Comment ça marche

Comment ça marche

1

Une fonction noyau k(x_i, x_j) encode les croyances a priori sur la régularité et l'échelle de la fonction cible. Pour les paramètres semi-supervisés, des noyaux basés sur des graphes ou adaptés aux variétés sont construits à partir de toutes les entrées disponibles — étiquetées et non étiquetées — de sorte que la métrique de similarité reflète la véritable géométrie des données plutôt que la distance euclidienne brute.

Formule
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)
2

Un prior de processus Gaussien à moyenne nulle f ~ GP(0, k) est placé sur la fonction latente. Comme le noyau a été estimé à partir de l'ensemble complet des données non étiquetées, ce prior encode déjà la structure géométrique de la variété d'entrée avant que toute étiquette ne soit incorporée.

Formule
f \sim \mathcal{GP}(0, k)
3

Les points non étiquetés sont intégrés dans le modèle soit en construisant un régularisateur Laplacien de graphe sur toutes les entrées, soit en traitant les valeurs de la fonction latente aux emplacements non étiquetés comme des variables auxiliaires qui sont marginalisées lors de l'inférence. Les deux approches permettent au grand ensemble de données non étiquetées de contraindre et de stabiliser le postérieur.

4

Le conditionnement sur les observations étiquetées met à jour le prior de processus Gaussien en un postérieur sur les fonctions. Dans les paramètres de classification, cela implique une inférence approximative (approximation de Laplace ou propagation d'attentes) car la vraisemblance Gaussienne est remplacée par un modèle d'observation non Gaussien.

Formule
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
5

Pour toute nouvelle entrée x*, la distribution prédictive postérieure est calculée analytiquement (régression) ou par approximation (classification). La sortie est une distribution prédictive complète — moyenne et variance — donnant non seulement une estimation ponctuelle mais aussi une incertitude calibrée, ce qui est essentiel dans les domaines scientifiques à faible nombre d'étiquettes.

Formule
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]

Pièges courants

  • Ignorer le coût O(n^3) et tenter d'ajuster un processus Gaussien dense sur des milliers de points sans approximations par points inducteurs épars.
  • Utiliser un noyau standard basé sur la distance euclidienne sans l'adapter à la variété des données, ce qui gaspille l'ensemble des données non étiquetées.
  • Traiter la moyenne postérieure comme une prédiction dure et ignorer l'estimation de l'incertitude, qui est le principal avantage par rapport aux méthodes discriminatives.
  • Ne pas valider sur un ensemble étiqueté réservé, car les données non étiquetées peuvent introduire un décalage subtil de distribution si elles ne correspondent pas au domaine de test.
  • Appliquer la méthode lorsque le ratio étiqueté/non étiqueté est déjà élevé, où la complexité supplémentaire apporte un bénéfice négligeable par rapport à un processus Gaussien supervisé.

Questions fréquentes

En quoi cela diffère-t-il d'un processus Gaussien supervisé standard ?

Un processus Gaussien supervisé conditionne uniquement sur les données étiquetées et ignore les entrées non étiquetées. La variante semi-supervisée utilise les entrées non étiquetées pour façonner le noyau ou contraindre le prior de fonction avant de conditionner sur les étiquettes, exploitant ainsi la variété des données et obtenant une erreur de généralisation plus faible lorsque les étiquettes sont rares.

Quel est le principal goulot d'étranglement computationnel ?

L'inférence de processus Gaussien est cubique par rapport au nombre de points d'entraînement. Les méthodes par points inducteurs épars (par exemple, FITC, VFE) réduisent cela à O(nm^2) où m est le nombre de points inducteurs (typiquement 50–500), rendant les processus Gaussiens semi-supervisés à grande échelle réalisables.

Comment choisir le noyau pour l'intégration des données non étiquetées ?

Une approche courante est un noyau Laplacien de graphe ou de diffusion thermique calculé sur toutes les entrées. Alternativement, un noyau RBF standard avec une échelle de longueur ajustée sur la distribution complète des entrées (étiquetées + non étiquetées) fonctionne raisonnablement bien lorsque les données sont de faible dimension et distribuées de manière lisse.

L'incertitude calibrée est-elle préservée après l'intégration des données non étiquetées ?

En principe oui — le cadre bayésien produit des postérieurs calibrés — mais les approximations introduites pour la classification (Laplace, EP) et les méthodes éparses (points inducteurs) peuvent réduire la calibration. Il est de bonne pratique d'évaluer l'erreur de calibration attendue (ECE) sur un ensemble de validation étiqueté.

Quand devrais-je préférer un SVM semi-supervisé à cette méthode ?

Préférez un SVM semi-supervisé (S3VM/SVM transductif) lorsque vous avez besoin d'une frontière de décision simple basée sur la marge, que vous avez des caractéristiques éparses de haute dimension (par exemple, texte) et que vous n'avez pas besoin d'estimations d'incertitude. Choisissez le processus Gaussien semi-supervisé lorsque les sorties probabilistes et la flexibilité du noyau sont importantes.

Méthodes associées

Sources

  1. Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.

    Ouvrir la référence de la publication
    Copié.
  2. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN : 978-0-262-18253-9
    Copié.