Skip to content
Retour aux résultats

Modèle gaussien de mélange semi-supervisé

Introduite par
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Année
2000
Type
Generative semi-supervised classifier
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le Modèle Gaussien de Mélange Semi-Supervisé (SS-GMM) est un classifieur probabiliste génératif qui ajuste un mélange gaussien aux données étiquetées et non étiquetées à l'aide de l'algorithme Espérance-Maximisation.

Les points étiquetés contraignent les affectations de composantes, tandis que les points non étiquetés améliorent les estimations de densité, permettant un apprentissage efficace lorsque les annotations sont rares.

L’intuition derrière la méthode

Imaginez que vous ayez quelques exemples étiquetés et beaucoup d'exemples non étiquetés. Un modèle purement supervisé ignore entièrement les données non étiquetées ; le clustering pur ignore vos étiquettes. Le SS-GMM trouve un juste milieu : il modélise les données comme un mélange de clusters gaussiens, ancre les points étiquetés à leur composante correcte et laisse les points non étiquetés flotter probabilistiquement entre les composantes. Les itérations EM continuent de pousser les distributions gaussiennes pour mieux décrire l'ensemble des données, de sorte que les étiquettes rares se propagent à la majorité non étiquetée par la structure de densité partagée.

Histoire

Les GMM semi-supervisés ont émergé de la littérature plus large sur l'apprentissage semi-supervisé de la fin des années 1990. Nigam et al. (2000) ont démontré l'approche pour la classification de texte en utilisant EM sur un modèle génératif Naive Bayes (un cas particulier de GMM diagonal), montrant des gains mesurables grâce aux documents non étiquetés. Le cadre général a été consolidé dans le volume influent de MIT Press par Chapelle, Scholkopf et Zien (2006), qui a établi le SS-GMM comme une approche générative canonique pour la classification semi-supervisée aux côtés d'alternatives discriminatives et basées sur des graphes.

Quand l’utiliser

Utiliser le SS-GMM lorsque les exemples étiquetés sont rares mais les données non étiquetées sont abondantes et lorsque les distributions conditionnelles de classe sous-jacentes sont approximativement gaussiennes ou peuvent l'être par transformation. Il est bien adapté aux espaces de caractéristiques continus de dimensionnalité faible à modérée (jusqu'à environ 20-50 caractéristiques sans réduction de dimensionnalité). L'éviter lorsque les caractéristiques sont fortement non gaussiennes ou catégorielles, lorsque le nombre de classes est grand par rapport aux échantillons étiquetés, lorsque la structure de cluster ne s'aligne pas avec les frontières de classe (hypothèse de cluster violée), ou lorsqu'un modèle discriminatif tel qu'un SVM semi-supervisé ou une propagation d'étiquettes s'adapte mieux à la géométrie des données.

Limites et points d’attention

  • L'ajustement du modèle se dégrade lorsque l'hypothèse gaussienne est fortement violée — des transformations non linéaires ou des méthodes à noyau peuvent être nécessaires.
  • EM converge vers un optimum local ; les résultats sont sensibles à l'initialisation et plusieurs redémarrages sont nécessaires.
  • Données de haute dimension (malédiction de la dimensionnalité) rendant l'estimation de covariance peu fiable sans régularisation ou réduction de dimensionnalité.
  • Les données non étiquetées peuvent nuire plutôt qu'aider si l'hypothèse de cluster n'est pas respectée (les clusters ne s'alignent pas avec les frontières de classe).
  • Évolue mal vers de très grands ensembles de données non étiquetées sans variantes EM stochastiques ou par mini-batch.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Tire parti des données non étiquetées pour améliorer l'estimation des paramètres lorsque les étiquettes sont coûteuses ou rares.
  • Fournit des probabilités a posteriori de classe probabilistes fondées, permettant une quantification de l'incertitude calibrée.
  • Modèle génératif mathématiquement transparent avec des garanties de convergence EM bien comprises.
  • Gère naturellement les problèmes multi-classes sans décomposition un contre tous.
  • Peut être étendu avec plusieurs gaussiennes par classe pour capturer des distributions intra-classe multimodales.

Applications

  • Classification de texte et de documents lorsqu'une petite fraction des textes seulement peut être étiquetée manuellement.
  • Analyse d'images médicales où l'annotation experte est coûteuse et les scans non étiquetés sont abondants.
  • Tâches de bioinformatique telles que le clustering d'expression génique avec des étiquettes de classe partielles.
  • Classification de données de capteurs et de séries temporelles dans les déploiements IoT avec une vérité terrain éparse.
  • Détection d'anomalies semi-supervisée en modélisant la densité de la classe normale à partir de données non étiquetées abondantes.
  • Apprentissage de caractéristiques en traitement du langage naturel avant que l'apprentissage profond ne devienne dominant.

Comment ça marche

Comment ça marche

1

Initialiser les paramètres du mélange — moyennes des composantes, covariances et poids de mélange — soit à partir du sous-ensemble étiqueté seul (par exemple, moyennes conditionnelles à la classe), soit via k-means sur toutes les données disponibles. Le nombre de composantes K est généralement défini égal au nombre de classes connues, bien que plusieurs composantes par classe soient possibles.

2

Pour chaque point non étiqueté, calculer les responsabilités douces : la probabilité a posteriori que le point i appartienne à la composante k, étant donné les paramètres actuels. Les points étiquetés reçoivent des affectations dures — leur responsabilité pour la composante de classe correcte est fixée à un et zéro ailleurs — ce qui renforce la supervision sans casser le cadre EM.

Formule
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}
3

La contrainte d'affectation dure sur les points étiquetés est la principale différence par rapport au GMM non supervisé. Elle ancre l'identité de la composante à la sémantique de la classe, empêchant le problème bien connu de permutation d'étiquettes et garantissant que la structure de cluster apprise à partir des données non étiquetées est interprétable en termes de classes connues.

4

Mettre à jour tous les paramètres du mélange en utilisant les statistiques combinées pondérées par les responsabilités des points étiquetés et non étiquetés. Parce que les points non étiquetés contribuent avec des comptes fractionnaires à chaque composante, ils lissent et stabilisent efficacement les estimations de paramètres dans les régions où les données étiquetées sont rares.

Formule
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}
5

Répéter les étapes E et M jusqu'à ce que la vraisemblance logarithmique des données observées (sommée sur les points étiquetés et non étiquetés) cesse d'augmenter au-delà d'une petite tolérance. Surveiller attentivement la convergence : plusieurs redémarrages aléatoires sont conseillés car EM converge vers un optimum local et la solution finale dépend de l'initialisation.

6

Classifier un nouveau point en trouvant la composante avec la probabilité a posteriori la plus élevée étant donné les paramètres convergés. La classe prédite est l'étiquette associée à cette composante. Les probabilités a posteriori entre les composantes servent également de scores de confiance calibrés.

Formule
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)

Pièges courants

  • Exécuter une seule initialisation EM et accepter la première solution convergée — utiliser toujours plusieurs redémarrages.
  • Définir K égal au nombre de classes sans tenir compte de la multimodalité intra-classe, conduisant à une mauvaise capture de la densité.
  • Appliquer le modèle dans des dimensions élevées sans d'abord réduire la dimensionnalité ou régulariser les matrices de covariance (par exemple, covariance diagonale ou liée).
  • Supposer que les données non étiquetées aident toujours — si les hypothèses de cluster et de variété sont violées, les données non étiquetées peuvent dégrader la précision.
  • Négliger de pondérer correctement le terme de vraisemblance logarithmique des données étiquetées ; une solution courante consiste à augmenter les contributions des points étiquetés par un facteur lambda.

Questions fréquentes

En quoi le SS-GMM diffère-t-il d'un GMM entièrement non supervisé ?

Un GMM non supervisé trouve une structure de cluster sans connaissance des étiquettes de classe et souffre de permutation d'étiquettes — les indices de cluster n'ont pas de signification sémantique. Le SS-GMM ancre les points étiquetés à leurs composantes correctes lors de chaque étape E, ancrant l'identité du cluster à la sémantique de la classe et permettant aux points non étiquetés d'affiner les estimations de densité.

Et si les données non étiquetées nuisaient à ma précision ?

C'est le problème de la 'violation de l'hypothèse de cluster' : si les frontières de classe ne s'alignent pas avec les clusters de densité naturels, les données non étiquetées orientent le modèle dans la mauvaise direction. Les étapes de diagnostic comprennent la visualisation des données en 2D (PCA/t-SNE), l'augmentation du poids lambda sur les points étiquetés, ou le passage à une méthode semi-supervisée discriminative telle qu'un SVM semi-supervisé.

Combien de composantes gaussiennes dois-je utiliser par classe ?

Commencez avec une composante par classe. Si une classe a une structure clairement multimodale (par exemple, deux sous-populations), autorisez deux composantes ou plus pour cette classe. Utilisez le BIC ou la vraisemblance sur un ensemble de validation du sous-ensemble étiqueté pour comparer les ordres de modèle sans sur-ajustement.

Dois-je utiliser des matrices de covariance complètes, diagonales ou liées ?

La covariance complète est la plus flexible mais nécessite de nombreux échantillons par composante. La covariance diagonale (les caractéristiques sont supposées indépendantes) est le choix par défaut le plus sûr dans des dimensions modérées à élevées. La covariance liée (toutes les composantes partagent une seule matrice) réduit davantage les paramètres et convient lorsque les classes ont une dispersion similaire.

Y a-t-il un poids pour les contributions étiquetées par rapport aux non étiquetées ?

Oui. Une extension courante multiplie la vraisemblance logarithmique des données étiquetées par un facteur lambda > 1 pour compenser le nombre généralement beaucoup plus important de points non étiquetés. Sans cela, la majorité non étiquetée peut dominer les mises à jour des paramètres et effacer le signal de supervision.

Méthodes associées

Sources

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN : 978-0-262-03358-9
    Copié.
  2. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.

    Ouvrir la référence DOI
    Copié.