Skip to content
Retour aux résultats

Modèle Bayésien de Mélange Gaussien

Introduite par
Attias, H.; Bishop, C. M.
Année
1999–2006
Type
Probabilistic clustering / density estimation
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le Modèle Bayésien de Mélange Gaussien (Bayesian Gaussian Mixture Model) place des distributions a priori sur tous les paramètres du mélange et en infère les distributions a posteriori — typiquement via Variational Bayes ou MCMC — plutôt que d'ajuster des estimations ponctuelles fixes.

Ceci produit une quantification de l'incertitude fondée sur des principes, une sélection automatique du nombre effectif de composantes, et une résistance au surapprentissage sur de petits jeux de données.

L’intuition derrière la méthode

Un GMM standard demande combien de clusters ajuster, puis s'engage sur ce nombre, optimisant les moyennes et covariances fixes par EM. La version bayésienne maintient plutôt des distributions de probabilité sur chaque paramètre : elle reste incertaine quant à la localisation, la forme de chaque cluster, et même quant à la nécessité d'un cluster. Les composantes que les données ne soutiennent pas sont automatiquement réduites vers un poids nul via l'a priori, de sorte que le modèle puisse déterminer sa propre complexité effective sans sélection de modèle validée croisée sur de nombreuses valeurs de K.

Histoire

Le traitement bayésien des modèles de mélange a été formalisé par des échantillonneurs MCMC dans les années 1990. Attias (1999) a introduit l'approche Variational Bayes pour les GMM, et le cadre a été popularisé et systématisé par Bishop (2006) dans Pattern Recognition and Machine Learning, où le Chapitre 10 présente la dérivation complète. Des extensions non paramétriques utilisant des a priori de Processus de Dirichlet, permettant un K véritablement ouvert, ont suivi chez Rasmussen (2000) et Blei & Jordan (2006).

Quand l’utiliser

Utiliser lorsque vous avez besoin d'un clustering probabiliste doux ou d'une estimation de densité sur des données multivariées continues et que vous souhaitez éviter de fixer le nombre de composantes K à l'avance, ou lorsque vous avez besoin d'estimations d'incertitude autour des affectations de clusters et des paramètres. Idéal pour les jeux de données de petite à moyenne taille (dizaines à dizaines de milliers d'observations) où les GMM EM standard surapprennent. Ne convient pas aux données de très haute dimension sans réduction de dimensionnalité, aux caractéristiques uniquement catégorielles ou ordinales, ou lorsqu'une partition dure non probabiliste est tout ce qui est requis et que la vitesse est primordiale.

Limites et points d’attention

  • Variational Bayes trouve un optimum local de l'ELBO, pas le postérieur global ; les résultats peuvent dépendre de l'initialisation.
  • Le choix des hyperparamètres a priori (en particulier la concentration de Dirichlet) affecte quelles composantes survivent et doit être justifié.
  • Plus coûteux en calcul que le GMM EM standard par itération et plus difficile à implémenter à partir de zéro.
  • Les données de haute dimension (beaucoup de caractéristiques) nécessitent une paramétrisation soignée de la covariance ou une réduction de dimensionnalité a priori.
  • L'interprétation des posteriors des composantes nécessite une familiarité avec les concepts d'inférence variationnelle.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Élague automatiquement les composantes inutilisées, réduisant le besoin de pré-spécifier K par des recherches répétées sur grille.
  • Retourne des distributions a posteriori complètes sur les paramètres, permettant une quantification de l'incertitude calibrée sur les affectations de clusters.
  • Résistant au surapprentissage sur de petits jeux de données car l'a priori régularise les covariances et les poids des composantes.
  • Les affectations douces le rendent adapté aux pipelines probabilistes en aval et aux réseaux de densité de mélange.
  • L'implémentation Variational Bayes est plus performante que le MCMC complet tout en conservant les avantages bayésiens.

Applications

  • Diarisation de locuteurs et segmentation audio où le nombre de locuteurs est inconnu.
  • Détection d'anomalies en identifiant les observations auxquelles une faible probabilité est attribuée sous toutes les composantes apprises.
  • Segmentation d'images et quantification de couleurs avec une appartenance douce pixel-à-cluster.
  • Estimation de densité pour la modélisation générative et la simulation de données multivariées continues.
  • Clustering de profils génomiques ou cliniques de patients lorsque le nombre réel de sous-types est incertain.
  • Initialisation de modèles génératifs plus complexes tels que les auto-encodeurs variationnels.

Comment ça marche

Comment ça marche

1

Des a priori conjugués sont placés sur les proportions de mélange (Dirichlet), les moyennes des composantes (Gaussien), et les matrices de précision (Wishart). Le paramètre de concentration de la Dirichlet contrôle la dispersion du poids du mélange entre les composantes : une petite valeur concentre le poids sur peu de clusters, pénalisant efficacement les composantes non nécessaires.

Formule
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

La passe E variationnelle calcule des responsabilités douces r_nk — la probabilité a posteriori approximative que l'observation n appartienne à la composante k — en utilisant les espérances actuelles des poids de mélange logarithmiques et des déterminants de précision logarithmiques plutôt que des estimations ponctuelles, de sorte que l'incertitude des paramètres se propage dans les affectations de clusters.

Formule
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

Les statistiques suffisantes pour chaque composante sont accumulées à partir des responsabilités douces : compte effectif N_k, moyenne pondérée, et matrice de dispersion pondérée. Celles-ci remplacent les équivalents à comptage dur de l'EM et pilotent les mises à jour a posteriori des paramètres subséquentes.

Formule
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

Les paramètres naturels de chaque a posteriori conjugué sont mis à jour en ajoutant les statistiques suffisantes aux hyperparamètres a priori. L'a posteriori de Dirichlet réduit les composantes avec un faible N_k vers un poids nul, implémentant l'élagage automatique des clusters inutilisés.

Formule
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

La convergence est surveillée par la borne inférieure d'évidence (Evidence Lower BOund, ELBO), une borne inférieure de la vraisemblance marginale logarithmique. L'ELBO est garanti d'être non décroissant à chaque cycle EM variationnel ; l'itération continue jusqu'à ce que l'amélioration tombe en dessous d'une tolérance.

Formule
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

Pièges courants

  • Définir le nombre initial de composantes K trop petit, empêchant le modèle de découvrir toute la structure réelle même si les composantes inutilisées sont élaguées.
  • Ignorer la sensibilité à la concentration de l'a priori de Dirichlet sans effectuer un bref balayage des hyperparamètres.
  • Faire confiance à une seule initialisation aléatoire ; plusieurs redémarrages avec sélection de la meilleure ELBO sont importants.
  • Appliquer le modèle à des données discrètes ou de types mixtes sans transformer les caractéristiques en une forme gaussienne approximativement continue.
  • Rapporter uniquement les étiquettes de cluster sans les responsabilités douces, en écartant la sortie probabiliste clé du modèle.

Questions fréquentes

En quoi est-ce différent d'un GMM standard ajusté par EM ?

EM standard donne des estimations ponctuelles (moyennes, covariances, poids fixes) et nécessite de fixer K avant l'ajustement. Le GMM bayésien infère des posteriors complets sur tous les paramètres, élague automatiquement les composantes vides, et propage l'incertitude des paramètres dans les prédictions.

Comment choisir le nombre initial de composantes K ?

Définir K généreusement plus grand que votre nombre attendu de clusters. L'a priori de Dirichlet réduira le compte effectif : les composantes qui ne sont pas soutenues par les données accumulent un poids proche de zéro et sont automatiquement élaguées. Une heuristique courante est de commencer avec K = 2 × (clusters attendus).

Variational Bayes est-il toujours meilleur que MCMC pour ce modèle ?

Variational Bayes est plus rapide et déterministe mais approxime le postérieur avec une distribution factorisée qui peut sous-estimer l'incertitude. MCMC est asymptotiquement exact mais coûteux. Pour la plupart des problèmes pratiques avec des données modérées, Variational Bayes est le choix pragmatique.

Quels hyperparamètres sont les plus importants ?

La concentration de Dirichlet alpha_0 contrôle l'agressivité avec laquelle les composantes sont élaguées. Une petite valeur (par exemple, 0.01 à 1) favorise les solutions éparses ; une grande valeur répartit le poids plus uniformément. Les degrés de liberté nu_0 et l'échelle W_0 de Wishart contrôlent à quel point les formes de covariance sont contraintes.

Quand devrais-je utiliser un GMM de Processus de Dirichlet à la place ?

Utiliser un GMM de Processus de Dirichlet (mélange infini) lorsque vous souhaitez un traitement entièrement non paramétrique qui ne nécessite pas de spécifier une borne supérieure K du tout. Le compromis est une complexité d'implémentation plus élevée et une inférence plus lente.

Méthodes associées

Sources

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    ISBN : 978-0-387-31073-2
    Copié.
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    Ouvrir la référence de la publication
    Copié.