Modèle de mélange gaussien
- Introduite par
- Dempster, Laird & Rubin (EM algorithm)
- Année
- 1977
- Type
- Probabilistic (soft) clustering — mixture model
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Un modèle de mélange gaussien est une méthode de regroupement probabiliste qui modélise les données comme un mélange pondéré de plusieurs distributions gaussiennes, ajusté par l'algorithme Espérance-Maximisation formalisé par Dempster, Laird & Rubin en 1977.
C'est une généralisation de K-moyennes où chaque cluster peut avoir sa propre forme, taille et orientation.
L’intuition derrière la méthode
Imaginez que les données ont été produites en tirant des points de quelques nuages en forme de cloche qui se chevauchent, chacun avec son propre centre, sa dispersion et son inclinaison. Un modèle de mélange gaussien tente d'inverser ces nuages cachés : il demande combien il y a de cloches et où elles se trouvent, et au lieu de forcer chaque point dans un seul cluster, il attribue à chaque point une probabilité d'appartenir à chaque composante. Cette affectation douce lui permet de capturer des clusters étirés ou tournés qu'une méthode rigide et sphérique comme K-moyennes diviserait incorrectement.
Histoire
L'algorithme Espérance-Maximisation qui alimente les modèles de mélange gaussien a été formalisé par Dempster, Laird & Rubin dans leur article de 1977 sur la vraisemblance maximale à partir de données incomplètes, qui a encadré le regroupement comme l'estimation des paramètres d'un mélange latent. La vue du modèle de mélange transforme le regroupement en un problème de vraisemblance et sous-tend les outils de regroupement basés sur modèle largement utilisés aujourd'hui.
Quand l’utiliser
Utilisez un modèle de mélange gaussien pour le regroupement ou l'exploration de données continues, approximativement en forme de cloche, lorsque les clusters peuvent se chevaucher, différer en taille, ou être allongés plutôt que sphériques, et que vous souhaitez des appartenances probabilistes douces plutôt que des étiquettes rigides. Il suppose que les données ont été générées par un mélange de gaussiennes, fonctionne sur des variables continues, et nécessite au moins environ 50 observations. Le nombre de composantes peut être choisi avec BIC ou AIC, et un prétraitement PCA est conseillé contre la malédiction de la dimensionnalité. Avec moins d'environ 50 observations, ou lorsque l'hypothèse gaussienne échoue, K-moyennes est un choix plus robuste.
Limites et points d’attention
- Suppose que les données ont été générées par un mélange de gaussiennes ; les résultats souffrent lorsque cette hypothèse échoue.
- EM peut converger vers un optimum local, donc les résultats dépendent de l'initialisation.
- Les matrices de covariance peuvent devenir singulières, en particulier dans les dimensions élevées ou les petits échantillons.
- Nécessite au moins environ 50 observations et bénéficie d'un prétraitement PCA pour éviter la malédiction de la dimensionnalité.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Appartenances de cluster douces et probabilistes au lieu d'affectations rigides forcées.
- Chaque composante a sa propre covariance, donc les clusters peuvent être allongés, tournés ou de tailles différentes.
- Une véritable généralisation de K-moyennes qui assouplit l'hypothèse de clusters sphériques de taille égale.
- Le nombre de composantes peut être choisi objectivement avec des critères d'information tels que BIC ou AIC.
Applications
- Regroupement doux et probabiliste de données continues où les clusters se chevauchent.
- Analyse exploratoire de sous-populations avec des clusters de formes ou de tailles différentes.
- Estimation de densité en représentant les données comme un mélange pondéré de gaussiennes.
- Une alternative plus flexible à K-moyennes lorsque des clusters sphériques de taille égale ne sont pas réalistes.
Comment ça marche
Comment ça marche
Les données sont traitées comme provenant d'une somme pondérée de K distributions gaussiennes. Chaque composante a un poids de mélange, un vecteur moyen et une matrice de covariance, de sorte qu'une seule composante peut être allongée ou inclinée plutôt que forcée dans une sphère. L'objectif est de trouver les poids, les moyennes et les covariances qui rendent les données observées les plus probables.
Formule
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)Dans l'étape E (Espérance), le modèle calcule pour chaque observation la responsabilité de chaque composante — la probabilité a posteriori que le point ait été généré par cette gaussienne. Ces appartenances douces remplacent les affectations tout ou rien de K-moyennes et capturent le chevauchement entre les clusters.
Formule
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}Dans l'étape M (Maximisation), les paramètres de chaque composante sont réestimés comme des statistiques pondérées par la responsabilité : la moyenne, la covariance et le poids de mélange sont mis à jour en utilisant chaque point proportionnellement à la force avec laquelle il appartient à cette composante. Les étapes E et M alternent, augmentant la vraisemblance jusqu'à ce que l'ajustement converge.
Formule
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}Le nombre de composantes n'est pas fixé à l'avance : les valeurs candidates sont comparées à l'aide de critères d'information tels que BIC ou AIC, qui équilibrent l'ajustement par rapport à la complexité. Parce que EM peut converger vers un optimum local et que les matrices de covariance peuvent devenir singulières, une réduction de dimensionnalité comme PCA au préalable et plusieurs redémarrages sont recommandés.
Pièges courants
- Exécuter GMM sur des échantillons inférieurs à environ 50, où EM se bloque dans des optima locaux et les covariances deviennent singulières.
- Sauter PCA ou autre réduction de dimension sur des données de haute dimension, invitant des matrices de covariance singulières.
- Fixer le nombre de composantes à l'œil au lieu de comparer BIC/AIC entre les candidats.
- Se fier à une seule exécution EM au lieu de plusieurs redémarrages pour échapper à de mauvais optima locaux.
- L'appliquer à des données clairement non gaussiennes où K-moyennes serait plus robuste.
Questions fréquentes
En quoi un modèle de mélange gaussien diffère-t-il de K-moyennes ?
K-moyennes attribue chaque point à exactement un cluster sphérique de taille égale. Un modèle de mélange gaussien en est sa généralisation : chaque composante a sa propre covariance, donc les clusters peuvent être allongés, tournés ou de tailles différentes, et chaque point reçoit une probabilité d'appartenir à chaque composante plutôt qu'une seule étiquette rigide.
Comment choisir le nombre de composantes ?
Ajustez le modèle pour plusieurs nombres de composantes candidats et comparez-les avec des critères d'information tels que BIC ou AIC, qui pondèrent la qualité de l'ajustement par rapport à la complexité du modèle, puis choisissez le nombre qui optimise le critère.
Pourquoi mon GMM donne-t-il des résultats différents à chaque exécution ?
Il est ajusté avec EM, qui peut converger vers un optimum local en fonction de l'initialisation. L'exécution de plusieurs redémarrages et la conservation du meilleur ajustement, et la réduction des dimensions avec PCA d'abord, rendent le résultat plus stable.
Quand devrais-je préférer K-moyennes à la place ?
Lorsque l'échantillon est petit (inférieur à environ 50) ou que les données ne sont clairement pas gaussiennes, EM peut se bloquer dans un optimum local et les matrices de covariance peuvent devenir singulières ; K-moyennes est le choix le plus robuste dans ces cas.
Méthodes associées
Sources
Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.
Ouvrir la référence DOICopié.