Zum Inhalt springen
Zurück zu den Suchergebnissen

Gaußsches Mischmodell

Eingeführt von
Dempster, Laird & Rubin (EM algorithm)
Jahr
1977
Typ
Probabilistic (soft) clustering — mixture model

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein Gaußsches Mischmodell (Gaussian Mixture Model, GMM) ist eine probabilistische Clustering-Methode, die die Daten als gewichtete Mischung mehrerer Gauß-Verteilungen modelliert, angepasst mit dem Erwartungsmaximierungsalgorithmus (Expectation–Maximization algorithm), der 1977 von Dempster, Laird & Rubin formalisiert wurde.

Es ist eine Verallgemeinerung von K-Means, bei der jeder Cluster seine eigene Form, Größe und Ausrichtung annehmen kann.

Die Intuition hinter der Methode

Stellen Sie sich vor, die Daten wurden durch Ziehen von Punkten aus einigen überlappenden glockenförmigen Wolken erzeugt, jede mit ihrem eigenen Zentrum, ihrer eigenen Streuung und Neigung. Ein Gaußsches Mischmodell versucht, diese verborgenen Wolken rückwärts zu entwickeln: Es fragt, wie viele Glocken es gibt und wo sie sitzen, und anstatt jeden Punkt einem einzigen Cluster zuzuweisen, gibt es jedem Punkt eine Wahrscheinlichkeit, zu jeder Komponente zu gehören. Diese weiche Zuweisung (soft assignment) ermöglicht es, gestreckte oder gedrehte Cluster zu erfassen, die eine harte, sphärische Methode wie K-Means falsch aufteilen würde.

Geschichte

Der Erwartungsmaximierungsalgorithmus, der Gaußsche Mischmodelle antreibt, wurde von Dempster, Laird & Rubin in ihrer Arbeit von 1977 über Maximum Likelihood aus unvollständigen Daten formalisiert, die Clustering als Schätzung von Parametern einer latenten Mischung betrachtete. Die Sichtweise des Mischmodells verwandelt Clustering in ein Likelihood-Problem und bildet die Grundlage für modellbasierte Clustering-Werkzeuge, die heute weit verbreitet sind.

Wann wird sie eingesetzt?

Verwenden Sie ein Gaußsches Mischmodell zum Clustering oder zur Exploration kontinuierlicher, annähernd Gauß-förmiger Daten, wenn Cluster überlappen, sich in der Größe unterscheiden oder langgestreckt statt sphärisch sind und Sie weiche probabilistische Zugehörigkeiten anstelle harter Labels wünschen. Es geht davon aus, dass die Daten durch eine Mischung von Gauß-Verteilungen erzeugt wurden, arbeitet mit kontinuierlichen Variablen und benötigt mindestens etwa 50 Beobachtungen. Die Anzahl der Komponenten kann mit BIC oder AIC gewählt werden, und PCA-Vorverarbeitung wird gegen den Fluch der Dimensionalität geraten.

Grenzen und Hinweise

  • Geht davon aus, dass die Daten durch eine Mischung von Gauß-Verteilungen erzeugt wurden; die Ergebnisse leiden, wenn diese Annahme fehlschlägt.
  • EM kann zu einem lokalen Optimum konvergieren, daher hängen die Ergebnisse von der Initialisierung ab.
  • Kovarianzmatrizen können insbesondere in hohen Dimensionen oder bei kleinen Stichproben singulär werden.
  • Benötigt mindestens etwa 50 Beobachtungen und profitiert von PCA-Vorverarbeitung, um den Fluch der Dimensionalität zu vermeiden.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Weiche, probabilistische Cluster-Zugehörigkeiten anstelle erzwungener harter Zuweisungen.
  • Jede Komponente hat ihre eigene Kovarianz, sodass Cluster langgestreckt, gedreht oder unterschiedlich groß sein können.
  • Eine echte Verallgemeinerung von K-Means, die die Annahme von sphärischen Clustern gleicher Größe lockert.
  • Die Anzahl der Komponenten kann objektiv mit Informationskriterien wie BIC oder AIC gewählt werden.

Anwendungen

  • Weiches, probabilistisches Clustering kontinuierlicher Daten, bei denen Cluster überlappen.
  • Explorative Analyse von Subpopulationen mit unterschiedlich geformten oder großen Clustern.
  • Dichteschätzung durch Darstellung von Daten als gewichtete Mischung von Gauß-Verteilungen.
  • Eine flexiblere Alternative zu K-Means, wenn sphärische Cluster gleicher Größe unrealistisch sind.

So funktioniert es

So funktioniert es

1

Die Daten werden als aus einer gewichteten Summe von K Gauß-Verteilungen stammend behandelt. Jede Komponente hat ein Mischgewicht, einen Mittelwertvektor und eine Kovarianzmatrix, sodass eine einzelne Komponente langgestreckt oder geneigt sein kann, anstatt zu einer Kugel gezwungen zu werden. Das Ziel ist es, die Gewichte, Mittelwerte und Kovarianzen zu finden, die die beobachteten Daten am wahrscheinlichsten machen.

Formel
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)
2

Im E-Schritt (E-step) berechnet das Modell für jede Beobachtung die Verantwortlichkeit (responsibility) jeder Komponente – die A-posteriori-Wahrscheinlichkeit, dass der Punkt von dieser Gauß-Verteilung erzeugt wurde. Diese weichen Zugehörigkeiten (soft memberships) ersetzen die Alles-oder-Nichts-Zuweisungen von K-Means und erfassen die Überlappung zwischen Clustern.

Formel
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}
3

Im M-Schritt (M-step) werden die Parameter jeder Komponente als verantwortlichkeitsgewichtete Statistiken neu geschätzt: Mittelwert, Kovarianz und Mischgewicht werden unter Verwendung jedes Punktes proportional dazu aktualisiert, wie stark er zu dieser Komponente gehört. E- und M-Schritte wechseln sich ab und erhöhen die Likelihood, bis die Anpassung konvergiert.

Formel
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}
4

Die Anzahl der Komponenten ist nicht im Voraus festgelegt: Kandidatenwerte werden anhand von Informationskriterien wie BIC oder AIC verglichen, die die Anpassungsgüte gegen die Komplexität abwägen. Da EM in einem lokalen Optimum stecken bleiben kann und Kovarianzmatrizen singulär werden können, werden Dimensionsreduktion wie PCA im Voraus und mehrere Neustarts empfohlen.

Häufige Fallstricke

  • Ausführen von GMM auf Stichproben unter etwa 50, wo EM in lokalen Optima stecken bleibt und Kovarianzen singulär werden.
  • Überspringen von PCA oder anderer Dimensionsreduktion bei hochdimensionalen Daten, was zu singulären Kovarianzmatrizen führt.
  • Festlegen der Anzahl der Komponenten nach Augenmaß anstatt Vergleichen von BIC/AIC über Kandidaten hinweg.
  • Verlassen auf einen einzigen EM-Lauf anstelle mehrerer Neustarts, um schlechte lokale Optima zu entkommen.
  • Anwendung auf eindeutig nicht-Gaußsche Daten, bei denen K-Means robuster wäre.

Häufig gestellte Fragen

Wie unterscheidet sich ein Gaußsches Mischmodell von K-Means?

K-Means weist jeden Punkt genau einem sphärischen Cluster gleicher Größe zu. Ein Gaußsches Mischmodell ist seine Verallgemeinerung: Jede Komponente hat ihre eigene Kovarianz, sodass Cluster langgestreckt, gedreht oder unterschiedlich groß sein können, und jeder Punkt erhält eine Wahrscheinlichkeit, zu jeder Komponente zu gehören, anstatt eines einzelnen harten Labels.

Wie wähle ich die Anzahl der Komponenten?

Passen Sie das Modell für mehrere Kandidaten-Komponentenzahlen an und vergleichen Sie sie mit Informationskriterien wie BIC oder AIC, die die Anpassungsgüte gegen die Modellkomplexität abwägen, und wählen Sie dann die Anzahl, die das Kriterium optimiert.

Warum liefert mein GMM bei jedem Lauf unterschiedliche Ergebnisse?

Es wird mit EM angepasst, das je nach Initialisierung zu einem lokalen Optimum konvergieren kann. Mehrere Neustarts durchzuführen und die beste Anpassung beizubehalten sowie vorher Dimensionen mit PCA zu reduzieren, macht das Ergebnis stabiler.

Wann sollte ich stattdessen K-Means bevorzugen?

Wenn die Stichprobe klein ist (unter etwa 50) oder die Daten eindeutig nicht Gaußsch sind, kann EM in einem lokalen Optimum stecken bleiben und Kovarianzmatrizen können singulär werden; K-Means ist in diesen Fällen die robustere Wahl.

Verwandte Methoden

Quellen

  1. Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.

    DOI-Referenz öffnen
    Kopiert.