Zum Inhalt springen
Zurück zu den Suchergebnissen

Hierarchische Clusteranalyse

Eingeführt von
Ward, J. H.
Jahr
1963
Typ
Unsupervised clustering (agglomerative)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Die hierarchische Clusteranalyse ist eine unüberwachte Methode, die Beobachtungen in verschachtelte Cluster gruppiert und das Ergebnis als Dendrogramm darstellt, sodass die Anzahl der Cluster nicht im Voraus festgelegt werden muss.

Ihre agglomerative Form beruht auf dem von Joe Ward 1963 eingeführten Kriterium zur Gruppierung mittels Zielfunktion.

Die Intuition hinter der Methode

Stellen Sie sich vor, jede Beobachtung beginnt als ihre eigene winzige Gruppe. In jedem Schritt werden die beiden ähnlichsten Gruppen zusammengeführt, dann die nächsten beiden und so weiter, bis alles zu einem einzigen Baum verbunden ist. Das Schneiden dieses Baumes auf verschiedenen Höhen ergibt unterschiedliche Anzahlen von Clustern, sodass Sie entscheiden können, wie fein die Daten aufgeteilt werden sollen, nachdem Sie die Struktur gesehen haben, anstatt sich im Voraus auf eine feste Anzahl festzulegen.

Geschichte

Die agglomerative Form der hierarchischen Clusteranalyse wurde 1963 von Joe H. Ward formalisiert, der die Clusterzusammenführung als Optimierung einer Zielfunktion formulierte – Minimierung der Zunahme der Varianz innerhalb der Gruppen bei jeder Zusammenführung. Die Verknüpfung nach Ward bleibt eines der am weitesten verbreiteten Kriterien, und das von ihr erzeugte Dendrogramm ist ein Standardwerkzeug für die Exploration in den Sozial-, Gesundheits- und Wirtschaftswissenschaften.

Wann wird sie eingesetzt?

Verwenden Sie sie für explorative Gruppierungen, wenn Sie Strukturen entdecken möchten, ohne die Anzahl der Cluster im Voraus festzulegen, auf kontinuierlichen, ordinalen oder kategorialen Merkmalen mit mindestens etwa 10 Beobachtungen. Sie ist annahmenarm, beruht aber auf zwei Entscheidungen: einer geeigneten Distanzmetrik und einer geeigneten Verknüpfungsmethode. Bei weniger als etwa 10 Beobachtungen ist die Distanzmatrix unzuverlässig und das Dendrogramm kann keine aussagekräftige Struktur zeigen, daher ist K-Means eine sicherere Alternative; bei sehr kleinen Stichproben werden die Ergebnisse übermäßig empfindlich gegenüber der Verknüpfungsmethode und die Clusterzugehörigkeiten sind instabil.

Grenzen und Hinweise

  • Die Ergebnisse hängen stark von der gewählten Distanzmetrik und Verknüpfungsmethode ab, die Benutzerentscheidungen sind.
  • Bei kleinen Stichproben sind die Clusterzugehörigkeiten instabil und übermäßig empfindlich gegenüber der Verknüpfungsmethode.
  • Bei weniger als etwa 10 Beobachtungen ist die Distanzmatrix unzuverlässig und das Dendrogramm zeigt keine aussagekräftige Struktur.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erfordert nicht, dass die Anzahl der Cluster im Voraus festgelegt wird – Sie lesen sie aus dem Dendrogramm ab.
  • Das Dendrogramm liefert eine interpretierbare visuelle Darstellung, wie Cluster auf verschiedenen Ähnlichkeitsniveaus verschachtelt sind.
  • Annahmenarm: keine Normalitätsanforderung, und sie berücksichtigt kontinuierliche, ordinale und kategoriale Merkmale durch die Wahl der Distanz.
  • Funktioniert als exploratives Werkzeug, um Struktur aufzudecken, bevor man sich auf eine Partition festlegt.

Anwendungen

  • Explorative Segmentierung von Beobachtungen, wenn die Anzahl der Gruppen unbekannt ist.
  • Erstellung eines Dendrogramms zur Visualisierung, wie Fälle auf verschiedenen Ähnlichkeitsniveaus verschachtelt sind.
  • Gruppierung von Befragten, Stichproben oder Einheiten anhand gemischter kontinuierlicher, ordinaler und kategorialer Merkmale.
  • Generierung von Kandidaten-Clusteranzahlen zur Information einer späteren Partitionierungsmethode.

So funktioniert es

So funktioniert es

1

Zuerst wird ein Abstand zwischen jedem Beobachtungspaar mit einer gewählten Distanzmetrik berechnet, wodurch eine Distanzmatrix entsteht. Die Wahl der Metrik ist wichtig: Sie definiert, was als 'ähnlich' gilt, und kontinuierliche, ordinale und kategoriale Merkmale können unterschiedliche Distanzdefinitionen erfordern.

2

Ausgehend von jeder Beobachtung als eigenem Cluster führt der Algorithmus wiederholt die beiden Cluster zusammen, die sich gemäß einer gewählten Verknüpfungsmethode am nächsten sind. Kriterium nach Ward beispielsweise fasst das Paar zusammen, das die geringste Erhöhung der Varianz innerhalb der Cluster ergibt, und hält die resultierenden Cluster so kompakt wie möglich. Die Wahl der Verknüpfungsmethode prägt die endgültige Gruppierung stark.

Formel
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2
3

Die Abfolge der Zusammenführungen wird als Dendrogramm aufgezeichnet, ein Baum, dessen Asthöhen den Abstand zeigen, bei dem Cluster zusammengeführt wurden. Das Schneiden des Dendrogramms auf einer gewählten Höhe ergibt die Clusterzuweisungen, sodass die Anzahl der Cluster vom Baum abgelesen und nicht im Voraus festgelegt wird.

Häufige Fallstricke

  • Durchführung der hierarchischen Clusteranalyse auf weniger als etwa 10 Beobachtungen, bei denen die Distanzmatrix und das Dendrogramm nicht vertrauenswürdig sind.
  • Auswahl einer Distanzmetrik und Verknüpfungsmethode ohne Begründung und Behandlung des Ergebnisses als endgültig.
  • Vertrauen auf instabile Clusterzugehörigkeiten bei einer kleinen Stichprobe, anstatt auf K-Means oder eine Gaußsche Mischung umzusteigen.
  • Erzwingen einer festen Anzahl von Clustern, bevor die natürlichen Schnittpunkte des Dendrogramms inspiziert werden.

Häufig gestellte Fragen

Muss ich die Anzahl der Cluster zuerst wählen?

Nein. Die hierarchische Clusteranalyse erstellt unabhängig davon den vollständigen Zusammenführungbaum, und Sie entscheiden die Anzahl der Cluster nachträglich, indem Sie das Dendrogramm auf einer gewählten Höhe schneiden – das ist einer ihrer Hauptvorteile gegenüber Methoden wie K-Means.

Welche Distanzmetrik und Verknüpfung soll ich verwenden?

Beides sind bewusste Entscheidungen, die das Ergebnis stark prägen. Die Distanzmetrik sollte zu Ihren Merkmalstypen passen, und die Verknüpfung nach Ward ist ein gängiger Standard, da sie Cluster kompakt hält, indem sie die Zunahme der Varianz innerhalb der Cluster bei jeder Zusammenführung minimiert.

Wie viele Beobachtungen benötige ich?

Mindestens etwa 10. Darunter ist die Distanzmatrix unzuverlässig und das Dendrogramm kann keine aussagekräftige Struktur offenbaren, daher ist K-Means die sicherere Alternative.

Warum sind meine Cluster instabil?

Bei kleinen Stichproben ist das Ergebnis übermäßig empfindlich gegenüber der Verknüpfungsmethode, sodass sich die Clusterzugehörigkeiten bei kleinen Änderungen verschieben. In dieser Situation sollten Sie stattdessen K-Means oder ein Gaußsches Mischmodell in Betracht ziehen.

Verwandte Methoden

Quellen

  1. Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.

    DOI-Referenz öffnen
    Kopiert.