Skip to content
Retour aux résultats

Regroupement hiérarchique

Introduite par
Ward, J. H.
Année
1963
Type
Unsupervised clustering (agglomerative)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le regroupement hiérarchique est une méthode non supervisée qui regroupe les observations en clusters imbriqués et représente le résultat sous forme de dendrogramme, de sorte que le nombre de clusters n'a pas besoin d'être fixé à l'avance.

Sa forme agglomérative repose sur le critère de regroupement par fonction objectif introduit par Joe Ward en 1963.

L’intuition derrière la méthode

Imaginez que chaque observation commence comme son propre petit groupe. À chaque étape, les deux groupes les plus similaires sont fusionnés, puis les deux suivants, et ainsi de suite, jusqu'à ce que tout se joigne en un seul arbre. Couper cet arbre à différentes hauteurs donne différents nombres de clusters, vous pouvez donc décider de la finesse avec laquelle diviser les données après avoir vu la structure plutôt que de s'engager sur un nombre fixe à l'avance.

Histoire

La forme agglomérative du regroupement hiérarchique a été formalisée par Joe H. Ward en 1963, qui a formulé la fusion des clusters comme l'optimisation d'une fonction objectif — minimisant l'augmentation de la variance intra-groupe à chaque fusion. La liaison de Ward reste l'un des critères les plus utilisés, et le dendrogramme qu'il produit est un outil exploratoire standard dans les sciences sociales, de la santé et des affaires.

Quand l’utiliser

Utilisez-le pour le regroupement exploratoire lorsque vous souhaitez découvrir la structure sans pré-spécifier le nombre de clusters, sur des caractéristiques continues, ordinales ou catégorielles avec au moins une dizaine d'observations. Il est peu exigeant en hypothèses mais repose sur deux choix : une métrique de distance appropriée et une méthode de liaison appropriée. En dessous d'une dizaine d'observations, la matrice de distances n'est pas fiable et le dendrogramme ne peut pas montrer de structure significative, donc K-means est une alternative plus sûre ; sur de très petits échantillons, les résultats deviennent excessivement sensibles à la méthode de liaison et les appartenances aux clusters sont instables.

Limites et points d’attention

  • Les résultats dépendent fortement de la métrique de distance et de la méthode de liaison choisies, qui sont des décisions de l'utilisateur.
  • Sur de petits échantillons, les appartenances aux clusters sont instables et excessivement sensibles à la méthode de liaison.
  • Avec moins d'une dizaine d'observations, la matrice de distances n'est pas fiable et le dendrogramme ne montre aucune structure significative.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Ne nécessite pas que le nombre de clusters soit fixé à l'avance — vous le lisez sur le dendrogramme.
  • Le dendrogramme donne une carte visuelle interprétable de la manière dont les clusters s'imbriquent à différents niveaux de similarité.
  • Peu exigeant en hypothèses : aucune exigence de normalité, et il s'adapte aux caractéristiques continues, ordinales et catégorielles via le choix de la distance.
  • Fonctionne comme un outil exploratoire pour révéler la structure avant de s'engager dans une partition.

Applications

  • Segmentation exploratoire des observations lorsque le nombre de groupes est inconnu.
  • Construction d'un dendrogramme pour visualiser comment les cas s'imbriquent à différents niveaux de similarité.
  • Regroupement de répondants, d'échantillons ou d'unités sur des caractéristiques mixtes continues, ordinales et catégorielles.
  • Génération de nombres de clusters candidats pour informer une méthode de partition ultérieure.

Comment ça marche

Comment ça marche

1

Tout d'abord, une distance est calculée entre chaque paire d'observations à l'aide d'une métrique de distance choisie, produisant une matrice de distances. Le choix de la métrique est important : il définit ce qui compte comme 'similaire', et les caractéristiques continues, ordinales et catégorielles peuvent nécessiter différentes définitions de distance.

2

En partant de chaque observation comme son propre cluster, l'algorithme fusionne de manière répétée les deux clusters les plus proches selon une méthode de liaison choisie. Le critère de Ward, par exemple, fusionne la paire qui produit la plus petite augmentation de la somme des carrés intra-cluster, en gardant les clusters résultants aussi compacts que possible. Le choix de la liaison façonne fortement le regroupement final.

Formule
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2
3

La séquence des fusions est enregistrée sous forme de dendrogramme, un arbre dont les hauteurs des branches montrent la distance à laquelle les clusters se sont joints. Couper le dendrogramme à une hauteur choisie donne les affectations de clusters, de sorte que le nombre de clusters est lu sur l'arbre plutôt que spécifié à l'avance.

Pièges courants

  • Exécuter sur moins d'une dizaine d'observations, où la matrice de distances et le dendrogramme ne sont pas fiables.
  • Choisir une métrique de distance et une méthode de liaison sans justification et considérer le résultat comme définitif.
  • Faire confiance à des appartenances de clusters instables sur un petit échantillon au lieu de passer à K-means ou à un mélange gaussien.
  • Forcer un nombre fixe de clusters avant d'inspecter les points de coupure naturels du dendrogramme.

Questions fréquentes

Dois-je choisir le nombre de clusters au préalable ?

Non. Le regroupement hiérarchique construit l'arbre de fusion complet de toute façon, et vous décidez du nombre de clusters après coup en coupant le dendrogramme à une hauteur choisie — c'est l'un de ses principaux avantages par rapport à des méthodes comme K-means.

Quelle métrique de distance et quelle liaison dois-je utiliser ?

Ce sont tous deux des choix délibérés qui façonnent fortement le résultat. La métrique de distance doit correspondre à vos types de caractéristiques, et la liaison de Ward est un défaut courant car elle maintient les clusters compacts en minimisant l'augmentation de la variance intra-cluster à chaque fusion.

Combien d'observations me faut-il ?

Au moins une dizaine. En dessous, la matrice de distances n'est pas fiable et le dendrogramme ne peut pas révéler de structure significative, donc K-means est l'alternative la plus sûre.

Pourquoi mes clusters sont-ils instables ?

Sur de petits échantillons, le résultat est excessivement sensible à la méthode de liaison, de sorte que les appartenances aux clusters changent avec de petites modifications. Dans cette situation, envisagez plutôt K-means ou un modèle de mélange gaussien.

Méthodes associées

Sources

  1. Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.

    Ouvrir la référence DOI
    Copié.