Agrupamiento jerárquico
- Propuesto por
- Ward, J. H.
- Año
- 1963
- Tipo
- Unsupervised clustering (agglomerative)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El agrupamiento jerárquico es un método no supervisado que agrupa observaciones en clústeres anidados y representa el resultado como un dendrograma, por lo que el número de clústeres no necesita fijarse de antemano.
Su forma aglomerativa se basa en el criterio de agrupamiento de función objetivo introducido por Joe Ward en 1963.
La intuición detrás del método
Imagine que cada observación comienza como su propio grupo diminuto. En cada paso, los dos grupos más similares se fusionan, luego los siguientes dos, y así sucesivamente, hasta que todo se une en un solo árbol. Cortar ese árbol a diferentes alturas le da diferentes números de clústeres, por lo que puede decidir qué tan finamente dividir los datos después de ver la estructura en lugar de comprometerse con un número fijo de antemano.
Historia
La forma aglomerativa del agrupamiento jerárquico fue formalizada por Joe H. Ward en 1963, quien enmarcó la fusión de clústeres como la optimización de una función objetivo, minimizando el aumento de la varianza dentro del grupo en cada fusión. El enlace de Ward sigue siendo uno de los criterios más utilizados, y el dendrograma que produce es una herramienta exploratoria estándar en las ciencias sociales, de la salud y empresariales.
Cuándo usarlo
Úselo para agrupamiento exploratorio cuando desee descubrir una estructura sin preespecificar el número de clústeres, en características continuas, ordinales o categóricas con al menos unas 10 observaciones. Es ligero en supuestos, pero depende de dos elecciones: una métrica de distancia adecuada y un método de enlace adecuado. Por debajo de unas 10 observaciones, la matriz de distancias no es fiable y el dendrograma no puede mostrar una estructura significativa, por lo que K-means es una alternativa más segura; en muestras muy pequeñas, los resultados se vuelven excesivamente sensibles al método de enlace y las membresías de los clústeres son inestables.
Limitaciones y consideraciones
- Los resultados dependen en gran medida de la métrica de distancia y el método de enlace elegidos, que son decisiones del usuario.
- En muestras pequeñas, las membresías de los clústeres son inestables y excesivamente sensibles al método de enlace.
- Con menos de unas 10 observaciones, la matriz de distancias no es fiable y el dendrograma no muestra una estructura significativa.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- No requiere que el número de clústeres se fije de antemano; se lee del dendrograma.
- El dendrograma proporciona un mapa visual interpretable de cómo los clústeres se anidan en diferentes niveles de similitud.
- Ligero en supuestos: no requiere normalidad y se adapta a características continuas, ordinales y categóricas mediante la elección de la distancia.
- Funciona como una herramienta exploratoria para revelar la estructura antes de comprometerse con una partición.
Aplicaciones
- Segmentación exploratoria de observaciones cuando se desconoce el número de grupos.
- Construcción de un dendrograma para visualizar cómo se anidan los casos en diferentes niveles de similitud.
- Agrupación de encuestados, muestras o unidades en características mixtas continuas, ordinales y categóricas.
- Generación de recuentos de clústeres candidatos para informar un método de partición posterior.
Cómo funciona
Cómo funciona
Primero se calcula una distancia entre cada par de observaciones utilizando una métrica de distancia elegida, produciendo una matriz de distancias. La elección de la métrica es importante: define lo que se considera 'similar', y las características continuas, ordinales y categóricas pueden requerir diferentes definiciones de distancia.
Partiendo de cada observación como su propio clúster, el algoritmo fusiona repetidamente los dos clústeres que están más cerca según un método de enlace elegido. El criterio de Ward, por ejemplo, fusiona el par que produce el menor aumento en la suma de cuadrados dentro del clúster, manteniendo los clústeres resultantes lo más compactos posible. La elección del enlace influye fuertemente en la agrupación final.
Fórmula
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2La secuencia de fusiones se registra como un dendrograma, un árbol cuyas alturas de rama muestran la distancia a la que se unieron los clústeres. Cortar el dendrograma a una altura elegida produce las asignaciones de clústeres, por lo que el número de clústeres se lee del árbol en lugar de especificarse de antemano.
Errores comunes
- Ejecutarlo con menos de unas 10 observaciones, donde la matriz de distancias y el dendrograma no son fiables.
- Elegir una métrica de distancia y un método de enlace sin justificación y tratar el resultado como definitivo.
- Confiar en membresías de clústeres inestables en una muestra pequeña en lugar de cambiar a K-means o una mezcla gaussiana.
- Forzar un número fijo de clústeres antes de inspeccionar los puntos de corte naturales del dendrograma.
Preguntas frecuentes
¿Necesito elegir primero el número de clústeres?
No. El agrupamiento jerárquico construye el árbol de fusión completo de todos modos, y usted decide el número de clústeres después cortando el dendrograma a una altura elegida; esa es una de sus principales ventajas sobre métodos como K-means.
¿Qué métrica de distancia y enlace debo usar?
Ambas son elecciones deliberadas que influyen fuertemente en el resultado. La métrica de distancia debe coincidir con sus tipos de características, y el enlace de Ward es un valor predeterminado común porque mantiene los clústeres compactos al minimizar el aumento de la varianza dentro del clúster en cada fusión.
¿Cuántas observaciones necesito?
Al menos unas 10. Por debajo de eso, la matriz de distancias no es fiable y el dendrograma no puede revelar una estructura significativa, por lo que K-means es la alternativa más segura.
¿Por qué mis clústeres son inestables?
En muestras pequeñas, el resultado es excesivamente sensible al método de enlace, por lo que las membresías de los clústeres cambian con pequeñas variaciones. En esa situación, considere K-means o un modelo de mezcla gaussiana en su lugar.
Métodos relacionados
Fuentes
Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.
Abrir referencia DOICopiado.