Agrupamento Hierárquico
- Proposto por
- Ward, J. H.
- Ano
- 1963
- Tipo
- Unsupervised clustering (agglomerative)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O agrupamento hierárquico é um método não supervisionado que agrupa observações em clusters aninhados e desenha o resultado como um dendrograma, de modo que o número de clusters não precisa ser fixado antecipadamente.
Sua forma aglomerativa baseia-se no critério de agrupamento por função objetivo introduzido por Joe Ward em 1963.
A intuição por trás do método
Imagine cada observação começando como seu próprio pequeno grupo. A cada passo, os dois grupos mais similares são mesclados, depois os próximos dois, e assim por diante, até que tudo se una em uma única árvore. Cortar essa árvore em diferentes alturas fornece diferentes números de clusters, permitindo decidir quão finamente dividir os dados após ver a estrutura, em vez de se comprometer com uma contagem fixa antecipadamente.
História
A forma aglomerativa do agrupamento hierárquico foi formalizada por Joe H. Ward em 1963, que enquadrou a mesclagem de clusters como a otimização de uma função objetivo — minimizando o aumento da variância dentro do grupo em cada mesclagem. A ligação de Ward continua sendo um dos critérios mais amplamente utilizados, e o dendrograma que ela produz é uma ferramenta exploratória padrão nas ciências sociais, da saúde e de negócios.
Quando usar
Use-o para agrupamento exploratório quando desejar descobrir a estrutura sem pré-especificar o número de clusters, em características contínuas, ordinais ou categóricas com pelo menos cerca de 10 observações. Ele tem poucas suposições, mas depende de duas escolhas: uma métrica de distância adequada e um método de ligação adequado. Abaixo de cerca de 10 observações, a matriz de distâncias é não confiável e o dendrograma não pode mostrar estrutura significativa, então o K-means é uma alternativa mais segura; em amostras muito pequenas, os resultados tornam-se excessivamente sensíveis ao método de ligação e as associações de cluster são instáveis.
Limitações e considerações
- Os resultados dependem fortemente da métrica de distância e do método de ligação escolhidos, que são decisões do usuário.
- Em amostras pequenas, as associações de cluster são instáveis e excessivamente sensíveis ao método de ligação.
- Com menos de cerca de 10 observações, a matriz de distâncias é não confiável e o dendrograma não mostra estrutura significativa.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Não requer que o número de clusters seja fixado antecipadamente — você o lê no dendrograma.
- O dendrograma fornece um mapa visual interpretável de como os clusters se aninham em diferentes níveis de similaridade.
- Poucas suposições: não há requisito de normalidade e acomoda características contínuas, ordinais e categóricas através da escolha da distância.
- Funciona como uma ferramenta exploratória para revelar a estrutura antes de se comprometer com uma partição.
Aplicações
- Segmentação exploratória de observações quando o número de grupos é desconhecido.
- Construir um dendrograma para visualizar como os casos se aninham em diferentes níveis de similaridade.
- Agrupar respondentes, amostras ou unidades em características mistas contínuas, ordinais e categóricas.
- Gerar contagens de clusters candidatas para informar um método de particionamento posterior.
Como funciona
Como funciona
Primeiro, calcula-se a distância entre cada par de observações usando uma métrica de distância escolhida, produzindo uma matriz de distâncias. A escolha da métrica é importante: ela define o que conta como 'similar', e características contínuas, ordinais e categóricas podem exigir diferentes definições de distância.
Partindo de cada observação como seu próprio cluster, o algoritmo mescla repetidamente os dois clusters mais próximos de acordo com um método de ligação escolhido. O critério de Ward, por exemplo, mescla o par que resulta no menor aumento na soma dos quadrados dentro do cluster, mantendo os clusters resultantes o mais compactos possível. A escolha da ligação molda fortemente o agrupamento final.
Fórmula
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2A sequência de mesclagens é registrada como um dendrograma, uma árvore cujas alturas dos ramos mostram a distância na qual os clusters se uniram. Cortar o dendrograma em uma altura escolhida fornece as atribuições de cluster, de modo que o número de clusters é lido na árvore em vez de especificado antecipadamente.
Erros comuns
- Executar em menos de cerca de 10 observações, onde a matriz de distâncias e o dendrograma não são confiáveis.
- Escolher uma métrica de distância e um método de ligação sem justificativa e tratar o resultado como definitivo.
- Confiar em associações de cluster instáveis em uma amostra pequena em vez de mudar para K-means ou uma mistura gaussiana.
- Forçar um número fixo de clusters antes de inspecionar os pontos de corte naturais do dendrograma.
Perguntas frequentes
Preciso escolher o número de clusters primeiro?
Não. O agrupamento hierárquico constrói a árvore de mesclagem completa de qualquer maneira, e você decide o número de clusters depois, cortando o dendrograma em uma altura escolhida — essa é uma de suas principais vantagens sobre métodos como o K-means.
Qual métrica de distância e ligação devo usar?
Ambas são escolhas deliberadas que moldam fortemente o resultado. A métrica de distância deve corresponder aos seus tipos de características, e a ligação de Ward é um padrão comum porque mantém os clusters compactos minimizando o aumento da variância dentro do cluster em cada mesclagem.
Quantas observações preciso?
Pelo menos cerca de 10. Abaixo disso, a matriz de distâncias é não confiável e o dendrograma não pode revelar estrutura significativa, então o K-means é a alternativa mais segura.
Por que meus clusters são instáveis?
Em amostras pequenas, o resultado é excessivamente sensível ao método de ligação, de modo que as associações de cluster mudam com pequenas alterações. Nessa situação, considere K-means ou um modelo de mistura gaussiana em vez disso.
Métodos relacionados
Fontes
Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.
Abrir referência DOICopiado.