UMAP
- Proposto por
- McInnes, L.; Healy, J.; Melville, J.
- Ano
- 2018
- Tipo
- Nonlinear manifold-learning dimension reduction
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
UMAP (Uniform Manifold Approximation and Projection) é um método rápido e escalável de redução de dimensionalidade não linear, fundamentado na teoria de aprendizado de variedades (manifold learning), introduzido por McInnes, Healy e Melville em 2018.
Ele comprime dados de alta dimensionalidade em um "embedding" de baixa dimensionalidade para visualização e análise subsequente.
A intuição por trás do método
Dados reais com muitas características frequentemente residem em uma superfície curva de dimensionalidade muito menor, ou variedade (manifold), embutida no espaço de alta dimensionalidade. O UMAP tenta aprender a forma dessa superfície a partir de como os pontos se agrupam perto de seus vizinhos, e então a desdobra em duas ou três dimensões para que a estrutura se torne visível. Comparado ao t-SNE, ele tende a manter mais do arranjo global, sendo muito mais rápido em grandes conjuntos de dados.
História
O UMAP foi introduzido em 2018 por Leland McInnes, John Healy e James Melville, que o construíram com base na teoria de aprendizado de variedades (manifold learning) como uma alternativa mais rápida e escalável ao t-SNE. Rapidamente se tornou uma ferramenta padrão para redução de dimensionalidade e visualização, particularmente em campos com dados de altíssima dimensionalidade, porque preserva mais estrutura global enquanto escala para grandes conjuntos de dados.
Quando usar
Use UMAP para visualizar ou comprimir dados contínuos e de alta dimensionalidade com pelo menos cerca de 50 observações, seja para exploração ou como uma etapa de pré-processamento antes da classificação. Os hiperparâmetros n_neighbors e min_dist devem ser ajustados à estrutura que lhe interessa, e um random_state deve ser fixado para reprodutibilidade. Abaixo de cerca de 50 observações, a variedade não pode ser aprendida de forma confiável e o PCA linear é a escolha mais segura.
Limitações e considerações
- As distâncias entre os "clusters" no "embedding" podem ser enganosas e não devem ser superinterpretadas.
- Os resultados dependem dos hiperparâmetros n_neighbors e min_dist, que devem ser ajustados.
- A saída não é determinística a menos que um random_state seja fixado.
- Em amostras pequenas (n abaixo de cerca de 50), a variedade não pode ser aprendida de forma confiável e a visualização se torna enganosa; o PCA é preferível.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Rápido e escalável para grandes conjuntos de dados, muito mais rápido que o t-SNE.
- Preserva a estrutura global melhor que o t-SNE, enquanto ainda captura "clusters" locais.
- Captura estrutura não linear que métodos lineares como o PCA não conseguem.
- Produz "embeddings" de 2 ou 3 dimensões bem adequados para visualização.
Aplicações
- Visualização de dados contínuos de alta dimensionalidade em duas ou três dimensões.
- Análise exploratória para revelar "clusters" e estrutura antes da modelagem formal.
- Redução de dimensionalidade como etapa de pré-processamento antes da classificação.
- Compressão de grandes conjuntos de dados com muitas características onde a velocidade é importante.
Como funciona
Como funciona
O UMAP primeiro constrói um grafo de vizinhança ponderado dos dados de alta dimensionalidade: cada ponto é conectado aos seus vizinhos mais próximos, controlado pelo hiperparâmetro n_neighbors, que define o quanto da estrutura local versus global é capturada. Este grafo é a aproximação do UMAP da variedade subjacente.
Um arranjo de baixa dimensionalidade é então otimizado para que seu próprio grafo de vizinhança corresponda ao de alta dimensionalidade o mais fielmente possível, minimizando a entropia cruzada entre as duas representações de grafo. O hiperparâmetro min_dist governa o quão próximos os pontos podem se agrupar, moldando a densidade dos "clusters" resultantes.
Fórmula
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})O resultado é um "embedding" de 2 ou 3 dimensões no qual observações semelhantes ficam próximas umas das outras, prontas para plotagem ou para serem usadas em agrupamento (clustering) ou classificação. As formas dos "clusters" são preservadas, mas as distâncias entre os "clusters" devem ser lidas com cautela, e um random_state fixo é necessário para uma saída reprodutível.
Erros comuns
- Interpretar distâncias entre "clusters" como se fossem quantidades significativas.
- Deixar n_neighbors e min_dist nos valores padrão em vez de ajustá-los aos dados.
- Esquecer de definir um random_state, de modo que o "embedding" não seja reprodutível.
- Executar UMAP em menos de cerca de 50 observações e confiar no gráfico resultante.
Perguntas frequentes
Qual a diferença entre UMAP e t-SNE?
Ambos são métodos não lineares para visualizar dados de alta dimensionalidade, mas o UMAP é construído sobre a teoria de aprendizado de variedades, tende a preservar melhor a estrutura global e é muito mais rápido em grandes conjuntos de dados.
Posso interpretar as distâncias entre os "clusters" no gráfico?
Tenha cautela. O UMAP preserva as formas dos "clusters", mas as distâncias entre os "clusters" podem ser enganosas e não devem ser lidas como quantidades precisas.
Quais hiperparâmetros são mais importantes?
n_neighbors controla o equilíbrio entre a estrutura local e global, e min_dist controla o quão próximos os pontos se agrupam. Ambos devem ser ajustados, e um random_state deve ser fixado para que o "embedding" seja reprodutível.
E se eu tiver pouquíssimas observações?
Abaixo de cerca de 50 observações, a variedade não pode ser aprendida de forma confiável e o "embedding" se torna enganoso. Nesse caso, um método linear como o PCA é a escolha mais segura.
Métodos relacionados
Fontes
McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.
Abrir referência da publicaçãoCopiado.