Skip to content
Torna ai risultati

UMAP

Introdotto da
McInnes, L.; Healy, J.; Melville, J.
Anno
2018
Tipo
Nonlinear manifold-learning dimension reduction

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

UMAP (Uniform Manifold Approximation and Projection) è un metodo di riduzione della dimensione non lineare, veloce e scalabile, basato sulla teoria dell'apprendimento delle varietà (manifold learning), introdotto da McInnes, Healy e Melville nel 2018.

Comprime dati ad alta dimensionalità in un embedding a bassa dimensionalità per la visualizzazione e l'analisi successiva.

L’intuizione alla base del metodo

I dati reali con molte caratteristiche spesso si trovano su una superficie curva di dimensione molto inferiore, o varietà (manifold), incorporata nello spazio ad alta dimensionalità. UMAP cerca di apprendere la forma di questa superficie dal modo in cui i punti si raggruppano vicino ai loro vicini, quindi la "spiega" in due o tre dimensioni in modo che la struttura diventi visibile. Rispetto a t-SNE, tende a mantenere una maggiore parte della disposizione globale pur essendo molto più veloce su grandi dataset.

Storia

UMAP è stato introdotto nel 2018 da Leland McInnes, John Healy e James Melville, che lo hanno sviluppato sulla teoria dell'apprendimento delle varietà come alternativa più veloce e scalabile a t-SNE. È diventato rapidamente uno strumento standard per la riduzione della dimensione e la visualizzazione, in particolare in campi con dati ad altissima dimensionalità, perché preserva una maggiore struttura globale pur scalando a grandi dataset.

Quando usarlo

Utilizzare UMAP per visualizzare o comprimere dati continui e ad alta dimensionalità con almeno circa 50 osservazioni, sia per l'esplorazione che come fase di pre-elaborazione prima della classificazione. Gli iperparametri n_neighbors e min_dist dovrebbero essere sintonizzati sulla struttura che interessa, e un random_state dovrebbe essere fissato per la riproducibilità. Al di sotto di circa 50 osservazioni, la varietà non può essere appresa in modo affidabile e la PCA lineare è la scelta più sicura.

Limiti e considerazioni

  • Le distanze tra i cluster nell'embedding possono essere fuorvianti e non dovrebbero essere sovra-interpretate.
  • I risultati dipendono dagli iperparametri n_neighbors e min_dist, che devono essere sintonizzati.
  • L'output non è deterministico a meno che non sia fissato un random_state.
  • Su campioni piccoli (n inferiore a circa 50) la varietà non può essere appresa in modo affidabile e la visualizzazione diventa fuorviante; la PCA è preferibile.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Veloce e scalabile per grandi dataset, molto più rapido di t-SNE.
  • Preserva la struttura globale meglio di t-SNE pur catturando i cluster locali.
  • Cattura strutture non lineari che i metodi lineari come la PCA non possono.
  • Produce embedding a 2 o 3 dimensioni ben adatti alla visualizzazione.

Applicazioni

  • Visualizzare dati continui ad alta dimensionalità in due o tre dimensioni.
  • Analisi esplorativa per rivelare cluster e struttura prima della modellazione formale.
  • Riduzione della dimensione come fase di pre-elaborazione prima della classificazione.
  • Comprimere grandi dataset con molte caratteristiche dove la velocità è importante.

Come funziona

Come funziona

1

UMAP costruisce innanzitutto un grafo di vicinato pesato dei dati ad alta dimensionalità: ogni punto è connesso ai suoi vicini più prossimi, controllato dall'iperparametro n_neighbors, che stabilisce quanta struttura locale rispetto a quella globale viene catturata. Questo grafo è l'approssimazione di UMAP della varietà sottostante.

2

Un layout a bassa dimensionalità viene quindi ottimizzato in modo che il proprio grafo di vicinato corrisponda il più fedelmente possibile a quello ad alta dimensionalità, minimizzando la cross-entropia tra le due rappresentazioni del grafo. L'iperparametro min_dist regola quanto strettamente i punti possono raggrupparsi, modellando la densità dei cluster risultanti.

Formula
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})
3

Il risultato è un embedding a 2 o 3 dimensioni in cui osservazioni simili si trovano vicine, pronte per essere tracciate o per essere utilizzate in algoritmi di clustering o classificazione. Le forme dei cluster sono preservate, ma le distanze tra i cluster dovrebbero essere lette con cautela, ed è necessario un random_state fisso per un output riproducibile.

Errori comuni

  • Interpretare le distanze tra i cluster come se fossero quantità significative.
  • Lasciare n_neighbors e min_dist ai valori predefiniti invece di sintonizzarli sui dati.
  • Dimenticare di impostare un random_state, rendendo l'embedding non riproducibile.
  • Eseguire UMAP su meno di circa 50 osservazioni e fidarsi del grafico risultante.

Domande frequenti

In cosa UMAP è diverso da t-SNE?

Entrambi sono metodi non lineari per visualizzare dati ad alta dimensionalità, ma UMAP si basa sulla teoria dell'apprendimento delle varietà, tende a preservare meglio la struttura globale ed è molto più veloce su grandi dataset.

Posso interpretare le distanze tra i cluster nel grafico?

Sii cauto. UMAP preserva le forme dei cluster, ma le distanze tra i cluster possono essere fuorvianti e non dovrebbero essere lette come quantità precise.

Quali iperparametri contano di più?

n_neighbors controlla l'equilibrio tra struttura locale e globale, e min_dist controlla quanto strettamente i punti si raggruppano. Entrambi dovrebbero essere sintonizzati, e un random_state dovrebbe essere fissato in modo che l'embedding sia riproducibile.

Cosa succede se ho pochissime osservazioni?

Al di sotto di circa 50 osservazioni la varietà non può essere appresa in modo affidabile e l'embedding diventa fuorviante. In tal caso un metodo lineare come la PCA è la scelta più sicura.

Metodi correlati

Fonti

  1. McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.

    Apri il riferimento della pubblicazione
    Copiato.