Skip to content
Torna ai risultati

t-SNE

Introdotto da
van der Maaten, L. & Hinton, G.
Anno
2008
Tipo
Nonlinear dimensionality reduction (manifold visualization)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

t-SNE (t-Distributed Stochastic Neighbor Embedding) è un metodo non lineare di riduzione della dimensionalità introdotto da Laurens van der Maaten e Geoffrey Hinton nel 2008 che mappa dati ad alta dimensionalità in uno spazio 2D o 3D per la visualizzazione.

Preserva le similarità locali probabilistiche, quindi i punti vicini nello spazio originale rimangono vicini, rivelando la struttura dei cluster e i vicinati locali.

L’intuizione alla base del metodo

Quando i dati risiedono in decine o centinaia di dimensioni, non possiamo vederli direttamente. t-SNE pone una domanda più semplice per ogni coppia di punti: quanto è probabile che uno venga scelto come vicino dell'altro? Quindi organizza un'immagine 2D o 3D in modo che queste probabilità di vicinato siano riprodotte nel modo più fedele possibile. Il risultato è una mappa in cui osservazioni strettamente correlate si raccolgono in ammassi visibili, permettendo all'occhio di individuare gruppi invisibili nella tabella grezza ad alta dimensionalità.

Storia

t-SNE è stato introdotto da Laurens van der Maaten e Geoffrey Hinton nel 2008 nel Journal of Machine Learning Research, basandosi sul precedente Stochastic Neighbor Embedding sostituendo il suo kernel a bassa dimensionalità Gaussiano con una distribuzione t di Student a code pesanti per risolvere il problema dell'affollamento. È rapidamente diventato lo strumento predefinito per la visualizzazione di dati ad alta dimensionalità in machine learning, genomica e neuroscienze. Più recentemente UMAP è emerso come un'alternativa più veloce che spesso preserva una maggiore struttura globale, ma t-SNE rimane uno standard di riferimento per la visualizzazione esplorativa.

Quando usarlo

Utilizzare t-SNE per visualizzare ed esplorare dati continui ad alta dimensionalità - embedding, profili di espressione genica, caratteristiche di immagini - quando si desidera vedere la struttura locale dei cluster in 2D o 3D, con almeno circa 50 osservazioni. È uno strumento esplorativo e visivo: leggere le sue mappe per individuare raggruppamenti e schemi di vicinato, non per inferenza quantitativa. Standardizzare prima le caratteristiche, regolare la perplessità (una regola empirica è circa n/10, entro 5-50) e verificare la stabilità su diversi valori di perplessità. Su dataset molto grandi è lento, quindi UMAP è un'alternativa più veloce.

Limiti e considerazioni

  • Solo visualizzazione - le distanze e le dimensioni dei cluster nella mappa non hanno significato quantitativo, quindi non dovrebbe essere tratta alcuna inferenza statistica da essa.
  • Lento su dataset di grandi dimensioni; UMAP è un'alternativa più veloce.
  • I risultati sono stocastici e dipendono fortemente dalla perplessità, quindi esecuzioni o impostazioni diverse possono apparire differenti.
  • Su campioni piccoli (n inferiore a circa 50) l'embedding è instabile e non riproducibile.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Eccellente nel rivelare la struttura locale dei cluster e i vicinati che i metodi lineari non colgono.
  • Non lineare: cattura la struttura della varietà curva che PCA non può.
  • Produce mappe 2D/3D intuitive che rendono visibili a colpo d'occhio i raggruppamenti ad alta dimensionalità.
  • Il kernel t di Student a code pesanti evita il problema dell'affollamento, mantenendo i cluster ben separati.

Applicazioni

  • Visualizzazione di embedding ad alta dimensionalità e spazi di caratteristiche appresi in 2D o 3D.
  • Esplorazione della struttura dei cluster in dati single-cell o di espressione genica.
  • Ispezione di rappresentazioni di caratteristiche di immagini o testi da modelli profondi.
  • Analisi esplorativa del vicinato prima del clustering o della classificazione quantitativa.

Come funziona

Come funziona

1

Per ogni coppia di punti nello spazio originale ad alta dimensionalità, t-SNE converte la loro distanza in una probabilità condizionale che uno sceglierebbe l'altro come vicino, utilizzando un kernel Gaussiano. La larghezza di tale kernel è impostata per punto in modo che il numero effettivo di vicini corrisponda alla perplessità scelta (tipicamente 5-50), che controlla l'equilibrio tra struttura locale e globale.

Formula
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}
2

Ogni punto ottiene una posizione nella mappa a bassa dimensionalità, e le similarità pairwise lì sono misurate con una distribuzione t di Student a code pesanti invece di una Gaussiana. Le code pesanti danno ai punti distanti spazio per allontanarsi, il che impedisce che tutto venga schiacciato al centro - il 'problema dell'affollamento' da cui soffrivano i metodi precedenti.

Formula
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}
3

t-SNE sposta i punti a bassa dimensionalità tramite discesa del gradiente per minimizzare la divergenza di Kullback-Leibler tra le probabilità di vicinato ad alta dimensionalità e quelle a bassa dimensionalità. Man mano che questo costo diminuisce, la struttura del vicinato della mappa arriva a corrispondere a quella dei dati originali, producendo il layout a cluster finale.

Formula
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

Errori comuni

  • Leggere le dimensioni dei cluster o le distanze tra i cluster come se fossero significative - non lo sono.
  • Saltare la standardizzazione delle caratteristiche prima di eseguire l'embedding.
  • Scegliere una singola perplessità e non verificare mai la stabilità su altri valori.
  • Trarre conclusioni quantitative da uno strumento destinato solo all'esplorazione visiva.
  • Eseguire t-SNE su meno di ~50 osservazioni, dove la mappa diventa stocastica e fuorviante.

Domande frequenti

Cosa controlla la perplessità?

La perplessità imposta il numero effettivo di vicini che ogni punto considera, bilanciando l'attenzione alla struttura locale rispetto a quella più ampia. Valori tipici sono 5-50, con una regola empirica intorno a n/10; è saggio provarne diversi e verificare che la struttura visibile sia stabile.

Posso leggere le dimensioni dei cluster e le distanze da un grafico t-SNE?

No. t-SNE preserva i vicinati locali ma non la geometria globale, quindi la dimensione di un cluster e gli spazi tra i cluster non sono quantitativamente significativi. Usare il grafico per individuare raggruppamenti, non per misurarli.

In che modo t-SNE è diverso da PCA?

PCA è una proiezione lineare sulle direzioni di massima varianza e preserva la struttura globale, mentre t-SNE è un metodo non lineare che preserva i vicinati locali ed eccelle nel rivelare cluster. Sono complementari; PCA è spesso usato come passo di pre-elaborazione prima di t-SNE.

Dovrei usare t-SNE o UMAP?

Entrambi sono metodi di visualizzazione non lineari. t-SNE è uno standard di lunga data per la struttura locale, mentre UMAP è più veloce su dataset di grandi dimensioni e tende a preservare una maggiore struttura globale, quindi è la scelta migliore quando il volume dei dati è elevato.

Metodi correlati

Fonti

  1. van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.

    Apri il riferimento della pubblicazione
    Copiato.