t-SNE
- Introdotto da
- van der Maaten, L. & Hinton, G.
- Anno
- 2008
- Tipo
- Nonlinear dimensionality reduction (manifold visualization)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
t-SNE (t-Distributed Stochastic Neighbor Embedding) è un metodo non lineare di riduzione della dimensionalità introdotto da Laurens van der Maaten e Geoffrey Hinton nel 2008 che mappa dati ad alta dimensionalità in uno spazio 2D o 3D per la visualizzazione.
Preserva le similarità locali probabilistiche, quindi i punti vicini nello spazio originale rimangono vicini, rivelando la struttura dei cluster e i vicinati locali.
L’intuizione alla base del metodo
Quando i dati risiedono in decine o centinaia di dimensioni, non possiamo vederli direttamente. t-SNE pone una domanda più semplice per ogni coppia di punti: quanto è probabile che uno venga scelto come vicino dell'altro? Quindi organizza un'immagine 2D o 3D in modo che queste probabilità di vicinato siano riprodotte nel modo più fedele possibile. Il risultato è una mappa in cui osservazioni strettamente correlate si raccolgono in ammassi visibili, permettendo all'occhio di individuare gruppi invisibili nella tabella grezza ad alta dimensionalità.
Storia
t-SNE è stato introdotto da Laurens van der Maaten e Geoffrey Hinton nel 2008 nel Journal of Machine Learning Research, basandosi sul precedente Stochastic Neighbor Embedding sostituendo il suo kernel a bassa dimensionalità Gaussiano con una distribuzione t di Student a code pesanti per risolvere il problema dell'affollamento. È rapidamente diventato lo strumento predefinito per la visualizzazione di dati ad alta dimensionalità in machine learning, genomica e neuroscienze. Più recentemente UMAP è emerso come un'alternativa più veloce che spesso preserva una maggiore struttura globale, ma t-SNE rimane uno standard di riferimento per la visualizzazione esplorativa.
Quando usarlo
Utilizzare t-SNE per visualizzare ed esplorare dati continui ad alta dimensionalità - embedding, profili di espressione genica, caratteristiche di immagini - quando si desidera vedere la struttura locale dei cluster in 2D o 3D, con almeno circa 50 osservazioni. È uno strumento esplorativo e visivo: leggere le sue mappe per individuare raggruppamenti e schemi di vicinato, non per inferenza quantitativa. Standardizzare prima le caratteristiche, regolare la perplessità (una regola empirica è circa n/10, entro 5-50) e verificare la stabilità su diversi valori di perplessità. Su dataset molto grandi è lento, quindi UMAP è un'alternativa più veloce.
Limiti e considerazioni
- Solo visualizzazione - le distanze e le dimensioni dei cluster nella mappa non hanno significato quantitativo, quindi non dovrebbe essere tratta alcuna inferenza statistica da essa.
- Lento su dataset di grandi dimensioni; UMAP è un'alternativa più veloce.
- I risultati sono stocastici e dipendono fortemente dalla perplessità, quindi esecuzioni o impostazioni diverse possono apparire differenti.
- Su campioni piccoli (n inferiore a circa 50) l'embedding è instabile e non riproducibile.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Eccellente nel rivelare la struttura locale dei cluster e i vicinati che i metodi lineari non colgono.
- Non lineare: cattura la struttura della varietà curva che PCA non può.
- Produce mappe 2D/3D intuitive che rendono visibili a colpo d'occhio i raggruppamenti ad alta dimensionalità.
- Il kernel t di Student a code pesanti evita il problema dell'affollamento, mantenendo i cluster ben separati.
Applicazioni
- Visualizzazione di embedding ad alta dimensionalità e spazi di caratteristiche appresi in 2D o 3D.
- Esplorazione della struttura dei cluster in dati single-cell o di espressione genica.
- Ispezione di rappresentazioni di caratteristiche di immagini o testi da modelli profondi.
- Analisi esplorativa del vicinato prima del clustering o della classificazione quantitativa.
Come funziona
Come funziona
Per ogni coppia di punti nello spazio originale ad alta dimensionalità, t-SNE converte la loro distanza in una probabilità condizionale che uno sceglierebbe l'altro come vicino, utilizzando un kernel Gaussiano. La larghezza di tale kernel è impostata per punto in modo che il numero effettivo di vicini corrisponda alla perplessità scelta (tipicamente 5-50), che controlla l'equilibrio tra struttura locale e globale.
Formula
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}Ogni punto ottiene una posizione nella mappa a bassa dimensionalità, e le similarità pairwise lì sono misurate con una distribuzione t di Student a code pesanti invece di una Gaussiana. Le code pesanti danno ai punti distanti spazio per allontanarsi, il che impedisce che tutto venga schiacciato al centro - il 'problema dell'affollamento' da cui soffrivano i metodi precedenti.
Formula
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}t-SNE sposta i punti a bassa dimensionalità tramite discesa del gradiente per minimizzare la divergenza di Kullback-Leibler tra le probabilità di vicinato ad alta dimensionalità e quelle a bassa dimensionalità. Man mano che questo costo diminuisce, la struttura del vicinato della mappa arriva a corrispondere a quella dei dati originali, producendo il layout a cluster finale.
Formula
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}Errori comuni
- Leggere le dimensioni dei cluster o le distanze tra i cluster come se fossero significative - non lo sono.
- Saltare la standardizzazione delle caratteristiche prima di eseguire l'embedding.
- Scegliere una singola perplessità e non verificare mai la stabilità su altri valori.
- Trarre conclusioni quantitative da uno strumento destinato solo all'esplorazione visiva.
- Eseguire t-SNE su meno di ~50 osservazioni, dove la mappa diventa stocastica e fuorviante.
Domande frequenti
Cosa controlla la perplessità?
La perplessità imposta il numero effettivo di vicini che ogni punto considera, bilanciando l'attenzione alla struttura locale rispetto a quella più ampia. Valori tipici sono 5-50, con una regola empirica intorno a n/10; è saggio provarne diversi e verificare che la struttura visibile sia stabile.
Posso leggere le dimensioni dei cluster e le distanze da un grafico t-SNE?
No. t-SNE preserva i vicinati locali ma non la geometria globale, quindi la dimensione di un cluster e gli spazi tra i cluster non sono quantitativamente significativi. Usare il grafico per individuare raggruppamenti, non per misurarli.
In che modo t-SNE è diverso da PCA?
PCA è una proiezione lineare sulle direzioni di massima varianza e preserva la struttura globale, mentre t-SNE è un metodo non lineare che preserva i vicinati locali ed eccelle nel rivelare cluster. Sono complementari; PCA è spesso usato come passo di pre-elaborazione prima di t-SNE.
Dovrei usare t-SNE o UMAP?
Entrambi sono metodi di visualizzazione non lineari. t-SNE è uno standard di lunga data per la struttura locale, mentre UMAP è più veloce su dataset di grandi dimensioni e tende a preservare una maggiore struttura globale, quindi è la scelta migliore quando il volume dei dati è elevato.
Metodi correlati
Fonti
van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.
Apri il riferimento della pubblicazioneCopiato.