t-SNE
- Introduite par
- van der Maaten, L. & Hinton, G.
- Année
- 2008
- Type
- Nonlinear dimensionality reduction (manifold visualization)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
t-SNE (t-Distributed Stochastic Neighbor Embedding) est une méthode non linéaire de réduction de dimensionnalité introduite par Laurens van der Maaten et Geoffrey Hinton en 2008, qui projette des données de haute dimension dans un espace 2D ou 3D à des fins de visualisation.
Elle préserve les similarités locales probabilistes, de sorte que les points voisins dans l'espace d'origine restent proches les uns des autres, révélant ainsi la structure des clusters et les voisinages locaux.
L’intuition derrière la méthode
Lorsque les données vivent dans des dizaines ou des centaines de dimensions, nous ne pouvons pas les voir directement. t-SNE pose une question plus simple pour chaque paire de points : quelle est la probabilité qu'un point soit choisi comme voisin de l'autre ? Il organise ensuite une image 2D ou 3D de manière à reproduire aussi fidèlement que possible ces probabilités de voisinage. Le résultat est une carte où les observations étroitement liées se regroupent en amas visibles, permettant à l'œil de repérer des groupes invisibles dans la table brute de haute dimension.
Histoire
t-SNE a été introduit par Laurens van der Maaten et Geoffrey Hinton en 2008 dans le Journal of Machine Learning Research, s'appuyant sur le Stochastic Neighbor Embedding antérieur en remplaçant son noyau de faible dimension gaussien par une distribution t de Student à queues lourdes pour résoudre le problème de tassement. Il est rapidement devenu l'outil par défaut pour visualiser des données de haute dimension dans l'apprentissage automatique, la génomique et les neurosciences. Plus récemment, UMAP est apparu comme une alternative plus rapide qui préserve souvent davantage la structure globale, mais t-SNE reste une référence standard pour la visualisation exploratoire.
Quand l’utiliser
Utilisez t-SNE pour visualiser et explorer des données continues de haute dimension — plongements (embeddings), profils d'expression génique, caractéristiques d'images — lorsque vous souhaitez observer la structure locale des clusters en 2D ou 3D, avec au moins environ 50 observations. C'est un outil visuel exploratoire : lisez ses cartes pour les motifs de regroupement et de voisinage, pas pour l'inférence quantitative. Standardisez d'abord les caractéristiques, ajustez la perplexité (une règle empirique est d'environ n/10, dans la plage 5–50), et vérifiez la stabilité sur plusieurs valeurs de perplexité. Sur de très grands ensembles de données, il est lent ; UMAP est une alternative plus rapide.
Limites et points d’attention
- Visualisation uniquement — les distances et les tailles des clusters sur la carte n'ont aucune signification quantitative, donc aucune inférence statistique ne doit en être tirée.
- Lent sur de grands ensembles de données ; UMAP est une alternative plus rapide.
- Les résultats sont stochastiques et dépendent fortement de la perplexité, donc des exécutions ou des réglages différents peuvent sembler différents.
- Sur de petits échantillons (n inférieur à environ 50), le plongement est instable et non reproductible.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Excellent pour révéler la structure locale des clusters et les voisinages que les méthodes linéaires manquent.
- Non linéaire : capture la structure de variété courbée que PCA ne peut pas.
- Produit des cartes 2D/3D intuitives qui rendent les regroupements de haute dimension visibles en un coup d'œil.
- Le noyau t de Student à queues lourdes évite le problème de tassement, maintenant les clusters bien séparés.
Applications
- Visualisation de plongements de haute dimension et d'espaces de caractéristiques appris en 2D ou 3D.
- Exploration de la structure des clusters dans des données unicellulaires ou d'expression génique.
- Inspection des représentations de caractéristiques d'images ou de textes issues de modèles profonds.
- Analyse exploratoire des voisinages avant le clustering ou la classification quantitative.
Comment ça marche
Comment ça marche
Pour chaque paire de points dans l'espace d'origine de haute dimension, t-SNE convertit leur distance en une probabilité conditionnelle qu'un point choisisse l'autre comme voisin, en utilisant un noyau gaussien. La largeur de ce noyau est définie par point de sorte que le nombre effectif de voisins corresponde à la perplexité choisie (typiquement 5–50), qui contrôle l'équilibre entre la structure locale et globale.
Formule
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}Chaque point obtient une position dans la carte de faible dimension, et les similarités par paires y sont mesurées avec une distribution t de Student à queues lourdes au lieu d'une gaussienne. Les queues lourdes donnent aux points distants de l'espace pour s'écarter, ce qui empêche tout d'être écrasé au centre — le « problème de tassement » dont souffraient les méthodes antérieures.
Formule
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}t-SNE déplace les points de faible dimension par descente de gradient pour minimiser la divergence de Kullback–Leibler entre les probabilités de voisinage de haute dimension et celles de faible dimension. À mesure que ce coût diminue, la structure de voisinage de la carte correspond à celle des données d'origine, produisant la disposition finale en clusters.
Formule
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}Pièges courants
- Lire les tailles de clusters ou les distances inter-clusters comme s'ils étaient significatifs — ils ne le sont pas.
- Omettre la standardisation des caractéristiques avant d'exécuter le plongement.
- Choisir une seule perplexité et ne jamais vérifier la stabilité sur d'autres valeurs.
- Tirer des conclusions quantitatives d'un outil destiné uniquement à l'exploration visuelle.
- Exécuter t-SNE sur moins d'environ 50 observations, où la carte devient stochastique et trompeuse.
Questions fréquentes
Que contrôle la perplexité ?
La perplexité définit le nombre effectif de voisins que chaque point considère, équilibrant l'attention portée à la structure locale par rapport à la structure plus large. Les valeurs typiques sont 5–50, avec une règle empirique autour de n/10 ; il est judicieux d'en essayer plusieurs et de vérifier que la structure visible est stable.
Puis-je lire les tailles de clusters et les distances à partir d'un graphique t-SNE ?
Non. t-SNE préserve les voisinages locaux mais pas la géométrie globale, donc la taille d'un cluster et les écarts entre les clusters ne sont pas quantitativement significatifs. Utilisez le graphique pour repérer les regroupements, pas pour les mesurer.
Quelle est la différence entre t-SNE et PCA ?
PCA est une projection linéaire sur les directions de variance maximale et préserve la structure globale, tandis que t-SNE est une méthode non linéaire qui préserve les voisinages locaux et excelle à révéler les clusters. Ils sont complémentaires ; PCA est souvent utilisé comme étape de prétraitement avant t-SNE.
Dois-je utiliser t-SNE ou UMAP ?
Ce sont deux méthodes de visualisation non linéaires. t-SNE est une norme établie pour la structure locale, tandis que UMAP est plus rapide sur de grands ensembles de données et a tendance à préserver davantage la structure globale, c'est donc le meilleur choix lorsque le volume de données est élevé.
Méthodes associées
Sources
van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.
Ouvrir la référence de la publicationCopié.