t-SNE
- 提出者
- van der Maaten, L. & Hinton, G.
- 年份
- 2008
- 类型
- Nonlinear dimensionality reduction (manifold visualization)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
t-SNE(t分布随机邻域嵌入)是由Laurens van der Maaten和Geoffrey Hinton于2008年提出的一种非线性降维方法,它将高维数据映射到二维或三维空间进行可视化。它保留了概率性的局部相似性,因此原始空间中的邻近点会保持靠近,从而揭示了聚类结构和局部邻域。
方法背后的直觉
当数据存在于数十或数百个维度时,我们无法直接看到它。t-SNE对每对点提出一个更简单的问题:其中一个点被选为另一个点邻域的可能性有多大?然后,它安排一个二维或三维图像,尽可能忠实地重现这些邻域概率。结果是一个地图,紧密相关的观测值聚集在可见的簇中,使得肉眼能够发现原始高维表中不可见的组。
历史学
t-SNE由Laurens van der Maaten和Geoffrey Hinton于2008年在《机器学习研究杂志》上发表,它建立在早期的随机邻域嵌入(Stochastic Neighbor Embedding)的基础上,通过用重尾学生t分布替换其高维高斯核来解决拥挤问题。它迅速成为机器学习、基因组学和神经科学领域可视化高维数据的默认工具。最近,UMAP作为一种更快的替代方案出现,通常能保留更多的全局结构,但t-SNE仍然是探索性可视化的标准参考。
何时使用
使用t-SNE可视化和探索高维连续数据——嵌入、基因表达谱、图像特征——当你希望在二维或三维空间中看到局部聚类结构时,至少需要大约50个观测值。它是一种探索性的可视化工具:阅读其地图以了解分组和邻域模式,而不是进行定量推断。首先标准化特征,调整困惑度(经验法则是n/10左右,在5-50之间),并检查多个困惑度值的稳定性。对于非常大的数据集,它速度很慢,因此UMAP是一个更快的替代方案。
局限与注意事项
- 仅用于可视化——地图中的距离和簇大小没有定量意义,因此不应从中得出统计推断。
- 在大数据集上速度慢;UMAP是更快的替代方案。
- 结果是随机的,并且强烈依赖于困惑度,因此不同的运行或设置可能看起来不同。
- 在小样本(n低于约50)上,嵌入不稳定且不可复现。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 非常擅长揭示线性方法所忽略的局部聚类结构和邻域。
- 非线性:能够捕捉PCA无法捕捉的弯曲流形结构。
- 生成直观的二维/三维地图,使高维分组一目了然。
- 重尾学生t核避免了拥挤问题,使簇保持良好分离。
应用
- 在二维或三维空间中可视化高维嵌入和学习到的特征空间。
- 探索单细胞或基因表达数据中的聚类结构。
- 检查深度模型中的图像或文本特征表示。
- 在进行定量聚类或分类之前的探索性邻域分析。
使用方式
使用方式
对于原始高维空间中的每对点,t-SNE使用高斯核将其距离转换为一个条件概率,即选择另一个点作为邻域的可能性。该核的宽度是根据每一点设置的,以便有效邻域的数量与所选的困惑度(通常为5-50)相匹配,这控制了局部结构和全局结构之间的平衡。
公式
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}每个点在低维图中获得一个位置,并且那里的成对相似性使用重尾学生t分布而不是高斯分布来测量。重尾允许远距离点分开,这可以防止所有点都挤在中心——这是早期方法所遭受的“拥挤问题”。
公式
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}t-SNE通过梯度下降移动低维点,以最小化高维邻域概率与低维邻域概率之间的Kullback–Leibler散度。随着成本的降低,地图的邻域结构开始与原始数据的邻域结构匹配,从而产生最终的聚类布局。
公式
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}常见陷阱
- 将簇大小或簇间距离解读为有意义的——它们没有。
- 在运行嵌入之前跳过特征标准化。
- 选择一个困惑度值,从不检查其他值的稳定性。
- 从仅用于视觉探索的工具中得出定量结论。
- 在少于约50个观测值的情况下运行t-SNE,此时地图变得随机且具有误导性。
常见问题
困惑度控制什么?
困惑度设置每个点考虑的有效邻域数量,平衡对局部结构和更广泛结构的关注。典型值为5-50,经验法则是n/10左右;最好尝试几个值并检查可见结构是否稳定。
我能从t-SNE图读取簇大小和距离吗?
不能。t-SNE保留局部邻域但不保留全局几何结构,因此簇的大小和簇之间的间隙没有定量意义。使用该图来识别分组,而不是测量它。
t-SNE与PCA有何不同?
PCA是线性投影到最大方差方向,并保留全局结构,而t-SNE是一种非线性方法,保留局部邻域并擅长揭示聚类。它们是互补的;PCA通常用作t-SNE的预处理步骤。
应该使用t-SNE还是UMAP?
两者都是非线性可视化方法。t-SNE是用于局部结构的长期标准,而UMAP在大数据集上速度更快,并且倾向于保留更多的全局结构,因此当数据量大时,它是更好的选择。
相关方法
参考文献
van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.
打开出版物文献已复制。