Skip to content
返回搜索结果

UMAP

提出者
McInnes, L.; Healy, J.; Melville, J.
年份
2018
类型
Nonlinear manifold-learning dimension reduction

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

UMAP(Uniform Manifold Approximation and Projection,均匀流形逼近与投影)是一种快速、可扩展的非线性降维方法,其理论基础是流形学习,由 McInnes、Healy 和 Melville 于 2018 年提出。它将高维数据压缩成低维嵌入,用于可视化和后续分析。

方法背后的直觉

具有许多特征的真实数据通常位于嵌入在高维空间中的低得多的弯曲表面或流形上。UMAP 试图通过点在其邻域中的聚类方式来学习该表面的形状,然后将其展开到二维或三维空间中,从而使结构变得可见。与 t-SNE 相比,它倾向于保留更多的全局布局,同时在大型数据集上速度更快。

历史学

UMAP 由 Leland McInnes、John Healy 和 James Melville 于 2018 年提出,他们以流形学习理论为基础,将其构建为 t-SNE 的更快、更具可扩展性的替代方案。它迅速成为降维和可视化的标准工具,尤其是在具有非常高维数据的领域,因为它在扩展到大型数据集的同时保留了更多的全局结构。

何时使用

使用 UMAP 可视化或压缩至少约 50 个观测值的连续高维数据,无论是用于探索还是作为分类前的预处理步骤。应根据您关心的结构调整 n_neighbors 和 min_dist 超参数,并应固定 random_state 以实现可重现性。在约 50 个观测值以下,流形无法可靠学习,线性 PCA 是更安全的选择。

局限与注意事项

  • 嵌入中聚类之间的距离可能具有误导性,不应过度解读。
  • 结果取决于 n_neighbors 和 min_dist 超参数,必须对其进行调整。
  • 除非固定 random_state,否则输出不确定。
  • 在小样本(n 低于约 50)上,流形无法可靠学习,可视化结果具有误导性;PCA 更可取。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 快速且可扩展到大型数据集,比 t-SNE 快得多。
  • 比 t-SNE 更好地保留全局结构,同时仍能捕获局部聚类。
  • 捕获 PCA 等线性方法无法捕获的非线性结构。
  • 生成非常适合可视化的 2 维或 3 维嵌入。

应用

  • 将高维连续数据可视化为二维或三维。
  • 在正式建模之前进行探索性分析以揭示聚类和结构。
  • 作为分类前的预处理步骤进行降维。
  • 压缩大型、高特征数据集,其中速度很重要。

使用方式

使用方式

1

UMAP 首先构建高维数据的加权邻域图:每个点都连接到其最近的邻居,由超参数 n_neighbors 控制,该参数设置捕获局部结构与全局结构的程度。此图是 UMAP 对底层流形的近似。

2

然后优化低维布局,使其自身的邻域图与高维图尽可能匹配,方法是最小化两个图表示之间的交叉熵。超参数 min_dist 控制点被允许紧密堆积的程度,从而塑造所得聚类的密度。

公式
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})
3

结果是 2 维或 3 维嵌入,其中相似的观测值紧密地排列在一起,可用于绘图或输入到聚类或分类中。聚类形状得以保留,但聚类之间的距离应谨慎解读,并且需要固定的 random_state 才能获得可重现的输出。

常见陷阱

  • 将聚类之间的距离解读为有意义的量。
  • 将 n_neighbors 和 min_dist 保留为默认值,而不是根据数据进行调整。
  • 忘记设置 random_state,导致嵌入不可重现。
  • 在少于约 50 个观测值上运行 UMAP 并信任所得图。

常见问题

UMAP 与 t-SNE 有何不同?

两者都是用于可视化高维数据的非线性方法,但 UMAP 基于流形学习理论,倾向于更好地保留全局结构,并且在大型数据集上速度快得多。

我可以在图中解读聚类之间的距离吗?

请谨慎。UMAP 保留了聚类形状,但聚类之间的距离可能具有误导性,不应将其解读为精确的量。

哪些超参数最重要?

n_neighbors 控制局部结构和全局结构之间的平衡,min_dist 控制点紧密堆积的程度。两者都应进行调整,并且应固定 random_state 以使嵌入可重现。

如果我的观测值很少怎么办?

在约 50 个观测值以下,流形无法可靠学习,嵌入结果具有误导性。在这种情况下,PCA 等线性方法是更安全的选择。

相关方法

参考文献

  1. McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.

    打开出版物文献
    已复制。