[论文解读] UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction

Leland McInnes, John J. Healy+1 more|arXiv (Cornell University)|Feb 9, 2018

Advanced Vision and Imaging参考文献 43被引用 7,412

一句话总结

UMAP 是一种新颖的流形学习技术用于降维，在黎曼几何和代数拓扑方面具有理论基础，与 t-SNE 相比在可视化质量上具竞争力、在全局结构保留方面更好、并且在没有嵌入维度限制的情况下具有可扩展性。

ABSTRACT

UMAP (Uniform Manifold Approximation and Projection) is a novel manifold learning technique for dimension reduction. UMAP is constructed from a theoretical framework based in Riemannian geometry and algebraic topology. The result is a practical scalable algorithm that applies to real world data. The UMAP algorithm is competitive with t-SNE for visualization quality, and arguably preserves more of the global structure with superior run time performance. Furthermore, UMAP has no computational restrictions on embedding dimension, making it viable as a general purpose dimension reduction technique for machine learning.

研究动机与目标

• 基于流形学习，提供一个理论依据充分、可扩展的降维方法。
• 在嵌入过程中尽可能保留数据的局部和全局结构。
• 开发一个能够高效处理大规模现实世界数据集的实用算法。
• 建立与黎曼几何和拓扑数据分析的清晰联系，以证明设计选择的合理性。

提出的方法

• 通过对 k 最近邻的局部归一化距离来近似流形上的测地距离，从而得到每个点的局部度量。
• 从局部度量空间构建模糊拓扑表征（模糊单纯复集），并通过模糊并集将它们融合成全局表示。
• 将数据流形表示为一个带权的 k 近邻图，边权反映局部连通性和度量缩放。
• 通过优化低维布局来最小化高维与低维模糊拓扑表征之间的交叉熵以实现嵌入，聚焦于 1-骨架。
• 在嵌入空间采用力导向图布局，设计良好的吸引力和排斥力，并采用分阶段的退火式时间表以实现稳定性。
• 将构造和优化建立在将单纯复集、度量空间和伴随函子联系起来的数学基础之上，以确保设计决策的原理性。

实验结果

研究问题

• RQ1 如何构建对高维数据的忠实拓扑表征来指导降维？
• RQ2 一个局部自适应、几何感知的图表示是否能产生可扩展且有意义的低维嵌入？
• RQ3 在真实数据集上，UMAP 的嵌入质量和运行时间与 t-SNE、LargeVis 等成熟方法相比如何？
• RQ4 有哪些超参数选择和算法步骤是由稳健的理论框架而非任务特定实验所支持的？

主要发现

• 与 t-SNE 相比，UMAP 获得具有竞争力的可视化质量。
• 它在保留全局数据结构方面可能比某些替代方法做得更多。
• 该算法在运行时间性能和对更大数据集的可扩展性方面表现出色。
• 没有对嵌入维度的计算限制，使 UMAP 成为一个通用的降维工具。
• 该方法建立在严格的数学框架之上，将黎曼几何和拓扑数据分析与实用、可扩展的实现相结合。
• UMAP 已在生物信息学、材料科学和机器学习等领域得到广泛应用。