[论文解读] On UMAP's true loss function

Sebastian Damrich, Fred A. Hamprecht|arXiv (Cornell University)|Mar 26, 2021

Advanced MIMO Systems Optimization参考文献 14被引用 15

一句话总结

本文揭示了UMAP的真实损失函数——通过解析推导得出——与其发表的公式存在显著差异，表明UMAP实际优化的是共享k近邻图的二值化版本，而非其声称所保留的复杂高维相似性。关键洞见在于，UMAP的成功并非源于相似性保持，而是源于其负采样方案所诱导的吸引力与排斥力之间的平衡，从而实现了有效的梯度下降优化。

ABSTRACT

UMAP has supplanted t-SNE as state-of-the-art for visualizing high-dimensional datasets in many disciplines, but the reason for its success is not well understood. In this work, we investigate UMAP's sampling based optimization scheme in detail. We derive UMAP's effective loss function in closed form and find that it differs from the published one. As a consequence, we show that UMAP does not aim to reproduce its theoretically motivated high-dimensional UMAP similarities. Instead, it tries to reproduce similarities that only encode the shared $k$ nearest neighbor graph, thereby challenging the previous understanding of UMAP's effectiveness. Instead, we claim that the key to UMAP's success is its implicit balancing of attraction and repulsion resulting from negative sampling. This balancing in turn facilitates optimization via gradient descent. We corroborate our theoretical findings on toy and single cell RNA sequencing data.

研究动机与目标

• 解决UMAP理论动机与其在高维数据可视化中经验成功之间的脱节问题。
• 详细分析UMAP基于采样的优化方案，特别是其对有效损失函数的影响。
• 确定UMAP是否真正再现了高维相似性，还是仅近似于数据结构的简化二值化版本。
• 解释尽管未再现其声称使用的复杂相似性度量，UMAP为何仍能生成高质量的可视化结果。

提出的方法

• 通过基于采样的期望的解析计算，推导UMAP优化过程的闭式有效损失函数。
• 将推导出的有效损失函数与UMAP发表的损失函数进行比较，识别排斥项权重中的差异。
• 分析UMAP实际试图再现的目标相似性（ν*ij），表明其本质上是输入相似性的二值化版本。
• 证明有效损失函数导致吸引力与排斥力之间的平衡，尽管原始公式更倾向于排斥力。
• 在合成数据和单细胞RNA-seq数据（C. elegans）上验证结果，显示预测与观察到的可视化结果一致。
• 使用高维（μij）、目标（ν*ij）和低维（νij）相似性的直方图，确认UMAP再现的是目标相似性，而非原始输入相似性。

实验结果

研究问题

• RQ1 给定其基于采样的方法，UMAP优化过程实际最小化的真正损失函数是什么？
• RQ2 有效损失函数与UMAP原始公式中明确表述的损失函数有何不同？
• RQ3 UMAP在嵌入空间中在多大程度上保留了高维UMAP相似性？
• RQ4 尽管未再现其声称建模的复杂相似性结构，UMAP为何仍能生成高质量的可视化结果？
• RQ5 吸引力与排斥力之间的平衡在UMAP优化成功中起到何种作用？

主要发现

• UMAP的真实损失函数与其发表的损失函数存在显著差异，尤其体现在排斥项权重上。
• 有效损失函数导致的目标相似性矩阵本质上是共享k近邻图的二值化版本，而非完整的高维UMAP相似性。
• UMAP并未再现复杂的高维相似性；相反，它近似于基于k-NN关系的二值连通图。
• 在有效损失函数中，总吸引力与排斥力权重保持平衡——尤其是在默认设置（m=5）下——这促进了稳定的梯度下降优化。
• 观察到的视觉伪影（如清晰的一维子结构）源于原始损失公式中力的大小失衡，而非真正的优化目标。
• 在玩具数据和单细胞RNA-seq数据上的实证验证表明，UMAP嵌入与目标相似性ν*ij一致，而非与原始高维相似性μij一致。