[论文解读] TriMap: Large-scale Dimensionality Reduction Using Triplets

Ehsan Amid, Manfred K. Warmuth|arXiv (Cornell University)|Oct 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 9被引用 30

一句话总结

TriMap 是一种快速、可扩展的降维方法，通过使用三元组约束（即点 i 到 j 的距离小于到 k 的距离）而非仅依赖成对相似性，提升了低维嵌入中的全局结构保持能力。它在全局得分和运行时间方面优于 t-SNE、LargeVis 和 UMAP，能够高效扩展至数百万个点，同时保持高质量的聚类和层次结构可视化。

ABSTRACT

We introduce "TriMap"; a dimensionality reduction technique based on triplet constraints, which preserves the global structure of the data better than the other commonly used methods such as t-SNE, LargeVis, and UMAP. To quantify the global accuracy of the embedding, we introduce a score that roughly reflects the relative placement of the clusters rather than the individual points. We empirically show the excellent performance of TriMap on a large variety of datasets in terms of the quality of the embedding as well as the runtime. On our performance benchmarks, TriMap easily scales to millions of points without depleting the memory and clearly outperforms t-SNE, LargeVis, and UMAP in terms of runtime.

研究动机与目标

• 解决现有非线性降维方法（如 t-SNE、UMAP 和 LargeVis）在保留全局数据结构方面的不足。
• 提出一种新的定量度量——全局得分（global score），用于评估嵌入在多大程度上反映了高维空间中聚类的相对位置。
• 开发一种可扩展、高效且优先关注全局结构保持的降维方法，同时不牺牲局部准确性。
• 实现在消费级硬件上对大规模高维数据集（例如数百万个点）进行高效可视化，且内存占用极低。

提出的方法

• TriMap 使用 PCA 投影初始化嵌入，作为方差保持的全局最优基线。
• 通过从高维数据中提取的三元组约束增强初始 PCA 嵌入：对于三元组 (i, j, k)，点 i 到 j 的距离小于到 k 的距离。
• 该方法采用可微分的优化目标，最小化高维三元组结构与低维嵌入之间的差异。
• 三元组采样经过精心设计，以确保数据全局结构的多样性与覆盖性，同时保持计算效率。
• 算法在速度和内存效率方面进行了优化，能够扩展至超过 170 万个点的数据集。
• 提供基于 JAX 的实现，以提升可访问性与性能可移植性。

实验结果

研究问题

• RQ1 基于三元组约束的降维方法是否能比 t-SNE、UMAP 和 LargeVis 等基于成对相似性的方法更有效地保持高维数据的全局结构？
• RQ2 如何定义并使用一种定量的全局准确度度量，以评估嵌入在局部邻域保真度之外的性能？
• RQ3 能否设计一种可扩展、快速且内存高效的降维方法，在大规模数据集上保持高阶全局结构保真度？
• RQ4 TriMap 是否能在真实数据（例如神经网络激活）中揭示其他方法无法捕捉的层次结构和聚类级结构？

主要发现

• 在 CIFAR-10 FC1 层上，TriMap 的全局得分（GS）达到 0.70，显著高于 t-SNE 的 0.58，表明其在聚类位置和全局结构保持方面表现更优。
• 在包含 170 万个点的 Character Font Images 数据集上，TriMap 仅耗时约 1.3 小时完成嵌入，而 LargeVis 超过 3 小时，UMAP 超过 12 小时，展现出更优的运行时间可扩展性。
• 在所有测试数据集（包括合成的 S 曲线和瑞士卷流形）上，TriMap 在全局得分方面均优于 t-SNE、LargeVis 和 UMAP，同时保持了相近的局部准确性（最近邻 AUC）。
• 在神经网络层的可视化中，TriMap 有效揭示了层次聚类（例如“动物”和“车辆”超聚类），而 t-SNE 未能捕捉到这些结构，更高的 GS 值反映了其更优的全局保真度。
• 该方法可扩展至数百万个点而不会发生内存溢出，而 UMAP 在数据集超过约 400 万个点时即因内存不足而失败。
• TriMap 的 JAX 实现支持高效并行执行，且已公开发布，可供社区使用和扩展。