[论文解读] Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMAP, and PaCMAP for Data Visualization

Yingfan Wang, Haiyang Huang+2 more|arXiv (Cornell University)|Dec 8, 2020

Data Visualization and Analytics参考文献 46被引用 241

一句话总结

本论文分析为什么本地和全局结构在DR方法中被保留，提出有效损失设计的原则，并提出PaCMAP作为一种新算法，能够同时保留两种结构。它还就图组件选择和初始化效应提供指南。

ABSTRACT

Dimension reduction (DR) techniques such as t-SNE, UMAP, and TriMAP have demonstrated impressive visualization performance on many real world datasets. One tension that has always faced these methods is the trade-off between preservation of global structure and preservation of local structure: these methods can either handle one or the other, but not both. In this work, our main goal is to understand what aspects of DR methods are important for preserving both local and global structure: it is difficult to design a better method without a true understanding of the choices we make in our algorithms and their empirical impact on the lower-dimensional embeddings they produce. Towards the goal of local structure preservation, we provide several useful design principles for DR loss functions based on our new understanding of the mechanisms behind successful DR methods. Towards the goal of global structure preservation, our analysis illuminates that the choice of which components to preserve is important. We leverage these insights to design a new algorithm for DR, called Pairwise Controlled Manifold Approximation Projection (PaCMAP), which preserves both local and global structure. Our work provides several unexpected insights into what design choices both to make and avoid when constructing DR algorithms.

研究动机与目标

• 确定 DR 损失函数的哪些方面会影响局部与全局结构的保留。
• 理解图组件（邻居、mid-near、进一步点）如何影响嵌入。
• 构建一个简单损失函数，能够同时保留局部和全局结构。
• 展示初始化和尺度对 DR 性能的影响。
• 介绍 PaCMAP，并展示其保留两种结构的能力。

提出的方法

• 通过损失函数与图组件分析，回顾并比较 t-SNE、UMAP、TriMap 和 PaCMAP。
• 提出一个统一的 DR 目标，将损失分解为与图结构相关的高维和低维分量。
• 引入 Rainbow 图作为一种可视化工具，用以比较不同方法的损失机制。
• 推导有利于局部结构保留和全局结构感知的损失设计原则。
• 给出并实现 PaCMAP，采用针对邻居、中近点和更远点三阶段加权方案。

实验结果

研究问题

• RQ1 DR 损失函数的哪些要素对保留局部与全局结构重要？
• RQ2 简单的损失函数是否能够在统一框架中同时保留局部和全局结构？
• RQ3 图组件的选择（邻居、中近点、更远点）如何影响嵌入质量？
• RQ4 初始化在 DR 性能中对全局结构保留有何作用？
• RQ5 新的算法 PaCMAP 是否能够体现所识别的原则并在保留两种结构方面优于现有方法？

主要发现

• 损失设计和图组件选择在 DR 嵌入中对局部与全局结构的保留具有关键影响。
• 一个统一的 DR 目标可以在图组件之间分解为高维和低维项，便于原则性分析。
• PaCMAP 的损失在所提出原则的指导下，保留了局部和全局结构，并使用中近点对来帮助维持全局关系。
• 初始化在多种 DR 方法中对全局结构的保留可能有出人意料的影响。
• PaCMAP 在代表性数据集上，在局部结构方面相对于 UMAP 具有竞争力，在全局结构方面相对于 TriMap 也具有竞争力。