[论文解读] Theoretical Foundations of t-SNE for Visualizing High-Dimensional Clustered Data

T. Tony Cai, Rong Ma|arXiv (Cornell University)|May 16, 2021

Advanced Clustering Algorithms Research参考文献 30被引用 96

一句话总结

本论文提供一个严格、基于梯度下降的 t-SNE 理论框架，将早期夸张与图拉普拉斯算子上的幂迭代联系起来，并详细描述嵌入阶段的动态和隐式正则化。

ABSTRACT

This paper investigates the theoretical foundations of the t-distributed stochastic neighbor embedding (t-SNE) algorithm, a popular nonlinear dimension reduction and data visualization method. A novel theoretical framework for the analysis of t-SNE based on the gradient descent approach is presented. For the early exaggeration stage of t-SNE, we show its asymptotic equivalence to power iterations based on the underlying graph Laplacian, characterize its limiting behavior, and uncover its deep connection to Laplacian spectral clustering, and fundamental principles including early stopping as implicit regularization. The results explain the intrinsic mechanism and the empirical benefits of such a computational strategy. For the embedding stage of t-SNE, we characterize the kinematics of the low-dimensional map throughout the iterations, and identify an amplification phase, featuring the intercluster repulsion and the expansive behavior of the low-dimensional map, and a stabilization phase. The general theory explains the fast convergence rate and the exceptional empirical performance of t-SNE for visualizing clustered data, brings forth interpretations of the t-SNE visualizations, and provides theoretical guidance for applying t-SNE and selecting its tuning parameters in various applications.

研究动机与目标

• 为可视化高维聚簇数据而动机与证明 t-SNE 的理论基础。
• 发展一个基于梯度下降的框架，将早期夸张与谱图性质连接起来。
• 刻画嵌入阶段的动态，以解释快速收敛和簇分离。
• 为聚簇数据提供关于初始化和参数调优的实用指南。

提出的方法

• 定义 P 和 Q 相似度矩阵以及 t-SNE 的 KL 散度目标。
• 将早期夸张更新重新表述为一个线性算子，涉及由 S^{(k)}_{\alpha} 构建的图的拉普拉斯矩阵。
• 证明早期夸张步骤在渐近意义上等价于 I_n - h L(S^{(k)}_{\alpha}) 的幂迭代。
• 建立在早期夸张阶段中的局部化、隐式正则化，以及早停的条件。
• 分析嵌入阶段的运动学，以识别放大阶段和稳定化阶段。
• 提供一个框架来解释 t-SNE 的输出，并根据聚簇结构给出参数调优的建议。

实验结果

研究问题

• RQ1 早期夸张在 t-SNE 中如何提升聚簇可视化的理论机制？
• RQ2 早期夸张如何与幂迭代和拉普拉斯本征性质相关？
• RQ3 驱动快速收敛和簇分离的嵌入阶段动态有哪些？
• RQ4 在聚簇数据中应如何选择初始化和调优参数，以避免过冲或伪影？
• RQ5 理论给出哪些关于在实际数据中应用 t-SNE 的实际解读和指南？

主要发现

• 早期夸张在渐近意义上等价于与 P 相关的图拉普拉斯算子的幂迭代，具有隐含的谱聚类解释。
• 对于弱聚簇数据，早停作为隐式正则化以避免过冲。
• 嵌入阶段表现为一个放大阶段，具有簇间斥力和全局扩张，随后是稳定化阶段。
• 当数据高度聚簇时，该方法与拉普拉斯空域对齐，产生簇分离的嵌入。
• 该理论为初始化和调优参数提供数据自适应的指导，并支持对可视化的实际解读。