[论文解读] Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Sep 21, 2020

Face and Expression Recognition被引用 5

一句话总结

本教程与综述论文全面概述了随机邻域嵌入（SNE）、对称SNE、t-SNE（柯西-SNE）以及具有通用自由度的t-SNE，解释了其用于降维与可视化的概率框架。文中详细说明了SNE在输入空间与嵌入空间中均使用高斯分布，而t-SNE则采用学生t分布以获得更重的尾部分布，从而缓解拥挤问题，并介绍了样本外扩展方法与加速技术，如基于地标的方法与随机游走。

ABSTRACT

Stochastic Neighbor Embedding (SNE) is a manifold learning and dimensionality reduction method with a probabilistic approach. In SNE, every point is consider to be the neighbor of all other points with some probability and this probability is tried to be preserved in the embedding space. SNE considers Gaussian distribution for the probability in both the input and embedding spaces. However, t-SNE uses the Student-t and Gaussian distributions in these spaces, respectively. In this tutorial and survey paper, we explain SNE, symmetric SNE, t-SNE (or Cauchy-SNE), and t-SNE with general degrees of freedom. We also cover the out-of-sample extension and acceleration for these methods.

研究动机与目标

• 提供关于随机邻域嵌入（SNE）及其变体（包括t-SNE与对称SNE）的全面教程与综述。
• 解释SNE的概率框架，即在高维空间中的邻域概率在低维嵌入中得以保留。
• 解决SNE中的拥挤问题，并展示t-SNE通过使用学生t分布改善可视化效果，实现更好的聚类分离。
• 涵盖实用扩展，如样本外嵌入与大规模数据的加速技术。
• 总结近期进展及相关方法，包括参数化t-SNE、LargeVis与UMAP，以提供上下文与对比。

提出的方法

• 在输入空间中使用高斯分布建模邻域概率，通过二分查找确定特定点的方差，以保持局部结构。
• 采用软max归一化技巧，将未归一化的高斯概率转换为满足和为一的条件概率，确保约束条件成立。
• 通过在嵌入空间中用学生t分布（柯西分布）替代高斯分布，引入t-SNE，以实现更重的尾部分布，从而缓解拥挤问题。
• 通过使概率矩阵对称，应用对称SNE，提升优化稳定性与可视化质量。
• 采用基于地标的加速方法：在数据子集（地标）上训练SNE/t-SNE，然后通过核方法或基于优化的扩展将样本外点嵌入。
• 使用随机游走近似估计k-最近邻图中的转移概率，显著降低计算成本，同时保持邻域结构。

实验结果

研究问题

• RQ1 SNE如何通过在输入空间与嵌入空间中使用概率建模来保持局部邻域关系？
• RQ2 标准SNE的局限性是什么，特别是拥挤问题，t-SNE如何通过重尾分布加以解决？
• RQ3 在SNE或t-SNE于数据子集上训练后，如何高效地对样本外数据点进行嵌入？
• RQ4 诸如随机游走或基于地标的加速技术如何提升大规模数据集的可扩展性？
• RQ5 近期变体如参数化t-SNE、LargeVis与UMAP如何与原始t-SNE框架相关联或在其基础上进行改进？

主要发现

• 由于学生t分布具有更重的尾部，t-SNE在可视化高维数据方面显著优于标准SNE，有效缓解了拥挤问题。
• 在对称SNE中使用对称概率矩阵可产生比非对称SNE更稳定且更易解释的嵌入结果。
• 基于地标的方法通过在子集上训练并应用核方法或基于优化的映射，实现了高效的样本外扩展。
• 随机游走近似通过用基于图的采样替代完整的成对距离计算，降低了t-SNE的计算复杂度，从而实现大规模数据集的快速处理。
• 近期改进如密集t-SNE通过基于半径的方差调节引入局部密度信息，增强了密集区域的聚类分离效果。
• t-SNE的参数化与基于核的扩展支持端到端学习与可扩展推理，使该方法适用于大规模与监督学习场景。