[论文解读] Stochastic Neighbor Embedding under f-divergences

Daniel Jiwoong Im, Nakul Verma+1 more|arXiv (Cornell University)|Nov 3, 2018

Video Surveillance and Tracking Methods参考文献 1被引用 8

一句话总结

本文通过将 t-SNE 的目标函数从 Kullback-Leibler 散度推广至更广泛的 f-散度类，扩展了 t-SNE，从而能够更好地捕捉多样化的数据结构，如流形、聚类和层次结构。该方法提出了一种变分下界优化方法，其性能优于标准梯度下降，在多种散度和数据集上均生成了更高质量的嵌入。

ABSTRACT

The t-distributed Stochastic Neighbor Embedding (t-SNE) is a powerful and popular method for visualizing high-dimensional data. It minimizes the Kullback-Leibler (KL) divergence between the original and embedded data distributions. In this work, we propose extending this method to other f-divergences. We analytically and empirically evaluate the types of latent structure-manifold, cluster, and hierarchical-that are well-captured using both the original KL-divergence as well as the proposed f-divergence generalization, and find that different divergences perform better for different types of structure. A common concern with $t$-SNE criterion is that it is optimized using gradient descent, and can become stuck in poor local minima. We propose optimizing the f-divergence based loss criteria by minimizing a variational bound. This typically performs better than optimizing the primal form, and our experiments show that it can improve upon the embedding results obtained from the original $t$-SNE criterion as well.

研究动机与目标

• 研究不同 f-散度如何影响 t-SNE 揭示数据内在结构（如聚类、流形和层次结构）的能力。
• 解决 t-SNE 的 KL 散度目标函数存在的局限性，即更注重召回率而非精确率，且在非聚类结构上表现不佳。
• 提出一种变分下界优化方法，以提升基于 f-散度的 t-SNE 的收敛性和解的质量。
• 提供一个灵活且开源的框架（ft-SNE），支持多种 f-散度及用户自定义散度定义。
• 在实验中对比 t-SNE 中 f-散度优化的原始形式与对偶形式（变分形式）的性能。

提出的方法

• 通过使用 f-散度的共轭凸函数，将 t-SNE 一般化，用任意 f-散度替代 KL 散度，从而定义新的目标函数。
• 提出优化 f-散度的变分下界，该下界基于共轭凸函数推导而来，以提升优化的稳定性和收敛性。
• 采用基于神经网络的判别器来建模对偶形式，实现端到端的梯度下降训练。
• 采用双流优化策略：以超参数 J:K 交替更新嵌入权重和判别器权重。
• 支持五种标准 f-散度（KL、卡方、反向 KL、JS、赫林格），并通过框架支持用户自定义 f-散度。
• 采用以邻域为中心的精确率-召回率分析，评估不同散度下结构保留的效果。

实验结果

研究问题

• RQ1 哪些 f-散度在低维嵌入中对保留流形、聚类和层次结构最为有效？
• RQ2 与原始形式相比，f-散度优化的变分对偶形式在收敛性和解质量方面表现如何？
• RQ3 优化变分下界是否能生成优于标准梯度下降在原始目标函数上的 t-SNE 嵌入？
• RQ4 超参数（如困惑度、网络深度和更新比例 J:K）如何影响变分 f-t-SNE 方法的性能？
• RQ5 所提出的框架能否推广至支持标准集合之外的任意 f-散度？

主要发现

• 变分对偶形式（vft-SNE）在所有 f-散度下，包括 KL 散度，均能实现比标准原始形式（ft-SNE）更低的原始 f-散度损失，表明其能到达更优的局部极小值。
• 在小困惑度下，vft-SNE 显著优于 ft-SNE，损失降低更明显，但随着困惑度增加，这一差距逐渐缩小。
• 优化变分形式能显著加快收敛速度，并在所有 f-散度（包括 KL、卡方和 Jensen-Shannon）下实现更稳定的训练。
• 不同 f-散度强调不同的结构类型：KL 和卡方散度更注重局部结构（聚类），而反向 KL 散度更强调全局结构。
• JS 和赫林格散度在精确率与召回率之间取得平衡，能有效捕捉局部与全局关系，适用于复杂、多尺度的数据。
• 网络架构（深度与宽度）对性能影响极小，表明变分优化方案具有高度鲁棒性。