[论文解读] Stochastic Neighbor Embedding separates well-separated clusters

Uri Shaham, Stefan Steinerberger|arXiv (Cornell University)|Feb 9, 2017

Face and Expression Recognition参考文献 10被引用 15

一句话总结

该论文证明了随机邻域嵌入（SNE）及其变体，包括一种 t-SNE 变体，在将高维空间映射到任意欧几里得空间 ℝᵈ 时，可保证分离出良好分离的聚类。关键结果表明，在满足最小分离条件 √(5 log n) 的前提下，最优 SNE 嵌入保持聚类结构，其质量评分 Q(ψ*) 的界为 O(log a)，且与聚类数量 n 无关。

ABSTRACT

Stochastic Neighbor Embedding and its variants are widely used dimensionality reduction techniques -- despite their popularity, no theoretical results are known. We prove that the optimal SNE embedding of well-separated clusters from high dimensions to any Euclidean space R^d manages to successfully separate the clusters in a quantitative way. The result also applies to a larger family of methods including a variant of t-SNE.

研究动机与目标

• 为 SNE 及其变体在聚类可视化中经验成功的理论依据提供首次理论支持。
• 分析当输入数据由良好分离的局部聚类组成时，SNE 是否可保证保留聚类结构。
• 以聚类分离度和内部一致性为指标，建立 SNE 嵌入质量的定量边界。
• 将理论分析扩展至使用一般核函数的更广泛 SNE 类方法族。
• 研究聚类分离能力对聚类数量 n 和输出维度 d 的依赖关系。

提出的方法

• 将质量度量 Q(ψ) 定义为：在某一点周围以该点为中心、通过从同一聚类中随机选取的第二个点所构成的球内点数的期望对数值。
• 建立任意嵌入下 Q(ψ) ≥ log(a) − 1 的下界，表明由于随机性，完美聚类不可实现。
• 证明最优 SNE 嵌入 ψ* 最小化 SNE 损失函数，且固定尺度 σᵢ = 2⁻¹ᐟ²。
• 利用高斯核的单调性，并结合对 1/q(ψᵢ, ψⱼ) 的界，将损失函数与质量度量 Q(ψ) 关联起来。
• 利用在分离条件下，类内成对概率 p(xᵢ, xⱼ) ≥ 1/(6a) 的事实，推导出 SNE 损失的下界。
• 将损失下界与最优损失的上界结合，推导出 Q(ψ*) ≤ 200 log(2a)，且该结果与 n 和 D 无关。

实验结果

研究问题

• RQ1 当将高维空间中良好分离的聚类嵌入 ℝᵈ 时，SNE 是否可保证分离出聚类？
• RQ2 对于具有最小类间距离的不相交、局部化聚类，SNE 嵌入的质量具有何种理论保证？
• RQ3 聚类数量 n 如何影响 SNE 的聚类分离能力？
• RQ4 该理论分析能否扩展至使用一般核函数的更广泛 SNE 类方法族？
• RQ5 嵌入质量对输出维度 d 和聚类大小 a 的依赖关系如何？

主要发现

• 最优 SNE 嵌入 ψ* 满足 Q(ψ*) ≤ 200 log(2a)，证明了无论聚类数量 n 如何，聚类结构均以高质量被保留。
• 在满足分离条件 ‖x−y‖ ≥ √(5 log n)（其中 x∈Bᵢ, y∈Bⱼ, i≠j）的前提下，边界 Q(ψ*) ≤ 200 log(2a) 与输入维度 D 和输出维度 d 无关。
• 当 n≫a≫1 时，边界改善为 Q(ψ*) ≤ (2e² + ε) log(2a) ≤ 15 log(2a)，表明其渐近紧致。
• 当输出维度 d 增加时，所需分离条件减弱为 √((1 + 2/d) log n)，且 Q(ψ*) ≲ₐ log a，其中常数依赖于 d。
• 该结果可推广至使用正的、单调递减核函数 f 的广义 SNE 变体族，其损失界为 O(na log a)。
• 任意嵌入下均有 Q(ψ) ≥ log(a) − 1，为聚类质量设定了基准。