[论文解读] Parametric t-Distributed Stochastic Exemplar-centered Embedding

Martin Renqiang Min, Hongyu Guo+1 more|arXiv (Cornell University)|Oct 14, 2017

Video Surveillance and Tracking Methods参考文献 17被引用 3

一句话总结

本文提出参数化t分布随机原型中心嵌入（pt-SEE），一种可扩展、鲁棒的参数化降维方法，通过使用少量预先计算的高维原型代替t-SNE中的成对数据比较。通过利用原型建模局部邻域，并结合具有高阶特征交互的浅层网络，该方法实现了线性计算复杂度，消除了对批量大小和困惑度的敏感性，并在MNIST和Fashion-MNIST等基准数据集上的可视化质量、鲁棒性及定量指标方面优于pt-SNE。

ABSTRACT

Parametric embedding methods such as parametric t-SNE (pt-SNE) have been widely adopted for data visualization and out-of-sample data embedding without further computationally expensive optimization or approximation. However, the performance of pt-SNE is highly sensitive to the hyper-parameter batch size due to conflicting optimization goals, and often produces dramatically different embeddings with different choices of user-defined perplexities. To effectively solve these issues, we present parametric t-distributed stochastic exemplar-centered embedding methods. Our strategy learns embedding parameters by comparing given data only with precomputed exemplars, resulting in a cost function with linear computational and memory complexity, which is further reduced by noise contrastive samples. Moreover, we propose a shallow embedding network with high-order feature interactions for data visualization, which is much easier to tune but produces comparable performance in contrast to a deep neural network employed by pt-SNE. We empirically demonstrate, using several benchmark datasets, that our proposed methods significantly outperform pt-SNE in terms of robustness, visual effects, and quantitative evaluations.

研究动机与目标

• 为解决pt-SNE存在的不稳定性与高计算成本问题，其受批量大小与困惑度要求冲突的影响。
• 通过用少量代表性原型代替成对数据比较，消除t-SNE中昂贵的成对比较需求。
• 开发一种可扩展、鲁棒的参数化嵌入方法，支持无需重新训练的样本外推理。
• 通过简化超参数调优（尤其是对困惑度和批量大小高度敏感的现有参数化方法），提升易用性。
• 在比pt-SNE所用的深层前馈网络更简单、更易调参的网络架构下，实现最先进水平的可视化性能。

提出的方法

• 提出一种新型目标函数，计算数据点与一组固定高维原型之间的相似性，而非数据点之间的两两比较，将复杂度从与数据点数的平方关系降低为与原型数的线性关系。
• 通过k-means聚类的几次迭代选择原型，以捕捉数据中的局部密度与全局聚类结构。
• 采用具有高阶特征交互的浅层神经网络学习嵌入映射，替代pt-SNE中的深层前馈网络，实现更易调参且性能相当的模型。
• 应用噪声对比采样以避免每个数据点与所有原型进行比较，进一步降低计算与内存开销。
• 将困惑度超参数与批量大小解耦，使其仅控制全局预期邻近原型的数量，而非每个小批量中的数量。
• 通过利用学习到的参数化映射函数，实现高效的样本外推理，避免了昂贵的优化或近似过程。

实验结果

研究问题

• RQ1 能否设计一种参数化嵌入方法，在避免t-SNE中成对比较的二次计算成本的同时，保持局部邻域结构？
• RQ2 用基于原型的比较替代成对比较，是否能带来更鲁棒、更可扩展的嵌入，并降低对批量大小与困惑度的敏感性？
• RQ3 具有高阶特征交互的浅层神经网络能否实现与pt-SNE中所用深层网络相当或更优的可视化性能？
• RQ4 与传统t-SNE和pt-SNE相比，基于原型的嵌入在多大程度上能保持局部与全局数据结构？
• RQ5 在标准基准数据集上，该方法在聚类准确率与邻域保持方面的定性与定量表现如何？

主要发现

• 在MNIST数据集上，dt-see的1NN测试错误率为8.74% ± 0.37%，显著优于核t-SNE（14.2%）和Fisher核t-SNE（13.7%）。
• 在邻域大小为100时，dt-see的质量评分为23.17%，高于pt-SNE的18.23%，表明其具有更优的邻域保持能力。
• hot-see在MNIST上的1NN测试错误率为9.11% ± 0.43%，优于pt-SNE的12.55%测试错误率。
• 该方法对超参数选择表现出鲁棒性：由于参数解耦，困惑度与批量大小对性能影响极小。
• 基于原型中心的方法将计算与内存复杂度从与原型数的平方关系降低为线性关系，实现了对大规模数据集的可扩展性。
• 具有高阶特征交互的浅层网络在性能上可与pt-SNE中的深层网络相媲美，但显著简化了超参数调优过程。