[论文解读] Using Dimensionality Reduction to Optimize t-SNE

Rikhav Shah, Sandeep Silwal|arXiv (Cornell University)|Dec 2, 2019

Face and Expression Recognition参考文献 11被引用 5

一句话总结

本文通过在嵌入前对输入数据应用随机投影以降低维度，提出了一种加速t-SNE的方法，该方法在显著缩短运行时间的同时保留了局部聚类结构。关键结果表明，仅将维度降至原始维度的5%即可保持t-SNE的准确性，从而实现数量级的加速，且不损失聚类保真度。

ABSTRACT

t-SNE is a popular tool for embedding multi-dimensional datasets into two or three dimensions. However, it has a large computational cost, especially when the input data has many dimensions. Many use t-SNE to embed the output of a neural network, which is generally of much lower dimension than the original data. This limits the use of t-SNE in unsupervised scenarios. We propose using extit{random} projections to embed high dimensional datasets into relatively few dimensions, and then using t-SNE to obtain a two dimensional embedding. We show that random projections preserve the desirable clustering achieved by t-SNE, while dramatically reducing the runtime of finding the embedding.

研究动机与目标

• 降低t-SNE的计算成本，因其在输入维度较高时扩展性较差。
• 探究通过随机投影进行降维是否能保持t-SNE维持局部聚类结构的能力。
• 证明在t-SNE推理前使用随机投影预处理可在不显著损失嵌入质量的前提下实现更快的运行速度。
• 在准确性和效率方面，比较随机投影与PCA作为t-SNE预处理方法的性能。
• 为无监督学习流程中的t-SNE提供一种实用且与实现无关的优化策略。

提出的方法

• 在运行t-SNE之前，对高维输入数据应用随机投影，将其降维至低维子空间。
• 以Johnson–Lindenstrauss引理作为理论依据，确保在降维空间中成对距离近似保持不变。
• 使用准确率分数衡量嵌入质量：即其最近邻具有相同标签的点所占比例。
• 在多个数据集（MNIST、CIFAR-10、Small NORB、Fashion-MNIST）上，对比有无预处理降维的t-SNE性能。
• 使用两种t-SNE实现——openTSNE（速度快）和scikit-learn（较慢）——以验证不同后端下的结果一致性。
• 评估随机投影和PCA作为预处理方法的影响，比较其在准确率和运行时间上的表现。

实验结果

研究问题

• RQ1 在降维前应用随机投影，是否能保持t-SNE捕捉到的局部聚类结构？
• RQ2 在t-SNE性能显著下降之前，输入维度最多可降低到何种程度？
• RQ3 使用随机投影进行预处理是否能在不损失嵌入质量的前提下带来可测量的t-SNE运行时间加速？
• RQ4 在准确率和所需投影维度方面，PCA与随机投影作为t-SNE预处理步骤相比如何？
• RQ5 该方法在不同数据集和t-SNE实现中是否具有鲁棒性？

主要发现

• 当数据被投影至原始维度的5%时，t-SNE的准确率几乎保持不变，准确率分数比接近1。
• 使用降维处理后，t-SNE的运行时间最多可减少90%，且聚类保真度损失极小。
• 在低维空间中，PCA在保持准确率方面优于随机投影，在所有测试数据集中于d=25时达到接近最优性能。
• 降维的“最佳区间”位于原始维度的5%至10%之间，在此范围内准确率得以保持，同时加速效果最大化。
• 所提出的方法与实现无关，在openTSNE和scikit-learn的t-SNE实现中均表现出一致的性能提升。
• 可视化结果证实，MNIST数据中全维与降维t-SNE输出的聚类结构在视觉上几乎无法区分。