[论文解读] SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections

Amir-Hossein Karimi, Alexander Wong+1 more|arXiv (Cornell University)|Nov 7, 2018

Face and Expression Recognition被引用 4

一句话总结

该论文提出了一种名为监督随机投影（SRP）的新方法，通过直接优化标签依赖性（利用核近似和希尔伯特-施密特独立性准则HSIC），在大规模数据集上实现高效的类别感知嵌入学习，避免了计算成本高昂的SVD分解。SRP在性能上与SPCA和KSPCA相当，同时计算速度提升了1–2个数量级，实现了大规模数据的可扩展监督降维。

ABSTRACT

Supervised dimensionality reduction strategies have been of great interest. However, current supervised dimensionality reduction approaches are difficult to scale for situations characterized by large datasets given the high computational complexities associated with such methods. While stochastic approximation strategies have been explored for unsupervised dimensionality reduction to tackle this challenge, such approaches are not well-suited for accelerating computational speed for supervised dimensionality reduction. Motivated to tackle this challenge, in this study we explore a novel direction of directly learning optimal class-aware embeddings in a supervised manner via the notion of supervised random projections (SRP). The key idea behind SRP is that, rather than performing spectral decomposition (or approximations thereof) which are computationally prohibitive for large-scale data, we instead perform a direct decomposition by leveraging kernel approximation theory and the symmetry of the Hilbert-Schmidt Independence Criterion (HSIC) measure of dependence between the embedded data and the labels. Experimental results on five different synthetic and real-world datasets demonstrate that the proposed SRP strategy for class-aware embedding learning can be very promising in producing embeddings that are highly competitive with existing supervised dimensionality reduction methods (e.g., SPCA and KSPCA) while achieving 1-2 orders of magnitude better computational performance. As such, such an efficient approach to learning embeddings for dimensionality reduction can be a powerful tool for large-scale data analysis and visualization.

研究动机与目标

• 解决SPCA和KSPCA等监督降维方法在大规模数据集上计算成本过高的问题。
• 开发一种替代SVD的方法，避免完整矩阵分解带来的O(dn²)复杂度。
• 利用核近似和HSIC对称性，直接学习最优的类别感知嵌入，无需迭代优化。
• 在大幅减少实际运行时间的同时，实现与现有方法相当的分类准确率，适用于大规模数据集。
• 通过一种快速、闭式解的嵌入方法，实现高维数据的高效可视化与下游处理。

提出的方法

• SRP将监督嵌入学习建模为对HSIC的直接优化，HSIC是投影数据与标签之间依赖关系的度量，利用其对称性实现高效计算。
• 该方法用基于核近似的随机投影方案替代谱分解，完全避免使用SVD。
• 通过随机投影矩阵将数据映射到低维空间，使投影数据与标签之间的依赖性最大化，其优化过程受HSIC准则指导。
• 该方法基于核近似理论，可在不显式计算完整核矩阵的前提下，高效计算基于核的依赖关系。
• 对于非线性情形，核SRP（KSRP）通过核近似技术扩展SRP，以处理非线性标签依赖关系。
• 该方法推导了理论收敛边界，并提供了时间复杂度保证，显示SRP的时间复杂度为O(dn²)，KSRP为O(kₓn² + kᵧn²)，显著低于KSPCA的O(n³)。

实验结果

研究问题

• RQ1 一种随机化、无需SVD的方法能否在大幅降低计算成本的同时，实现与SPCA和KSPCA相当的分类性能？
• RQ2 核近似与HSIC对称性如何使无需谱分解即可直接优化标签相关嵌入成为可能？
• RQ3 在大规模数据集上使用监督随机投影时，嵌入质量与计算效率之间的权衡如何？
• RQ4 SRP与KSRP在1-NN分类准确率和实际运行时间方面与SPCA和KSPCA相比表现如何？
• RQ5 所提出的方法能否在KSPCA因内存和时间限制而失效的大规模数据集上实现可扩展性？

主要发现

• SRP的计算速度比SPCA和KSPCA快1–2个数量级，在实验中实际运行时间提升了5–20倍。
• 在所有五个测试数据集中，SRP和KSRP的1-NN分类准确率均与精确方法（SPCA和KSPCA）相差不超过2%，表明性能保持良好。
• 在MNIST数据集上，KSPCA因内存限制（64GB）而失败，而SRP仍保持高效与有效，凸显其可扩展性优势。
• 增加随机投影基的数量（k）可提升1-NN性能，证实更高的k能更好地保留判别性信息。
• SRP的时间复杂度为O(dn²)，KSRP为O(max{kₓn², kᵧn²})，两者均显著低于KSPCA的O(n³)，与观察到的运行时间提升一致。
• 所提出的方法可实现复杂数据（如XOR和MNIST）的有效二维可视化，性能接近精确的SPCA，展示了其在数据探索中的实用性。