[论文解读] Scaling Up Sparse Support Vector Machines by Simultaneous Feature and Sample Reduction

Weizhong Zhang, Bin Na Hong+5 more|arXiv (Cornell University)|Jul 24, 2016

Face and Expression Recognition参考文献 29被引用 15

一句话总结

本文提出SIFS（同时特征与样本筛选），一种用于稀疏支持向量机的新颖静态筛选方法，可在训练前同时识别并移除无关特征与样本。通过利用精确的原始与对偶最优解估计，SIFS在大规模数据集上实现了数量级的加速，且不损失精度，是首个在稀疏SVM中联合减少特征空间与样本空间的方法。

ABSTRACT

Sparse support vector machine (SVM) is a popular classification technique that can simultaneously learn a small set of the most interpretable features and identify the support vectors. It has achieved great successes in many real-world applications. However, for large-scale problems involving a huge number of samples and ultra-high dimensional features, solving sparse SVMs remains challenging. By noting that sparse SVMs induce sparsities in both feature and sample spaces, we propose a novel approach, which is based on accurate estimations of the primal and dual optima of sparse SVMs, to simultaneously identify the inactive features and samples that are guaranteed to be irrelevant to the outputs. Thus, we can remove the identified inactive samples and features from the training phase, leading to substantial savings in the computational cost without sacrificing the accuracy. Moreover, we show that our method can be extended to multi-class sparse support vector machines. To the best of our knowledge, the proposed method is the \emph{first} \emph{static} feature and sample reduction method for sparse SVMs and multi-class sparse SVMs. Experiments on both synthetic and real data sets demonstrate that our approach significantly outperforms state-of-the-art methods and the speedup gained by our approach can be orders of magnitude.

研究动机与目标

• 解决在高维特征与大规模样本量的超大规模数据集上训练稀疏SVM所面临的计算挑战。
• 开发一种在训练过程中同时减少无关特征与样本的方法，利用特征空间与样本空间中的稀疏性。
• 提供一种静态筛选方法（不同于动态方法），在优化开始前识别无关分量，确保计算节省且不损失精度。
• 将该方法扩展至多分类稀疏SVM，扩大其在复杂分类任务中的适用性。
• 通过联合针对稀疏SVM中两个维度的稀疏性，超越现有的仅筛选特征或仅筛选样本的方法。

提出的方法

• 提出一种静态筛选框架，通过估计稀疏SVM的原始与对偶最优解，识别无关特征与样本。
• 利用KKT条件推导筛选规则，保证最优解中系数为零，从而安全地移除无关分量。
• 采用软阈值算子与基于对偶的估计方法，推导原始问题与对偶问题最优解的边界。
• 同时将筛选规则应用于特征空间与样本空间，实现数据维度与样本规模的联合降低。
• 提出多分类稀疏SVM的统一公式，将方法扩展至多分类分类任务。
• 采用两步筛选策略：首先通过下界估计对偶最优解，然后基于KKT条件应用筛选规则，识别无关分量。

实验结果

研究问题

• RQ1 我们能否在保持解精度的前提下，同时减少稀疏SVM训练中的特征与样本？
• RQ2 如何推导出在优化开始前即可识别无关特征与样本的静态筛选规则？
• RQ3 确保所识别的无关分量确实与最优解无关的理论基础是什么？
• RQ4 在大规模数据集上，联合特征与样本筛选的性能与单独进行特征或样本筛选的方法相比如何？
• RQ5 所提出的方法能否有效扩展至多分类稀疏SVM，同时保持相当的效率与精度？

主要发现

• SIFS在rcv1、url与kddb等真实世界数据集上实现了数量级的加速，显著优于现有最先进筛选方法。
• 在合成与真实数据集上，SIFS在许多情况下可移除超过90%的特征与样本，大幅降低训练时间且不损失模型精度。
• 该方法在包括高维文本与图像数据集在内的多种数据分布中均保持了高拒绝率。
• 在多分类场景中，SIFS成功扩展至多分类稀疏SVM，表现出一致的性能提升。
• 实证结果表明，SIFS在早期阶段的数据缩减中比动态筛选方法（如Shibagaki等，2016）更有效。
• 理论分析证实，筛选规则在KKT条件下是精确的，确保被移除的分量不会影响最终解。