[论文解读] Safe Sample Screening for Support Vector Machines

Kohei Ogawa, Yoshiki Suzuki+2 more|arXiv (Cornell University)|Jan 27, 2014

Face and Expression Recognition参考文献 29被引用 9

一句话总结

本文提出了一种新型的安全样本筛选方法，用于支持向量机（SVM），可在训练前保证识别出非支持向量，从而实现显著的计算节省。通过利用对偶性和最优性条件，该方法在不损害解的最优性前提下，可筛选掉高达90%的样本，显著加速SVM训练及正则化路径计算。

ABSTRACT

Sparse classifiers such as the support vector machines (SVM) are efficient in test-phases because the classifier is characterized only by a subset of the samples called support vectors (SVs), and the rest of the samples (non SVs) have no influence on the classification result. However, the advantage of the sparsity has not been fully exploited in training phases because it is generally difficult to know which sample turns out to be SV beforehand. In this paper, we introduce a new approach called safe sample screening that enables us to identify a subset of the non-SVs and screen them out prior to the training phase. Our approach is different from existing heuristic approaches in the sense that the screened samples are guaranteed to be non-SVs at the optimal solution. We investigate the advantage of the safe sample screening approach through intensive numerical experiments, and demonstrate that it can substantially decrease the computational cost of the state-of-the-art SVM solvers such as LIBSVM. In the current big data era, we believe that safe sample screening would be of great practical importance since the data size can be reduced without sacrificing the optimality of the final solution.

研究动机与目标

• 为解决SVM训练效率低下的问题，即尽管最终模型中支持向量稀疏，但大部分计算仍用于识别支持向量。
• 开发一种可证明性地识别并移除训练前非支持向量的方法，确保不损失最优性。
• 提升现有SVM求解器（如LIBSVM）的效率，并通过正则化路径实现更快的模型选择。
• 将先前针对特征选择的安全筛选技术扩展至SVM中的样本筛选，克服由大间隔原则带来的非平凡挑战。

提出的方法

• 基于对偶性和最优性条件，提出三种安全样本筛选规则（BT1、BT2、IT），利用参考解来界定每个样本的影响范围。
• 推导筛选规则的原始形式与对偶形式，其中对偶形式可通过核矩阵和对偶变量实现高效计算。
• 采用热启动策略，结合ε-近似路径算法，计算正则化路径，同时在不同C值下保持解的质量。
• 利用前一个C值的参考解构建边界，以判断某个样本是否可被安全地从训练中排除。
• 将筛选规则作为预处理步骤，在输入标准SVM求解器（如LIBSVM和LIBLINEAR）之前应用。
• 将筛选机制集成到正则化路径计算中，实现在多个C值下逐步减少训练集规模。

实验结果

研究问题

• RQ1 我们能否在求解SVM优化问题之前，识别出一个可保证为非支持向量的训练样本子集？
• RQ2 如何构建既计算高效又可证明安全的筛选规则，确保不会误删真正的支持向量？
• RQ3 安全样本筛选对SVM训练及正则化路径计算的计算成本有何影响？
• RQ4 与现有启发式筛选或预测方法相比，该方法在筛选率和最优性保持方面表现如何？
• RQ5 安全样本筛选能否与热启动策略有效结合，实现对多个正则化参数的高效模型选择？

主要发现

• 所提出的安全部分样本筛选方法可在不损害最终SVM解最优性的前提下，识别并移除高达90%的训练样本作为非支持向量。
• 在数值实验中，该方法显著降低了训练时间，尤其在结合LIBSVM和LIBLINEAR求解器时，由于问题规模大幅缩减而效果显著。
• 该方法在理论保证和实际筛选性能方面均优于先前方法（如Wang等人的方法[23]）。
• 将安全筛选与ε-近似路径算法结合，可高效计算正则化路径，同时在一系列C值范围内保持解的质量。
• 基于对偶形式的筛选规则（如BT1）在数学上等价于Wang等人在对偶空间中推导的规则，验证了本方法的有效性，同时扩展了其适用范围。