[论文解读] Scaling SVM and Least Absolute Deviations via Exact Data Reduction

Jie Wang, Peter Wonka+1 more|arXiv (Cornell University)|Oct 25, 2013

Face and Expression Recognition参考文献 30被引用 59

一句话总结

该论文提出DVI（双重变分不等式）筛选规则，通过变分不等式对偶问题分析，在支持向量机（SVM）和最小绝对偏差（LAD）回归中精确识别并剔除非支持向量，实现高达两个数量级的速度提升。该方法在优化前安全地剔除高达90%的数据实例，优于现有的安全筛选规则（如SSNSV和ESSNSV）。

ABSTRACT

The support vector machine (SVM) is a widely used method for classification. Although many efforts have been devoted to develop efficient solvers, it remains challenging to apply SVM to large-scale problems. A nice property of SVM is that the non-support vectors have no effect on the resulting classifier. Motivated by this observation, we present fast and efficient screening rules to discard non-support vectors by analyzing the dual problem of SVM via variational inequalities (DVI). As a result, the number of data instances to be entered into the optimization can be substantially reduced. Some appealing features of our screening method are: (1) DVI is safe in the sense that the vectors discarded by DVI are guaranteed to be non-support vectors; (2) the data set needs to be scanned only once to run the screening, whose computational cost is negligible compared to that of solving the SVM problem; (3) DVI is independent of the solvers and can be integrated with any existing efficient solvers. We also show that the DVI technique can be extended to detect non-support vectors in the least absolute deviations regression (LAD). To the best of our knowledge, there are currently no screening methods for LAD. We have evaluated DVI on both synthetic and real data sets. Experiments indicate that DVI significantly outperforms the existing state-of-the-art screening rules for SVM, and is very effective in discarding non-support vectors for LAD. The speedup gained by DVI rules can be up to two orders of magnitude.

研究动机与目标

• 解决大规模SVM和LAD模型训练中的计算瓶颈问题。
• 开发一种安全且精确的筛选方法，确保被剔除的向量确为非支持向量。
• 将筛选技术从此前局限于ℓ1-正则化问题中的特征选择，拓展至SVM和LAD中的实例级筛选。
• 提供与求解器无关的框架，可无缝集成至任意现有SVM或LAD求解器中。
• 在合成数据集和真实世界数据集上验证该方法的有效性。

提出的方法

• 该方法将SVM和LAD的对偶问题形式化，并利用变分不等式估计最优对偶解。
• 推导出每个数据向量与最优对偶解之间内积的下界，以识别非支持向量。
• 筛选规则基于安全准则：若下界超过阈值，则可保证该向量为非支持向量。
• 该方法仅需对数据进行一次遍历即可计算筛选条件，计算开销可忽略不计。
• 该框架被扩展至LAD问题，而此前该问题尚无有效的筛选规则。
• 该方法与底层求解器无关，可无缝集成至任意现有高效求解器中。

实验结果

研究问题

• RQ1 我们能否开发一种安全且高效的筛选规则，在不损害最终分类器性能的前提下，精确识别SVM中的非支持向量？
• RQ2 该筛选技术能否超越特征选择，推广至ℓ1-正则化模型中的实例级数据缩减？
• RQ3 变分不等式能否为筛选提供比现有方法更紧致、更精确的对偶解估计？
• RQ4 所提方法能否扩展至LAD回归，而该领域此前尚无安全筛选规则？
• RQ5 该方法在大规模学习问题中，能在多大程度上降低计算成本和内存使用？

主要发现

• 在IJCNN1数据集中，DVI规则可识别高达80%的非支持向量，相比基线求解器实现5倍速度提升。
• 在Wine数据集中，DVI剔除超过80%的实例，实现6倍速度提升。
• 在Forest Covertype数据集中，DVI实现接近80倍的速度提升，且剔除超过90%的数据点。
• 在LAD回归中，DVI在Magic Gamma Telescope数据集上实现90%的剔除率，带来10倍速度提升。
• 在Houses数据集中，由于近100%的剔除率，DVI实现115倍速度提升，表明其在高维数据上的有效性。
• 该方法在识别非支持向量方面始终优于SSNSV和ESSNSV，且筛选初始化的计算开销显著更低。