[论文解读] Robustness and Regularization of Support Vector Machines

Huan Xu, Constantine Caramanis+1 more|arXiv (Cornell University)|Mar 25, 2008

Sparse and Compressive Sensing Techniques参考文献 46被引用 309

一句话总结

本文建立了正则化支持向量机（SVM）与非框型不确定性集下的鲁棒优化公式之间的精确等价关系，证明了正则化本质上能够提供对对抗性输入扰动的鲁棒性。主要贡献在于为SVM泛化提供了一种新的理论解释：对局部数据扰动的鲁棒性解释了为何正则化SVM能够良好泛化，从而在不依赖VC维或稳定性分析的前提下实现了的一致性证明。

ABSTRACT

We consider regularized support vector machines (SVMs) and show that they are precisely equivalent to a new robust optimization formulation. We show that this equivalence of robust optimization and regularization has implications for both algorithms, and analysis. In terms of algorithms, the equivalence suggests more general SVM-like algorithms for classification that explicitly build in protection to noise, and at the same time control overfitting. On the analysis front, the equivalence of robustness and regularization, provides a robust optimization interpretation for the success of regularized SVMs. We use the this new robustness interpretation of SVMs to give a new proof of consistency of (kernelized) SVMs, thus establishing robustness as the reason regularized SVMs generalize well.

研究动机与目标

• 建立SVM中正则化与非独立同分布（non-i.i.d.）数据扰动下鲁棒优化之间的正式联系。
• 通过将正则化SVM的泛化性能重新表述为对对抗性扰动的鲁棒性，提供一种新的理论解释。
• 开发一种鲁棒分类框架，其边界比以往的鲁棒公式更不保守，尤其适用于机会约束和贝叶斯设置。
• 证明对局部扰动的鲁棒性足以在独立同分布（i.i.d.）学习设置下证明标准SVM的一致性。
• 通过贝叶斯解释实现无需交叉验证的正则化参数的合理选择。

提出的方法

• 构建一个鲁棒优化问题，其中数据受到跨样本聚合范数约束的对抗性扰动，而非逐样本的框约束。
• 通过证明该鲁棒优化问题与标准正则化SVM的对偶优化问题相同，推导出等价的正则化SVM公式。
• 利用再生核希尔伯特空间（RKHS）理论，将输入空间中的鲁棒性与RBF核的特征空间中的鲁棒性联系起来。
• 证明对于平移不变核（如RBF核），在输入空间中以有界扰动大小c的条件下实现鲁棒性，对应于在特征空间中对特征向量扰动施加与√(2f(0)−2f(c))成比例的范数约束。
• 将鲁棒性框架应用于机会约束和贝叶斯分类，表明其边界更紧致，并实现了合理的正则化参数选择。
• 利用鲁棒性视角，证明了核化SVM的一致性，而无需依赖VC维或基于稳定性的论据。

实验结果

研究问题

• RQ1 在非框型不确定性集下，正则化SVM与鲁棒优化公式之间是否存在正式等价关系？
• RQ2 正则化SVM的泛化性能是否可以通过对抗性输入扰动的鲁棒性来解释，而不仅仅是复杂度控制？
• RQ3 SVM的鲁棒性如何与机会约束或贝叶斯分类等概率公式相关联？
• RQ4 该鲁棒性解释能否用于证明标准SVM的一致性，而无需依赖VC维或稳定性论据？
• RQ5 该鲁棒公式能否实现无需交叉验证的、有原则的正则化参数选择？

主要发现

• 正则化SVM在一类非框型不确定性集下与鲁棒优化公式在数学上完全等价，其中扰动受跨样本聚合范数约束。
• 该等价关系提供了新解释：SVM中的正则化本质上可抵御对抗性输入扰动，从而解释了其泛化能力。
• 对于RBF核，输入空间中扰动大小为c的鲁棒性，对应于特征空间中对特征向量扰动的范数约束为√(2f(0)−2f(c))。
• 该鲁棒公式对机会约束分类器的近似比以往鲁棒方法的保守性显著更低。
• 该鲁棒性框架允许一种新的核化SVM一致性证明，该证明不依赖VC维或稳定性论据，而是基于对局部扰动的鲁棒性。
• 该鲁棒公式的贝叶斯解释使得无需交叉验证即可实现有原则的、数据驱动的正则化参数选择。