[论文解读] Near-Tight Margin-Based Generalization Bounds for Support Vector Machines

Allan Grønlund, Lior Kamma+1 more|arXiv (Cornell University)|Jun 3, 2020

Face and Expression Recognition参考文献 17被引用 7

一句话总结

本文基于间隔提出了一种近乎紧致的支撑向量机（SVM）泛化界，改进了经典的基于间隔的泛化界。它建立了一个几乎与之匹配的下界，从而在间隔方面近乎确定了SVM的理论泛化性能。

ABSTRACT

Support Vector Machines (SVMs) are among the most fundamental tools for binary classification. In its simplest formulation, an SVM produces a hyperplane separating two classes of data using the largest possible margin to the data. The focus on maximizing the margin has been well motivated through numerous generalization bounds. In this paper, we revisit and improve the classic generalization bounds in terms of margins. Furthermore, we complement our new generalization bound by a nearly matching lower bound, thus almost settling the generalization performance of SVMs in terms of margins.

研究动机与目标

• 通过在间隔、半径和样本数量方面收紧上界，改进SVM的经典间隔泛化界。
• 通过构造一个几乎匹配的下界，补充新的上界，从而近乎确定SVM在间隔方面的理论泛化性能。
• 通过证明上界和几乎匹配的下界，解决长期存在的问题：现有基于间隔的界是否紧致。
• 分析硬间隔和软间隔SVM的泛化误差，重点关注间隔大小和数据分布的作用。

提出的方法

• 基于间隔θ、数据半径R和样本数m，推导出SVM泛化误差的新上界，相较于Bartlett和Shawe-Taylor的先前工作有所改进。
• 提出一种基于对称化和Rademacher复杂度的新分析技术，以界预期间隔误差。
• 通过精心设计的数据分布和标记方案，构造一个几乎匹配的下界，证明该上界在渐近意义上是紧致的。
• 使用概率论论证和集中不等式（包括马尔可夫不等式和詹森不等式），界随机采样和标记下的期望误差。
• 分析硬间隔和软间隔SVM，重点关注间隔θ = 1/||w||₂以及间隔大小与误分类惩罚之间的权衡。
• 应用Anthony和Bartlett（2009）关于随机采样下误分类概率的结果，推导出期望误差的下界。

实验结果

研究问题

• RQ1 SVM的经典间隔泛化界能否被改进为更接近最优可能的界？
• RQ2 间隔是否是决定泛化误差的主要因素？能否通过紧致的上界和下界形式化这一观点？
• RQ3 在间隔、半径和样本数量方面，SVM的最紧泛化界是什么？
• RQ4 能否构造一个几乎匹配的下界，以证明新上界在渐近意义上是最优的？
• RQ5 在最坏情况的数据分布下，泛化误差如何随间隔大小、数据半径和样本数量变化？

主要发现

• 本文建立了SVM泛化误差的新上界，形式为O((R/θ)² log²m + log(1/δ))/m，相较于Bartlett和Shawe-Taylor的经典界有所改进。
• 构造了一个几乎匹配的下界，表明新上界在对数因子范围内渐近紧致。
• 证明了在最坏情况下，泛化误差的尺度为Θ((R/θ)² / m)，确认间隔是泛化性能的主要决定因素。
• 通过构造一个分布和标记方案，其中误差与上界仅相差常数因子，证明该界近乎最优。
• 结果证实，间隔最大化在理论上是泛化机制的合理选择，该界几乎实现了对R、θ和m的最佳依赖关系。
• 下界构造使用了k个点上的对称分布和具有受控误分类概率的标记方案，表明在最坏情况下无法获得更优的界。