[论文解读] Stable Sample Compression Schemes: New Applications and an Optimal SVM Margin Bound

Steve Hanneke, Aryeh Kontorovich|arXiv (Cornell University)|Nov 9, 2020

Machine Learning and Algorithms参考文献 39被引用 5

一句话总结

本文提出了一种基于稳定样本压缩方案的新型支持向量机（SVM）泛化界，采用伯恩斯坦不等式替代霍夫丁不等式，以获得更紧致的风险估计。核心贡献是为SVM推导出一个最优的边界界，通过利用压缩方案的结构性质和置换不变采样，改进了泛化误差分析。

ABSTRACT

We analyze a family of supervised learning algorithms based on sample compression schemes that are stable, in the sense that removing points from the training set which were not selected for the compression set does not alter the resulting classifier. We use this technique to derive a variety of novel or improved data-dependent generalization bounds for several learning algorithms. In particular, we prove a new margin bound for SVM, removing a log factor. The new bound is provably optimal. This resolves a long-standing open question about the PAC margin bounds achievable by SVM.

研究动机与目标

• 通过在稳定样本压缩方案的分析中用伯恩斯坦不等式替代霍夫丁不等式，为SVM建立更紧致的泛化界。
• 建立稳定压缩方案与二分类中最优边界界之间的联系。
• 通过引入置换感知采样和条件概率论证，改进学习理论中的风险估计。
• 基于压缩估计器，推导出真实风险与经验风险之间差异的高概率界。

提出的方法

• 使用一个稳定压缩方案（κ, ρ），其中κ从训练样本中选择一个子集，ρ则从该子集重建一个假设。
• 在给定压缩子集的条件分布下应用伯恩斯坦不等式，以控制经验风险与真实风险之间的偏差。
• 使用随机排列σ对样本重新索引，并在分析中确保无放回的均匀采样。
• 对所有可能的索引集I ∈ ℐₙ使用并集界，以在所有压缩配置中保持高概率保证。
• 基于压缩集的大小和经验风险，推导出泛化误差的界，显式依赖于Tₙ和|ℐₙ|。
• 利用全概率公式和训练集与测试集之间的条件独立性，实现风险估计的解耦。

实验结果

研究问题

• RQ1 在稳定样本压缩的背景下，伯恩斯坦不等式是否能比霍夫丁不等式产生更紧致的泛化界？
• RQ2 稳定压缩方案的结构如何影响SVM的基于边界的泛化误差？
• RQ3 泛化误差对压缩子集大小和可能的压缩集数量的最优依赖关系是什么？
• RQ4 置换不变采样能否改进学习理论中的高概率风险估计？

主要发现

• 本文建立了压缩假设的真实风险与经验风险之间差异的高概率界，置信度至少为1−δ/2。
• 该界呈O(√(n/Tₙ) · R̂_S(ρ(κ(S))) · ln(4|ℐₙ|/δ)/Tₙ + ln(4|ℐₙ|/δ)/Tₙ)的形式，显式依赖于压缩大小和配置数量。
• 与使用霍夫丁不等式相比，采用伯恩斯坦不等式可获得更紧致的风险偏差估计，尤其在经验风险较小时更为显著。
• 该结果对所有I ∈ ℐₙ的索引集一致成立，确保了在不同压缩选择下的鲁棒性。
• 该界在已知的稳定压缩方案在异化设置下的下界意义下是最优的。