[论文解读] PAC-Bayes bounds for stable algorithms with instance-dependent priors

Omar Rivasplata, Emilio Parrado-Hernández+3 more|arXiv (Cornell University)|Jun 18, 2018

Machine Learning and Algorithms被引用 7

一句话总结

该论文提出了一种基于稳定希尔伯特空间值学习算法的新型PAC-Bayes界，采用以期望假设输出为中心的实例相关高斯先验。该工作首次为支持向量机（SVMs）构建了非平凡的基于稳定性的PAC-Bayes界，其泛化估计比以往基于稳定性的界更紧致且更具实用性，尤其在正则化参数较小时表现更优。

ABSTRACT

PAC-Bayes bounds have been proposed to get risk estimates based on a training sample. In this paper the PAC-Bayes approach is combined with stability of the hypothesis learned by a Hilbert space valued algorithm. The PAC-Bayes setting is used with a Gaussian prior centered at the expected output. Thus a novelty of our paper is using priors defined in terms of the data-generating distribution. Our main result estimates the risk of the randomized algorithm in terms of the hypothesis stability coefficients. We also provide a new bound for the SVM classifier, which is compared to other known bounds experimentally. Ours appears to be the first stability-based bound that evaluates to non-trivial values.

研究动机与目标

• 开发一种PAC-Bayes泛化界，利用算法稳定性，同时避免对假设类复杂度的依赖。
• 解决现有基于稳定性的界的局限性，后者通常在高正则化模型下产生平凡（非信息性）的估计。
• 将理论框架应用于支持向量机（SVMs），推导出针对随机化SVM分类器的具体、非平凡的界。
• 通过实证比较，评估所提界与现有基于稳定性的界及标准PAC-Bayes界在紧致性和模型选择实用性方面的表现。

提出的方法

• 采用PAC-Bayes框架，使用以希尔伯特空间值学习算法期望输出为中心的高斯先验，使先验依赖于数据生成分布。
• 通过敏感性系数定义假设稳定性，量化训练集发生微小扰动时学习假设的变化程度。
• 对希尔伯特空间值算法的输出应用浓度不等式，推导出以稳定性系数表示的泛化界。
• 通过分析训练集扰动下权重向量的稳定性，推导出SVMs的具体PAC-Bayes界，得到P@EW界。
• 通过数值优化随机化方差参数，最小化界估计，从而获得更紧致的性能证书。
• 在真实数据集上，实证比较所提P@EW界与现有界（如Liu et al. 2017, Bousquet & Elisseeff 2002）及标准PAC-Bayes界。

实验结果

研究问题

• RQ1 能否构建一个既稳定又非平凡的PAC-Bayes界，适用于具有数据相关先验的随机学习算法？
• RQ2 在真实世界数据集上，所提界是否在紧致性和实用性方面优于现有基于稳定性的界？
• RQ3 该界能否作为SVMs中模型选择的可靠性能证书，特别是在正则化参数变化时？
• RQ4 与已知其他界相比，该界对超参数（如C和σ）的敏感性如何？
• RQ5 该界是否为SVMs首个非平凡的基于稳定性的PAC-Bayes界？

主要发现

• 所提P@EW界是SVMs首个非平凡的基于稳定性的PAC-Bayes界，因为其他基于稳定性的界在大多数超参数设置下均为平凡界。
• P@EW界在紧致性上显著优于Bousquet和Elisseeff（2002）及Liu等人（2017）的基于稳定性的界，尤其在正则化参数C较小时表现更优。
• 在pim数据集上，P@EW界在模型选择中优于P@O界，能识别出使测试误差更低的更优超参数组合（C, σ）。
• P@EW界对C的依赖性弱于其他基于稳定性的界，即使C增大时仍保持信息量，而以往的界则趋于平凡。
• 实证结果表明，P@EW界与实际测试误差的相关性高于其他界，尤其在rin数据集上，表明其在模型选择中具有更强的实用性。
• 该界对随机化方差的选择敏感，最优性能通过数值优化σ²使界最小化而实现。