[论文解读] PAC-Bayes Analysis Beyond the Usual Bounds

Omar Rivasplata, Ilja Kuzborskij+2 more|arXiv (Cornell University)|Jun 23, 2020

Machine Learning and Algorithms参考文献 59被引用 5

一句话总结

该论文通过引入针对随机核的一般PAC-Bayes不等式，将PAC-Bayes分析扩展至传统假设之外，实现了无需有界损失、独立同分布数据或固定先验的边界。它利用数据依赖先验推导出针对无界损失（如平方损失）的新边界，并表明在损失矩为次高斯或次指数分布时，指数矩控制依然可行，从而得到收敛速率为O(1/√n)的一般化差距边界。

ABSTRACT

We focus on a stochastic learning model where the learner observes a finite set of training examples and the output of the learning process is a data-dependent distribution over a space of hypotheses. The learned data-dependent distribution is then used to make randomized predictions, and the high-level theme addressed here is guaranteeing the quality of predictions on examples that were not seen during training, i.e. generalization. In this setting the unknown quantity of interest is the expected risk of the data-dependent randomized predictor, for which upper bounds can be derived via a PAC-Bayes analysis, leading to PAC-Bayes bounds. Specifically, we present a basic PAC-Bayes inequality for stochastic kernels, from which one may derive extensions of various known PAC-Bayes bounds as well as novel bounds. We clarify the role of the requirements of fixed 'data-free' priors, bounded losses, and i.i.d. data. We highlight that those requirements were used to upper-bound an exponential moment term, while the basic PAC-Bayes theorem remains valid without those restrictions. We present three bounds that illustrate the use of data-dependent priors, including one for the unbounded square loss.

研究动机与目标

• 开发一个放松标准假设（如有界损失、独立同分布数据、固定先验）的PAC-Bayes框架。
• 将从训练数据到假设空间的假设分布形式化为数据依赖的随机核。
• 在放松的矩条件下，为无界损失函数（如平方损失）推导一般化边界。
• 阐明PAC-Bayes分析中假设的作用，表明这些假设主要用于控制指数矩，而非使核心定理失效。
• 展示在次高斯或次指数损失矩条件下，使用数据依赖先验与紧致一般化边界是可行的。

提出的方法

• 将数据依赖分布形式化为从训练数据空间S到假设空间H的随机核，从而对随机预测器进行严格处理。
• 推导适用于随机核的一般PAC-Bayes不等式，由此可导出已知与新型边界。
• 使用矩生成函数（MGF）技术，在无界损失下控制一般化差距的指数矩。
• 通过假设二阶矩有界E[ℓ(h,Z)²] < ∞，推导出针对无界平方损失的边界，避免了有界损失的假设。
• 在使用数据依赖先验的情况下应用该边界，表明标准PAC-Bayes框架在无需固定先验时依然有效。
• 通过选择λ来优化经验风险与KL散度之间的权衡，得到O(1/√n)阶的一般化差距边界。

实验结果

研究问题

• RQ1 能否在不假设有界损失或独立同分布数据的前提下推导PAC-Bayes边界？
• RQ2 固定先验在PAC-Bayes分析中的作用是什么？能否被数据依赖先验替代？
• RQ3 如何为无界损失函数（如平方损失）构建一般化边界？
• RQ4 在何种损失函数条件下，可在不依赖有界性的情况下控制指数矩？
• RQ5 标准PAC-Bayes定理能否在不需独立同分布采样条件下扩展至随机核？

主要发现

• 为随机核建立了一般PAC-Bayes不等式，无需依赖有界损失、独立同分布数据或固定先验。
• 即使传统假设无法保证指数矩有界，只要通过矩条件控制MGF，核心PAC-Bayes定理依然有效。
• 在假设sup_h E[ℓ(h,Z)²] < ∞下，为无界平方损失推导出新颖边界，该条件对次高斯或次指数损失成立。
• 所得一般化差距边界呈O(1/√n)量级，最优λ选择下满足Q_S[L] ≤ Q_S[̂L_S] + 2√(B M / (2n))，其中B为KL散度，M为二阶矩上界。
• 证明了使用数据依赖先验的可行性和有效性，边界结构保持标准形式，但允许更灵活的先验设计。
• 本文澄清：有界损失与独立同分布数据主要用于上界控制指数矩，而非使底层定理失效。