[论文解读] PAC-Bayes, MAC-Bayes and Conditional Mutual Information: Fast rate bounds that handle general VC classes

Peter Grünwald, Thomas Steinke+1 more|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Algorithms参考文献 35被引用 6

一句话总结

本文提出了一种统一框架，用于条件化PAC-Bayesian与互信息（MI）泛化界，可处理任意VC类，并在Bernstein条件或指数凸损失下实现$O((\mathrm{KL}/n)^\gamma)$阶的快速率，其中$\gamma > 1/2$。该方法使用在联合训练样本与虚拟样本上条件依赖的先验，实现了更紧致、数据相关的泛化界，克服了标准PAC-Bayesian与MI方法的局限性。

ABSTRACT

We give a novel, unified derivation of conditional PAC-Bayesian and mutual information (MI) generalization bounds. We derive conditional MI bounds as an instance, with special choice of prior, of conditional MAC-Bayesian (Mean Approximately Correct) bounds, itself derived from conditional PAC-Bayesian bounds, where `conditional' means that one can use priors conditioned on a joint training and ghost sample. This allows us to get nontrivial PAC-Bayes and MI-style bounds for general VC classes, something recently shown to be impossible with standard PAC-Bayesian/MI bounds. Second, it allows us to get faster rates of order $O \left(({ ext{KL}}/n)^γ ight)$ for $γ> 1/2$ if a Bernstein condition holds and for exp-concave losses (with $γ=1$), which is impossible with both standard PAC-Bayes generalization and MI bounds. Our work extends the recent work by Steinke and Zakynthinou [2020] who handle MI with VC but neither PAC-Bayes nor fast rates, the recent work of Hellström and Durisi [2020] who extend the latter to the PAC-Bayes setting via a unifying exponential inequality, and Mhammedi et al. [2019] who initiated fast rate PAC-Bayes generalization error bounds but handle neither MI nor general VC classes.

研究动机与目标

• 解决标准PAC-Bayesian与互信息泛化界长期存在的局限性，即对任意VC类无法提供非平凡的泛化误差界。
• 通过条件化、数据相关的先验机制，将此前仅适用于特定损失类型或算法的快速率泛化界扩展至一般VC类。
• 通过条件期望与指数随机不等式（ESIs）将PAC-Bayesian与MI风格的边界统一于单一理论框架下。
• 在Bernstein条件下实现$O((\mathrm{KL}/n)^\gamma)$阶的快速率，其中$\gamma > 1/2$，包括指数凸损失下的$\gamma = 1$，而这是标准方法无法实现的。

提出的方法

• 通过将先验同时基于训练样本与虚拟样本进行条件化，推导出条件化PAC-Bayesian界，从而实现更灵活且更紧致的后验估计。
• 提出一种新颖的条件化MAC-Bayesian界，作为标准PAC-Bayesian界的推广，其中先验可依赖于辅助数据。
• 利用指数随机不等式（ESIs）以统一方式表达高概率与期望型边界，从而实现泛化误差界的清晰推导。
• 通过选择特定先验分布，证明条件化MI界是条件化MAC-Bayesian界的特例。
• 利用条件结构，在Bernstein条件下推导出快速率，其中速率指数$\gamma$取决于损失函数的曲率。
• 将该框架应用于Gibbs算法并采用基于压缩的先验，推导出即使基础算法非ERM时仍能实现快速率的边界。

实验结果

研究问题

• RQ1 PAC-Bayesian与互信息泛化界能否被扩展至任意VC类，从而克服标准方法已知的不可能性结果？
• RQ2 是否能够通过条件先验在一般VC类上实现$O((\mathrm{KL}/n)^\gamma)$阶的快速率，其中$\gamma > 1/2$？
• RQ3 能否通过条件化MAC-Bayesian形式，构建一个统一的理论框架，将条件化PAC-Bayesian与MI风格边界统一起来？
• RQ4 如何使所得边界完全基于经验数据，而无需依赖真实风险或最优假设？
• RQ5 该框架能否扩展至无界、次高斯损失，如引理1分析所暗示的那样？

主要发现

• 本文证明了通过条件先验，可在所有VC类上实现非平凡的泛化界，解决了标准PAC-Bayesian与MI方法的关键局限。
• 在Bernstein条件下实现了$O((\mathrm{KL}/n)^\gamma)$阶的快速率，其中$\gamma > 1/2$，包括指数凸损失下的$\gamma = 1$，而这是标准PAC-Bayesian或MI方法无法实现的。
• 条件化MI界被证明是所提出的条件化MAC-Bayesian框架的特例，统一了两大泛化范式。
• 该框架使Gibbs算法在使用基于压缩的先验时也能实现快速率，即使基础算法非ERM。
• 在结合去偏技术后，当满足Bernstein条件时，所推导的边界可完全基于经验数据，与Mhammedi等（2019）的前期工作建议一致。
• 该方法为深度学习中的泛化分析提供了新途径，允许使用数据依赖先验，并对KL散度项实现更紧密的控制。