[论文解读] PAC-Bayes Mini-tutorial: A Continuous Union Bound

Tim van Erven|arXiv (Cornell University)|May 7, 2014

Advanced Bandit Algorithms Research参考文献 7被引用 14

一句话总结

本文提出了一种用于PAC-Bayesian泛化界连续并集界框架，通过Cramér-Chernoff方法将经典集中不等式（如Hoeffding和Bernstein不等式）推广。该方法通过用先验-后验对的贝叶斯边际化替代离散并集界，统一了离散与连续假设空间，从而在机器学习设置中获得更紧致、更灵活的泛化保证。

ABSTRACT

When I first encountered PAC-Bayesian concentration inequalities they seemed to me to be rather disconnected from good old-fashioned results like Hoeffding's and Bernstein's inequalities. But, at least for one flavour of the PAC-Bayesian bounds, there is actually a very close relation, and the main innovation is a continuous version of the union bound, along with some ingenious applications. Here's the gist of what's going on, presented from a machine learning perspective.

研究动机与目标

• 建立经典集中不等式（如Hoeffding、Bernstein）与PAC-Bayesian泛化界之间的概念与技术桥梁。
• 证明PAC-Bayesian界自然源于并集界的连续版本，其中离散假设选择被贝叶斯边际化所取代。
• 系统推导PAC-Bayesian界，使用Cramér-Chernoff方法，明确给出基于经验风险与先验-后验之间差异的泛化误差界。
• 探讨两种关键的界优化策略：在固定先验下选择最优后验，以及在固定后验下选择局部化先验。

提出的方法

• 应用Cramér-Chernoff方法定义一个代理函数 $ M_{\nu}(h) = -\frac{1}{\eta}\ln \mathbb{E}[e^{-\eta \ell(X,Y,h)}] $，将真实风险 $ R(h) $ 与经验风险 $ R_n(D,h) $ 联系起来。
• 利用马尔可夫不等式和独立同分布抽样，推导出高概率界：$ M_{\eta}(h) \leq R_n(D,h) + \frac{1}{\eta n}\ln\frac{1}{\delta} $，该界以至少 $ 1 - \delta $ 的概率成立。
• 通过引入先验 $ \pi $ 将界扩展到假设的并集，用积分替代离散求和，得到对于可数 $ \mathcal{H} $ 的界：$ M_{\eta}(\hat{h}) \leq R_n(D,\hat{h}) + \frac{1}{\eta n}\ln\frac{1}{\pi(\hat{h})\delta} $。
• 通过引入后验分布 $ \hat{\pi} $ 将界推广到连续假设空间，导出涉及Kullback-Leibler散度 $ D(\hat{\pi} \| \pi) $ 的界。
• 推导出两个主要界：一个使用基于 $ \phi(x) $ 的方差型界，另一个使用损失有界方法（$ \alpha > 1 $），两者均包含 $ \alpha $-散度项。
• 提出两种优化策略：(1) Gibbs后验 $ \hat{\pi}(h) \propto \pi(h) e^{-\eta n R_n(D,h)/\alpha} $，(2) 局部化先验 $ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $，两者均使界表达式最小化。

实验结果

研究问题

• RQ1 如何将经典集中不等式中的离散并集界推广到连续假设空间？
• RQ2 PAC-Bayesian界与Hoeffding和Bernstein等标准不等式之间有何联系？
• RQ3 Cramér-Chernoff方法如何被调整以在PAC-Bayesian框架中导出紧致的泛化界？
• RQ4 使最终泛化界最小化的先验与后验分布的最优选择是什么？
• RQ5 能否通过交替更新后验与先验分布来实现界值的迭代优化？

主要发现

• PAC-Bayesian框架可被解释为并集界的连续版本，其中对假设的离散求和被对后验分布的期望所取代。
• 当对 $ \eta $ 优化时，界 $ R(h) \leq R_n(D,h) + \eta \frac{(b-a)^2}{8} + \frac{1}{\eta n}\ln\frac{1}{\delta} $ 恢复了Hoeffding不等式，显示出两者之间的直接联系。
• 对于有界损失 $ \ell(X,Y,h) \in [0,b] $，界 $ \mathbb{E}_{h \sim \hat{\pi}}[R(h)] - R(h^*) \leq \mathbb{E}_{h \sim \hat{\pi}}[R_n(D,h)] - R_n(D,h^*) + \eta \phi(bv)\mathbb{E}[\ell'(X,Y,h)^2] + \frac{\alpha}{\eta n}\left(D(\hat{\pi} \| \pi) + \ln\frac{1}{\delta} + \ln(\frac{1}{2}\log_\alpha n + C)\right) $ 以至少 $ 1 - \delta $ 的概率成立，其中 $ \eta \in (0,v] $。
• 最优后验分布 $ \hat{\pi}(h) \propto \pi(h) e^{-\eta n R_n(D,h)/\alpha} $ 在固定先验 $ \pi $ 下使界表达式最小化。
• 局部化先验 $ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $ 在固定后验 $ \hat{\pi} $ 下使界最小化，且可通过 $ \pi'(h) \propto \pi(h) e^{-\eta n R(h)/\alpha} $ 进一部优化。
• 对先验与后验分布的迭代优化可能收敛至满足 $ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $ 的不动点，但其存在性与唯一性仍为开放问题。