[论文解读] On the role of data in PAC-Bayes bounds

Gintare Karolina Dziugaite, Kyle Hsu+3 more|arXiv (Cornell University)|Jun 19, 2020

Machine Learning and Algorithms参考文献 15被引用 19

一句话总结

本文表明，数据相关先验——特别是基于未用于经验风险计算的训练数据子集构建的先验——可显著收紧线性PAC-Bayes泛化界，优于经典的“最优先验”（即期望后验）。关键贡献在于证明此类数据相关先验并非仅为启发式方法，而是在某些场景下（尤其是使用随机梯度下降的非凸学习）实现非平凡界所必不可少的。

ABSTRACT

The dominant term in PAC-Bayes bounds is often the Kullback--Leibler divergence between the posterior and prior. For so-called linear PAC-Bayes risk bounds based on the empirical risk of a fixed posterior kernel, it is possible to minimize the expected value of the bound by choosing the prior to be the expected posterior, which we call the oracle prior on the account that it is distribution dependent. In this work, we show that the bound based on the oracle prior can be suboptimal: In some cases, a stronger bound is obtained by using a data-dependent oracle prior, i.e., a conditional expectation of the posterior, given a subset of the training data that is then excluded from the empirical risk term. While using data to learn a prior is a known heuristic, its essential role in optimal bounds is new. In fact, we show that using data can mean the difference between vacuous and nonvacuous bounds. We apply this new principle in the setting of nonconvex learning, simulating data-dependent oracle priors on MNIST and Fashion MNIST with and without held-out data, and demonstrating new nonvacuous bounds in both cases.

研究动机与目标

• 研究数据相关先验是否可使线性PAC-Bay斯界比经典最优先验更紧。
• 识别在何种条件下，数据相关先验相较于期望后验作为先验时表现更优。
• 通过实证验证，在MNIST和Fashion MNIST等非凸学习场景中，数据相关先隆可产生非平凡界。
• 阐明数据在先验选择中的作用，将其与基于分布或虚拟样本的先验区分开来。
• 证明即使已知真实数据分布，利用数据构建先验在实现非平凡界时也可能是必不可少的。

提出的方法

• 通过将先验基于训练数据的一个子集J进行条件化，提出一个形式化框架，且在经验风险计算中排除J。
• 引入“数据相关最优先验”的概念，即在给定数据子集条件下的后验期望，与标准最优先验相区别。
• 推导出此类数据相关先验在期望界上优于标准最优先验的充要条件（命题3.1）。
• 将该框架应用于学习率递减的线性模型中的SGD模型，其中早期数据点对后验有显著影响。
• 在MNIST和Fashion MNIST上进行实证评估，使用保留数据估计数据相关先验，并比较使用与不使用虚拟样本的界。
• 采用固定方差的高斯先验，并通过在早期数据点上进行条件期望优化来模拟数据相关先验。

实验结果

研究问题

• RQ1 能否通过使用未用于风险估计的训练数据子集构建的数据相关先验，获得比标准最优先验更紧的线性PAC-Bayes界？
• RQ2 在何种条件下，使用数据构建先验对于实现非平凡界是必要的？
• RQ3 从数据相关先验中获得的信息率增益，与因从风险估计中排除数据而引入的额外偏差相比如何？
• RQ4 在实践中，启发式数据相关先验在多大程度上可近似最优数据相关先验？
• RQ5 数据相关先验是否可在非凸学习场景（如图像数据集上的SGD）中实现非平凡界？

主要发现

• 标准最优先验（即期望后验）并非总是最优；数据相关先验可产生显著更紧的界。
• 在学习率递减的SGD模型中，最优先验产生的是平凡界，而基于早期数据点的数据相关先验则产生非平凡界。
• 数据相关先验的优越性源于：对早期数据进行条件化所获得的信息率增益，超过因从风险估计中排除这些数据而引入的额外偏差。
• 在MNIST和Fashion MNIST上的实证结果表明，即使不使用虚拟样本，数据相关先验也能产生非平凡界，表明在此情境下，数据依赖性比分布依赖性更具影响力。
• 尽管此前未被形式化证明，但实验证明启发式地利用数据构建先验在理论上是合理的，且在某些场景下对实现紧致界至关重要。
• 所提出的方法可在非凸学习中实现非平凡界，而标准PAC-Bayes界常因KL散度项过大而失效。