[论文解读] PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime

Warren R. Morningstar, Alexander A. Alemi+1 more|arXiv (Cornell University)|Oct 19, 2020

Statistical Methods and Inference被引用 5

一句话总结

该论文提出了 PAC$^m$-Bayes，一种新颖的多样本损失函数，通过在预测风险界中交换平均与对数的顺序，收紧了模型误设情况下贝叶斯模型的泛化差距。通过优化该损失函数，该方法改善了预测不确定性估计——在贝叶斯神经网络中捕捉异方差噪声方面，其性能优于标准贝叶斯推断。

ABSTRACT

The Bayesian posterior minimizes the "inferential risk" which itself bounds the "predictive risk". This bound is tight when the likelihood and prior are well-specified. However since misspecification induces a gap, the Bayesian posterior predictive distribution may have poor generalization performance. This work develops a multi-sample loss (PAC$^m$) which can close the gap by spanning a trade-off between the two risks. The loss is computationally favorable and offers PAC generalization guarantees. Empirical study demonstrates improvement to the predictive distribution.

研究动机与目标

• 解决在模型误设情况下，贝叶斯模型中推断风险与预测风险之间的差距，此时标准贝叶斯推断难以实现良好泛化。
• 开发一种计算高效的损失函数，直接针对预测性能进行优化，而非推断准确性。
• 为所提出的预测风险多样本界提供 PAC 泛化保证。
• 通过实证验证，该方法在真实世界贝叶斯神经网络任务中改善了后验预测分布。

提出的方法

• 通过在风险表达式中交换平均与对数的顺序，提出一种新的真实预测风险多样本界，记为 PAC$^m$-Bayes。
• 该方法使用对数平均似然损失，而非标准的平均对数似然，从而将优化重点从推断风险最小化转向预测风险最小化。
• 在模型误设条件下，该界被证明比传统推断风险界更紧，从而实现更好的泛化性能。
• 理论分析表明，在标准 PAC-Bayes 假设下，该界的松弛量是有界的，从而确保了泛化保证。
• 实证评估采用具有结构化和随机权重的贝叶斯神经网络，使用不同数量的样本 $m$ 和超参数 $\beta$ 进行训练。
• 性能通过负对数后验预测概率（nlpp）和准确率进行评估，预测分布估计使用 100 次蒙特卡洛采样。

实验结果

研究问题

• RQ1 一种交换平均与对数的多样本损失是否能改善模型误设情况下贝叶斯模型的泛化性能？
• RQ2 PAC$^m$-Bayes 与标准贝叶斯推断及最大似然方法相比，在预测风险和不确定性估计方面表现如何？
• RQ3 所提出的界是否比现有推断风险界提供更紧的泛化保证？
• RQ4 样本数量 $m$ 和超参数 $\beta$ 对贝叶斯神经网络中预测性能的影响是什么？

主要发现

• 所提出的 PAC$^m$-Bayes 损失显著改善了贝叶斯神经网络中的预测不确定性估计，如图 1 所示，其在标准贝叶斯推断失效时仍能捕捉异方差噪声。
• 使用 PAC$^m$-Bayes 训练的模型获得的负对数后验预测概率（nlpp）低于标准贝叶斯推断，表明其预测密度估计更优。
• 该方法提供的真实预测风险界比传统推断风险界更紧，尤其在模型误设条件下表现更优。
• 实证结果表明，增加 $m$（训练中使用的样本数量）可提升性能，最优性能在 $m=4$ 到 $m=32$ 之间，具体取决于任务。
• 该方法在多个数据集（CIFAR-10、MNIST）和模型架构上均保持了强大的泛化性能，包括结构化和随机权重变体。
• 理论分析证实，在标准 PAC-Bayes 假设下，PAC$^m$-Bayes 界的松弛量是有界的，支持其在泛化保证中的应用。