[论文解读] Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice

Jonas Rothfuss, Martin Josifoski+2 more|arXiv (Cornell University)|Nov 14, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出PACOH，一种可扩展的PAC-贝叶斯元学习框架，通过推导出闭式最优超后验分布，实现有原则的元层级正则化，从而在极少元训练任务下实现强大的泛化保证。通过避免双层优化并利用变分推断，PACOH在贝叶斯神经网络和高斯过程中均实现了预测准确率和不确定性估计的最先进性能，尤其在低数据场景下表现优异。

ABSTRACT

Meta-Learning aims to speed up the learning process on new tasks by acquiring useful inductive biases from datasets of related learning tasks. While, in practice, the number of related tasks available is often small, most of the existing approaches assume an abundance of tasks; making them unrealistic and prone to overfitting. A central question in the meta-learning literature is how to regularize to ensure generalization to unseen tasks. In this work, we provide a theoretical analysis using the PAC-Bayesian theory and present a generalization bound for meta-learning, which was first derived by Rothfuss et al. (2021a). Crucially, the bound allows us to derive the closed form of the optimal hyper-posterior, referred to as PACOH, which leads to the best performance guarantees. We provide a theoretical analysis and empirical case study under which conditions and to what extent these guarantees for meta-learning improve upon PAC-Bayesian per-task learning bounds. The closed-form PACOH inspires a practical meta-learning approach that avoids the reliance on bi-level optimization, giving rise to a stochastic optimization problem that is amenable to standard variational methods that scale well. Our experiments show that, when instantiating the PACOH with Gaussian processes and Bayesian Neural Networks models, the resulting methods are more scalable, and yield state-of-the-art performance, both in terms of predictive accuracy and the quality of uncertainty estimates.

研究动机与目标

• 为解决在仅有少量相关任务可用的现实场景下元学习中的过拟合问题，这是现实世界中常见的限制条件。
• 开发一种理论基础扎实、可扩展的元学习方法，通过有原则的正则化确保对未见任务的泛化能力。
• 在PAC-贝叶斯框架内推导出最优超后验（PACOH）的闭式解，以最小化元泛化误差的上界。
• 实现在不依赖计算成本高昂的双层优化的前提下，实现实用且可扩展的元学习。
• 在PAC-贝叶斯框架内，通过实证验证元学习相较于每任务学习的优势。

提出的方法

• 推导出适用于无界损失函数的新型PAC-贝叶斯元学习泛化界，扩展了其在回归和概率推理中的适用性。
• 通过将界直接与广义边缘对数似然联系起来，而非任务特定的后验分布，从而收紧界，简化优化过程。
• 以闭式形式识别出PAC最优超后验（PACOH），该解可最小化元泛化误差的上界。
• 用可被标准变分推断处理的随机优化问题，替代了先前PAC-贝叶斯元学习中难以处理的双层优化。
• 在基于神经网络的先验（PACOH-NN）下，将PACOH框架应用于贝叶斯神经网络和高斯过程，实现可扩展的元学习。
• 采用标准贝叶斯推断与Bandit算法（UCB、Thompson Sampling）评估在序列决策任务中的性能。

实验结果

研究问题

• RQ1 在何种条件下，元学习相较于每任务学习在泛化保证方面有显著提升？
• RQ2 能否在PAC-贝叶斯框架内为元学习推导出闭式最优超后验？其是否带来更好的泛化性能？
• RQ3 所提出的PACOH框架在仅有少量任务的低数据元学习场景中，其可扩展性与性能表现如何？
• RQ4 PACOH基先验在现实世界序列决策任务（如疫苗设计）中能多大程度上提升性能？
• RQ5 在复杂、高维问题中，PACOH基模型的不确定性估计与标准先验相比表现如何？

主要发现

• PACOH-UCB与PACOH-TS在MHC-I肽设计任务中，仅需少于10次迭代即达到近似最优遗憾，显著优于标准BNN与GP先验。
• 元学习得到的PACOH-NN先验相较于零均值高斯先验，显著降低了遗憾，证明在仅五个元训练任务下，对不同等位基因实现了有效的正向迁移。
• 在回归与分类任务中，PACOH基方法在贝叶斯神经网络与高斯过程上均实现了预测准确率与不确定性估计质量的最先进水平。
• 论文中推导的理论泛化界在实证中比每任务学习的界更紧，尤其在低数据场景下表现更优。
• 该框架实现了无需双层优化的可扩展元学习，使其在复杂模型（如深度贝叶斯网络）中具有实用性。
• 案例研究证实，PACOH提供了强大且有原则的正则化，使在元训练数据稀缺时也能实现可靠的元学习。