[论文解读] PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior

Tianyu Liu, Jie Lü+2 more|arXiv (Cornell University)|Feb 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 5

一句话总结

本文提出了一种基于数据依赖先验的元学习新型PAC-Bayes泛化界，将PAC-Bayes框架扩展至元学习泛化分析，实现了更紧密、数据自适应的泛化界。通过使用数据依赖先验的期望风险最小化，该方法在少样本学习设置中实现了快速收敛和具有竞争力的泛化性能。

ABSTRACT

By leveraging experience from previous tasks, meta-learning algorithms can achieve effective fast adaptation ability when encountering new tasks. However it is unclear how the generalization property applies to new tasks. Probably approximately correct (PAC) Bayes bound theory provides a theoretical framework to analyze the generalization performance for meta-learning. We derive three novel generalisation error bounds for meta-learning based on PAC-Bayes relative entropy bound. Furthermore, using the empirical risk minimization (ERM) method, a PAC-Bayes bound for meta-learning with data-dependent prior is developed. Experiments illustrate that the proposed three PAC-Bayes bounds for meta-learning guarantee a competitive generalization performance guarantee, and the extended PAC-Bayes bound with data-dependent prior can achieve rapid convergence ability.

研究动机与目标

• 为解决元学习中泛化能力缺乏理论理解的问题，特别是在数据稀缺条件下的问题。
• 通过引入数据依赖先验，将PAC-Bayes理论扩展至元学习，以获得更紧密的泛化界。
• 开发一种基于经验风险最小化的实用PAC-Bayes界，以实现在元学习中的快速适应。
• 通过实验验证，数据依赖先验可提升元学习中的收敛速度和泛化性能。

提出的方法

• 基于标准PAC-Bayes框架，推导出三个新颖的元学习PAC-Bayes相对熵界。
• 引入一种基于元训练数据分布自适应调整的数据依赖先验，以提升界紧致性。
• 应用经验风险最小化（ERM）来优化元学习器参数的后验分布。
• 以PAC-Bayes相对熵界作为理论基础，推导泛化误差上界。
• 采用类似变分推理的方法，近似元学习设置下的后验分布。
• 将数据依赖先验整合至PAC-Bayes界中，以减少过拟合并提升泛化性能。

实验结果

研究问题

• RQ1 如何将PAC-Bayes理论扩展至使用数据依赖先验的元学习泛化界？
• RQ2 在元学习中，使用数据依赖先验对PAC-Bayes界的紧致性和实用性有何影响？
• RQ3 所提出的带有数据依赖先验的PAC-Bayes界是否能在少样本学习中实现更快的收敛和更好的泛化性能？
• RQ4 与现有PAC-Bayes界相比，所推导的界在理论紧致性和实验性能方面表现如何？
• RQ5 在PAC-Bayes框架下，经验风险最小化在优化元学习后验分布中起到什么作用？

主要发现

• 与标准PAC-Bayes界相比，所提出的带有数据依赖先验的PAC-Bayes界实现了更紧密的泛化误差界。
• 实验表明，数据依赖先验版本的界在元学习训练过程中表现出更快的收敛速度。
• 带有数据依赖先验的扩展PAC-Bayes界在少样本学习基准上展现出具有竞争力的泛化性能。
• 在PAC-Bayes框架内使用经验风险最小化，可有效优化元学习器的后验分布。
• 所推导的界在理论上成立且在实验中有效，为分析元学习泛化提供了一种合理的方法。
• 该方法通过利用适应元训练分布的数据依赖先验，在低数据场景下提升了鲁棒性。