[论文解读] Recasting Gradient-Based Meta-Learning as Hierarchical Bayes

Erin Grant, Chelsea Finn+3 more|arXiv (Cornell University)|Jan 26, 2018

Gaussian Processes and Bayesian Inference参考文献 36被引用 167

一句话总结

本文表明基于梯度的元学习（MAML）可以被解释为贝叶斯分层推断，将MAML与经验贝叶斯联系起来，并提出基于贝叶斯的改进以提升性能和可扩展性。

ABSTRACT

Meta-learning allows an intelligent agent to leverage prior learning episodes as a basis for quickly improving performance on a novel task. Bayesian hierarchical modeling provides a theoretical framework for formalizing meta-learning as inference for a set of parameters that are shared across tasks. Here, we reformulate the model-agnostic meta-learning algorithm (MAML) of Finn et al. (2017) as a method for probabilistic inference in a hierarchical Bayesian model. In contrast to prior methods for meta-learning via hierarchical Bayes, MAML is naturally applicable to complex function approximators through its use of a scalable gradient descent procedure for posterior inference. Furthermore, the identification of MAML as hierarchical Bayes provides a way to understand the algorithm's operation as a meta-learning procedure, as well as an opportunity to make use of computational strategies for efficient inference. We use this opportunity to propose an improvement to the MAML algorithm that makes use of techniques from approximate inference and curvature estimation.

研究动机与目标

• 在相关任务之间利用先前学习的经历来促进快速自适应。
• 将元学习形式化为分层贝叶斯模型中的推断。
• 将MAML与经验贝叶斯及贝叶斯后验估计联系起来，以提供理论基础。
• 提出使用近似推断和曲率感知更新的MAML改进。

提出的方法

• 将MAML重新表述为分层贝叶斯模型中的推断，具有共享的元参数 theta 和任务特异的 phi_j。
• 证明MAML内部循环的梯度步骤对应于给定 theta 下对 phi_j 的先验。
• 推导关于 theta 的边际似然最大化等价于 MAML 目标的等价性，使用 phi_j 的点估计。
• 通过拉普拉斯近似和基于曲率的预条件来改进，以更好地近似边际似然。
• 讨论早停作为对任务特异参数的先验诱导的作用。
• 提供将贝叶斯思想整合到元学习循环中的算法变体（例如 MAML-HB）。

实验结果

研究问题

• RQ1 基于梯度的元学习能否被解释为贝叶斯分层推断？
• RQ2 从贝叶斯视角看待 MAML 如何揭示该算法的成功与局限？
• RQ3 哪些受贝叶斯启发的修改可以提升 MAML 的性能和稳定性？

主要发现

• MAML 可以被理解为在共享的元参数上执行边际似然最大化的经验贝叶斯。
• 内部循环更新充当对任务特异参数的先验，通过 theta 将任务解联系起来。
• 早停和截断梯度更新对应于分层贝叶斯形式中的隐式先验。
• 拉普拉斯方法和基于曲率的更新提供了将不确定性纳入推断的有原则的近似。
• 贝叶斯重新解释促使在复杂函数近似器（超越简单线性模型）中应用的算法改进。