[论文解读] Probabilistic Model-Agnostic Meta-Learning

Chelsea Finn, Kelvin Xu+1 more|arXiv (Cornell University)|Jun 7, 2018

Domain Adaptation and Few-Shot Learning参考文献 42被引用 25

一句话总结

该论文提出 PLATIPUS，一种模型无关元学习（MAML）的概率扩展方法，可在模糊的少样本学习任务中采样多个合理的模型。通过在元测试推理和训练过程中注入噪声，并利用变分下界进行优化，该方法生成多样化且具备不确定性感知能力的预测结果——在保持与确定性 MAML 相当的准确率的同时，显著提升了模式覆盖能力。

ABSTRACT

Meta-learning for few-shot learning entails acquiring a prior over previous tasks and experiences, such that new tasks be learned from small amounts of data. However, a critical challenge in few-shot learning is task ambiguity: even when a powerful prior can be meta-learned from a large number of prior tasks, a small dataset for a new task can simply be too ambiguous to acquire a single model (e.g., a classifier) for that task that is accurate. In this paper, we propose a probabilistic meta-learning algorithm that can sample models for a new task from a model distribution. Our approach extends model-agnostic meta-learning, which adapts to new tasks via gradient descent, to incorporate a parameter distribution that is trained via a variational lower bound. At meta-test time, our algorithm adapts via a simple procedure that injects noise into gradient descent, and at meta-training time, the model is trained such that this stochastic adaptation procedure produces samples from the approximate model posterior. Our experimental results show that our method can sample plausible classifiers and regressors in ambiguous few-shot learning problems. We also show how reasoning about ambiguity can also be used for downstream active learning problems.

研究动机与目标

• 为解决少样本学习中的任务模糊性问题，即小样本数据无法唯一确定一个准确模型。
• 开发一种可扩展的方法，在保留 MAML 优势的同时，通过模型采样实现不确定性估计。
• 通过不确定性估计支持下游主动学习，指导数据采集。
• 利用摊销变分推断将模型无关元学习扩展至概率推理。
• 证明通过采样多个模型可提升在模糊回归与分类任务上的性能。

提出的方法

• 通过在模型参数上建模分布而非单一点估计，扩展 MAML。
• 在元测试阶段引入一种随机适应过程，通过向梯度下降中注入噪声实现。
• 使用摊销变分推断进行模型训练，使随机适应过程近似真实参数后验分布。
• 通过神经网络推理网络学习模型权重的变分后验分布。
• 通过优化元训练任务的对数似然的变分下界，实现对真实后验的准确近似。
• 保持模型无关设计，可适用于任何标准神经网络架构。

实验结果

研究问题

• RQ1 PLATIPUS 是否能有效为模糊的少样本任务采样多个合理的模型？
• RQ2 通过噪声注入实现的随机适应与确定性 MAML 相比，在模型多样性和准确率方面表现如何？
• RQ3 基于模型采样获得的不确定性估计是否能提升主动学习场景下的性能？
• RQ4 该方法在高维深度神经网络上是否具备可扩展性，同时保持不确定性感知能力？
• RQ5 在具有多个有效解的多模态任务分布上，该方法表现如何？

主要发现

• PLATIPUS 在 CelebA 5-shot 任务上达到与确定性 MAML 相当的准确率（88.34% ± 1.06%），同时显著捕捉到更多模式。
• 在模糊任务中，PLATIPUS 在 KL 权重为 0.15 时平均覆盖 1.94 个模式，而标准 MAML 仅覆盖 1.00 个模式。
• 该方法采样的分类器会关注不同的属性，表明其在相同训练集的多种有效解释间实现了有效的模式覆盖。
• PLATIPUS 的平均负对数似然更低（0.56 ± 0.04），表明其不确定性校准更优。
• 该方法通过利用采样结果之间的分歧，有效支持主动学习，优先选择信息量更高的数据进行采集。
• 仅使用噪声注入的 MAML 表现劣于 PLATIPUS，表明变分训练对于实现有效的后验近似至关重要。