[论文解读] Toward Multimodal Model-Agnostic Meta-Learning

Risto Vuorio, Shaohua Sun+2 more|arXiv (Cornell University)|Dec 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用 13

一句话总结

该论文提出MuMoMAML，一种多模态、模型无关的元学习框架，通过使用基于模型的元学习器识别任务模式并相应调节元学习得到的先验，从而增强MAML。通过结合任务模式识别与基于梯度的适应，MuMoMAML在多种任务中实现了更快、更有效的 few-shot 学习，优于MAML和Multi-MAML，在回归、few-shot图像分类和强化学习基准测试中表现更优。

ABSTRACT

Gradient-based meta-learners such as MAML are able to learn a meta-prior from similar tasks to adapt to novel tasks from the same distribution with few gradient updates. One important limitation of such frameworks is that they seek a common initialization shared across the entire task distribution, substantially limiting the diversity of the task distributions that they are able to learn from. In this paper, we augment MAML with the capability to identify tasks sampled from a multimodal task distribution and adapt quickly through gradient updates. Specifically, we propose a multimodal MAML algorithm that is able to modulate its meta-learned prior according to the identified task, allowing faster adaptation. We evaluate the proposed model on a diverse set of problems including regression, few-shot image classification, and reinforcement learning. The results demonstrate the effectiveness of our model in modulating the meta-learned prior in response to the characteristics of tasks sampled from a multimodal distribution.

研究动机与目标

• 解决标准MAML在处理多模态任务分布时的局限性，即单一初始化无法在不同任务模式间泛化。
• 使元学习器能够从少量样本中识别任务模式，并相应调整元先验，从而提升在不相交任务分布上的泛化能力。
• 在统一的、模型无关的框架中结合基于模型的元学习（用于模式识别）与基于梯度的元学习（用于快速适应）的优势。
• 通过引入可调节的先验，克服单一初始化点在不同模式任务中不可行的问题，使其能根据任务特征自适应调整。
• 在无需显式模式标签的情况下实现在不同任务模式间的可迁移知识，同时保持与任意模型架构的兼容性。

提出的方法

• 提出双流元学习架构：基于梯度的元学习器（由θ参数化）用于快速适应，基于模型的元学习器（由ω参数化）用于任务模式推断。
• 利用基于模型的元学习器，通过神经网络g(·; ω)从少量支持样本中推断任务模式τ，生成调制参数。
• 使用FiLM风格调制对元学习得到的先验θ进行调制，生成任务特定的先验θ′ = θ(τ)，实现模式感知的初始化。
• 从调制后的先验出发，执行标准MAML风格的梯度更新，以少量步数适应目标任务。
• 通过元优化端到端训练：使用验证损失在多个任务上更新θ和ω，分别采用学习率α（内循环）和β（外循环）。
• 该方法为模型无关，可与任意可微模型架构集成，并支持回归和few-shot分类任务。

实验结果

研究问题

• RQ1 元学习器是否能在不依赖显式模式标签的情况下，有效识别并适应多模态任务分布中的不同模式？
• RQ2 基于推断出的任务模式调节元学习先验，是否能实现比标准MAML更快、更准确的适应？
• RQ3 在包括回归、few-shot分类和强化学习在内的多种学习场景中，所提方法与MAML和Multi-MAML相比表现如何？
• RQ4 在梯度更新前，仅基于模型的组件能达到多高性能，以验证其模式识别的有效性？
• RQ5 当任务模式不清晰或分布复杂（如连续控制环境）时，该方法的鲁棒性如何？

主要发现

• MuMoMAML在所有评估任务中均优于MAML和Multi-MAML，包括回归、few-shot图像分类和强化学习，且在样本效率方面表现一致提升。
• 在回归任务中，MuMoMAML即使在零梯度步数下也表现出色，表明调制后的先验本身已足够有效，归功于准确的模式识别。
• 在2D导航和目标速度强化学习环境中，MuMoMAML在一次梯度更新后获得的回报高于MAML，表明其适应速度更快。
• 定性结果表明，调制后MuMoMAML的预测已接近不同任务类型（如正弦、线性、二次）的最优值，表明先验适应有效。
• t-SNE可视化证实，来自不同模式的任务嵌入在潜在空间中被有效分离，验证了基于模型的元学习器区分任务模式的能力。
• 该方法在包括重叠或非不相交模式在内的多样化任务分布中均保持高性能，表明其对分布复杂性的鲁棒性。