[论文解读] Revisiting Meta-Learning as Supervised Learning

Wei‐Lun Chao, Han-Jia Ye+3 more|arXiv (Cornell University)|Feb 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 98被引用 16

一句话总结

本文提出一个统一框架，将元学习视为监督学习，通过将特定任务的数据和目标模型建模为（特征，标签）对。通过从监督学习的视角重新诠释元学习，该方法能够直接迁移成熟的技术（如数据增强、模型集成和预训练），从而在少样本学习中实现显著的性能提升，尤其体现在ProtoNet-KNN等方法中。

ABSTRACT

Recent years have witnessed an abundance of new publications and approaches on meta-learning. This community-wide enthusiasm has sparked great insights but has also created a plethora of seemingly different frameworks, which can be hard to compare and evaluate. In this paper, we aim to provide a principled, unifying framework by revisiting and strengthening the connection between meta-learning and traditional supervised learning. By treating pairs of task-specific data sets and target models as (feature, label) samples, we can reduce many meta-learning algorithms to instances of supervised learning. This view not only unifies meta-learning into an intuitive and practical framework but also allows us to transfer insights from supervised learning directly to improve meta-learning. For example, we obtain a better understanding of generalization properties, and we can readily transfer well-understood techniques, such as model ensemble, pre-training, joint training, data augmentation, and even nearest neighbor based methods. We provide an intuitive analogy of these methods in the context of meta-learning and show that they give rise to significant improvements in model performance on few-shot learning.

研究动机与目标

• 将多样化的元学习方法统一到一个基于监督学习的、原理清晰的框架下。
• 通过将元学习简化为监督学习问题，解决其日益增长的复杂性和碎片化问题。
• 直接将已被充分理解的监督学习技术（如数据增强、预训练和模型集成）迁移到元学习中。
• 通过系统性地应用监督学习的洞见，提升少样本学习中的泛化能力和性能。
• 利用监督学习的类比，研究元学习中领域分布变化和分布漂移的影响。

提出的方法

• 将每个（特定任务的训练集，目标模型）对视为监督学习设置中的一个（特征，标签）样本。
• 将目标模型 $ h^* $ 定义为真实标签，从而训练一个元模型 $ g $，使其能够从 $ D_{\text{tr}} $ 映射到 $ h^* $。
• 通过将元任务视为训练样本，直接将标准监督学习技术（如数据增强、模型集成和联合训练）应用于元学习。
• 使用基于最近邻的自适应方法（如ProtoNet-KNN），通过利用相似的元训练样本，对元模型在新任务上的预测进行优化。
• 通过基于不同领域验证集定义目标模型，重新表述域泛化和域分布变化问题，从而实现对元域分布变化的系统性评估。
• 利用监督学习框架诊断并缓解元学习中的过拟合和分布漂移等问题。

实验结果

研究问题

• RQ1 元学习能否系统性地统一到监督学习的框架下？
• RQ2 成熟的监督学习技术（如数据增强和模型集成）在元学习中如何转化？
• RQ3 从监督学习的视角看，元学习中的分布漂移和过拟合问题有何影响？
• RQ4 监督学习的类比能否提升少样本学习和域泛化中的性能？
• RQ5 元域分布变化如何影响元学习的泛化能力？能否利用监督学习原理加以缓解？

主要发现

• 监督学习的重构使数据增强和模型集成等技术得以直接应用，显著提升了少样本学习的性能。
• ProtoNet-KNN（一种受最近邻学习启发的非参数方法）在异构少样本任务上表现优异，在2,000个元测试任务上取得了强劲结果。
• 在Office-Home数据集上的域泛化任务中，当源域与目标域相同时（Case I-1），模型在1-shot时达到34.1%准确率，5-shot时达到47.7%，展现出强大的基线性能。
• 当任务中源域与目标域不同时（Case I-2），性能下降至29.6%（1-shot）和35.0%（5-shot），凸显了域分布变化的挑战。
• 元域分布变化（Case I-3和I-4）进一步降低性能，1-shot时准确率分别为27.5%和26.4%，表明元训练与元测试分布之间的分布漂移是关键挑战。
• 该框架成功识别并诊断了过拟合和分布漂移等问题，表明监督学习的洞见在元学习场景中依然有效且可操作。