[论文解读] Weighted Meta-Learning

Diana Cai, Rishit Sheth+2 more|arXiv (Cornell University)|Mar 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 9

一句话总结

本文提出一种加权元学习框架，该框架在元训练过程中基于源任务与目标任务的相似性，动态分配其重要性，使用积分概率度量（IPM）和Rademacher复杂度来界定泛化误差。该方法称为α-MAML，在MAML基础上通过学习任务特定的初始化权重，实现了比均匀加权更优的性能，在少样本回归任务中使用更少的标注样本即可获得更低的目标风险。

ABSTRACT

Meta-learning leverages related source tasks to learn an initialization that can be quickly fine-tuned to a target task with limited labeled examples. However, many popular meta-learning algorithms, such as model-agnostic meta-learning (MAML), only assume access to the target samples for fine-tuning. In this work, we provide a general framework for meta-learning based on weighting the loss of different source tasks, where the weights are allowed to depend on the target samples. In this general setting, we provide upper bounds on the distance of the weighted empirical risk of the source tasks and expected target risk in terms of an integral probability metric (IPM) and Rademacher complexity, which apply to a number of meta-learning settings including MAML and a weighted MAML variant. We then develop a learning algorithm based on minimizing the error bound with respect to an empirical IPM, including a weighted MAML algorithm, $α$-MAML. Finally, we demonstrate empirically on several regression problems that our weighted meta-learning algorithm is able to find better initializations than uniformly-weighted meta-learning algorithms, such as MAML.

研究动机与目标

• 为解决元学习中统一加权的局限性，即所有源任务被同等对待，尽管其与目标任务的相似性各不相同。
• 开发一种通用的加权元学习框架，在元训练过程中引入目标任务信息，以提升初始化质量。
• 利用积分概率度量（IPM）和Rademacher复杂度，为加权元学习目标推导数据依赖的泛化误差界。
• 设计一种学习算法，通过最小化期望目标风险的上界来优化任务权重。
• 通过实证验证，加权元学习（特别是α-MAML）在回归基准上比标准MAML具有更好的泛化性能。

提出的方法

• 该框架采用基于目标任务样本的动态任务加权元目标，使相关源任务能够被优先处理。
• 通过源任务与目标任务分布之间的经验IPM界定泛化误差，其中IPM通过再生核Hilbert空间（RKHS）球计算。
• 利用Rademacher复杂度构建期望目标风险的上界，并在元训练过程中最小化该上界以学习最优权重。
• 通过在任务权重上优化误差界，提出一种新型算法α-MAML，采用基于核的IPM度量任务相似性。
• 该方法通过基于性能的加权显式建模任务相似性，而非依赖任务嵌入距离等代理度量。
• 该方法应用于带平方损失和合页损失的线性模型，通过加权ERM和MAML变体支持回归与分类任务。

实验结果

研究问题

• RQ1 基于目标任务相似性的源任务动态加权是否能提升元学习性能，相比统一加权？
• RQ2 如何为考虑任务分布偏移的加权元学习目标推导泛化误差界？
• RQ3 积分概率度量（IPM）在度量任务相似性和界定期望目标风险方面起到什么作用？
• RQ4 最小化泛化误差的上界是否能在实际中带来更好的元初始化？
• RQ5 α-MAML在少样本回归任务中与标准MAML及其他加权基线相比表现如何？

主要发现

• 在5-shot学习的正弦波回归任务中，α-MAML在保留的目标样本上显著低于统一加权MAML的均方误差（MSE）。
• 在糖尿病数据集中，α加权方法提升了与目标年龄组[49,52)最接近的年龄组[39,49)和[64,79)的源任务权重，表明其基于相似性的加权有效。
• 在波士顿房价数据集中，来自[29.1,42.3)和[42.3,58.1)区间的源任务被提升权重，而最老的组[92.4,100.0)则获得零权重，反映出对相关源任务的准确识别。
• 仅对最接近的单一源任务加权的阈值元学习变体也优于统一MAML，表明聚焦于最相似源任务具有优势。
• 直接最小化误差界的方法虽然收敛较慢，但其初始化质量优于标准MAML，验证了理论界作为有效训练信号的可行性。
• α-MAML算法收敛更快且适应性能优于直接误差界优化，使其在实际部署中更具实用性。