[论文解读] Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks

Micah Goldblum, Steven Reich+4 more|arXiv (Cornell University)|Feb 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用 18

一句话总结

本文通过识别两个关键机制，揭示了元学习特征提取器为何在少样本学习中优于经典训练模型：类内特征聚类的改善以及参数与任务特定最小值的接近性。作者提出了两种正则化方法——特征聚类正则化与权重聚类正则化，可提升标准训练性能，在 mini-ImageNet 上实现最先进性能（1-shot 时为 51.94%，5-shot 时为 68.02%），且运行速度比元学习快一个数量级。

ABSTRACT

Meta-learning algorithms produce feature extractors which achieve state-of-the-art performance on few-shot classification. While the literature is rich with meta-learning methods, little is known about why the resulting feature extractors perform so well. We develop a better understanding of the underlying mechanics of meta-learning and the difference between models trained using meta-learning and models which are trained classically. In doing so, we introduce and verify several hypotheses for why meta-learned models perform better. Furthermore, we develop a regularizer which boosts the performance of standard training routines for few-shot classification. In many cases, our routine outperforms meta-learning while simultaneously running an order of magnitude faster.

研究动机与目标

• 理解元学习与经典训练的特征表示在少样本学习中的根本差异。
• 探究尽管使用轻量级模型，元学习为何能实现更优性能。
• 开发正则化方法，提升标准训练在少样本分类中的表现，而无需元优化。
• 验证改进的类内特征聚类与参数接近任务最小值是元学习成功的关键驱动因素。

提出的方法

• 提出一种特征聚类正则化方法，通过在训练过程中最小化类内特征方差，促使嵌入空间中类别聚类更紧密。
• 引入一种权重聚类正则化方法，促使元参数位于靠近多个任务特定最小值的共识区域。
• 将正则化方法应用于 Reptile 和标准训练，通过在内层优化中加入正则化项 R_i 修改损失函数。
• 采用双层优化方法，内层在支持集上进行微调，外层基于查询集性能进行元更新。
• 采用基于梯度的元学习原理，但并非直接作用于模型权重，而是作用于特征空间的归纳偏置。
• 在 mini-ImageNet 上通过控制超参数，使用 1-shot 和 5-shot 的 5 类分类基准验证正则化方法。

实验结果

研究问题

• RQ1 为何元学习模型在少样本设置中泛化能力优于经典训练模型，尽管其架构和训练数据相似？
• RQ2 元学习特征表示在结构上如何区别于经典训练学习到的表示？
• RQ3 我们能否通过标准训练中的简单正则化方法识别并复制元学习的归纳偏置？
• RQ4 改善类内特征聚类是否能带来更好的少样本泛化能力？
• RQ5 参数接近多个任务最小值是否为元学习性能的关键因素，且能否通过正则化增强？

主要发现

• 所提出的权重聚类正则化使 Reptile 在 mini-ImageNet 上的 1-shot 准确率达到 51.94% ± 0.23%，超过原始 Reptile（49.97%）和 FOMAML（48.07%）。
• 在 5-shot 任务中，正则化后的 Reptile 达到 68.02% ± 0.22%，显著优于原始 Reptile（65.99%）和 FOMAML（63.15%）。
• 正则化显著降低了模型参数在推理微调过程中移动的平均滤波器归一化距离，表明更高的稳定性和对良好最小值的接近性。
• 仅使用特征聚类正则化即可提升少样本性能，且不增加优化成本，证实类内紧凑性是关键的归纳偏置。
• 采用正则化的网络在任务损失景观中表现出更平坦且更宽的最小值，与泛化能力提升一致。
• 最佳性能出现在正则化系数为 5.0×10⁻⁵ 时，但广泛范围的取值（大或小十倍）仍能带来性能提升。