[论文解读] Sign-MAML: Efficient Model-Agnostic Meta-Learning by SignSGD

Fan Chen, Parikshit Ram+1 more|arXiv (Cornell University)|Sep 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用 4

一句话总结

该论文提出 Sign-MAML，一种计算高效的、一阶的模型无关元学习算法，其在双层优化框架中采用 signSGD 作为底层优化器。通过将 MAML 重新表述为基于 signSGD 的双层优化问题，Sign-MAML 在保持与 FO-MAML 相同计算成本的同时，实现了比标准 MAML 更短的训练时间，并在少样本分类任务中取得了更高的准确率。

ABSTRACT

We propose a new computationally-efficient first-order algorithm for Model-Agnostic Meta-Learning (MAML). The key enabling technique is to interpret MAML as a bilevel optimization (BLO) problem and leverage the sign-based SGD(signSGD) as a lower-level optimizer of BLO. We show that MAML, through the lens of signSGD-oriented BLO, naturally yields an alternating optimization scheme that just requires first-order gradients of a learned meta-model. We term the resulting MAML algorithm Sign-MAML. Compared to the conventional first-order MAML (FO-MAML) algorithm, Sign-MAML is theoretically-grounded as it does not impose any assumption on the absence of second-order derivatives during meta training. In practice, we show that Sign-MAML outperforms FO-MAML in various few-shot image classification tasks, and compared to MAML, it achieves a much more graceful tradeoff between classification accuracy and computation efficiency.

研究动机与目标

• 解决标准 MAML 在元训练过程中二阶导数计算成本过高的问题。
• 开发一种一阶 MAML 变体，在不依赖二阶梯度近似的情况下保持理论基础。
• 在少样本图像分类任务中，相较于 FO-MAML 和 MAML，改善准确率与效率之间的权衡。
• 探究底层优化器选择对元学习中双层优化效率与收敛性的影响。
• 证明基于符号的优化可产生比标准一阶近似更鲁棒、更高效的元学习算法。

提出的方法

• 将 MAML 重新表述为双层优化（BLO）问题，其中上层优化元参数，下层适应任务特定数据。
• 用 signSGD 取代底层优化中的标准梯度下降，signSGD 仅使用梯度的符号来更新参数。
• 理论分析表明，将 signSGD 应用于底层优化可将优化路径转化为一阶交替方案，从而无需使用二阶导数。
• 由此产生的算法 Sign-MAML 在元训练过程中仅执行一阶梯度计算，计算效率与 FO-MAML 相当。
• 该方法通过依赖基于符号的下降，自然避免了 FO-MAML 中因 Hessian 近似导致的元梯度估计误差。
• Sign-MAML 保持了模型无关性，适用于任何可微模型，因此在视觉与自然语言处理任务中具有广泛适用性。

实验结果

研究问题

• RQ1 signSGD 能否作为 MAML 中的底层优化器有效使用，以实现一阶、计算高效的元学习？
• RQ2 在底层优化中使用 signSGD 是否能产生理论合理且稳定的元学习算法，而无需依赖二阶导数假设？
• RQ3 在少样本学习基准上，Sign-MAML 与 FO-MAML 和 MAML 在分类准确率和训练效率方面相比如何？
• RQ4 Sign-MAML 相较于 FO-MAML 的性能优势是否在更具挑战性的少样本设置（如更高 N 类、更低 K 次采样）中依然成立？
• RQ5 Sign-MAML 是否能在减少训练时间的同时，实现优于 MAML 的准确率，尤其是在大规模或复杂少样本场景中？

主要发现

• 在 FS-CIFAR100 上，Sign-MAML 在 5 类 1 次采样和 5 类 5 次采样分类任务中分别比 FO-MAML 提高 4.8% 和 3.7% 的准确率，且计算成本相近。
• 在 MiniImageNet 上的 10 类 1 次采样分类任务中，Sign-MAML 的准确率比 FO-MAML 高 7.5%，且随着任务难度增加，性能差距进一步扩大。
• 与标准 MAML 相比，Sign-MAML 将训练时间减少了约 50%，同时保持或提升了测试准确率。
• 在微调步数（1 至 5 步）变化的情况下，Sign-MAML 在准确率上始终优于 FO-MAML，且改进稳定，未增加计算成本。
• 在更具挑战性的设置中（如高 N、低 K），Sign-MAML 相较于 FO-MAML 的准确率提升更为显著，最高可达 8%；而在较简单情况下，FO-MAML 仅略胜 Sign-MAML 1–3%。
• 与 MAML 和 FO-MAML 相比，Sign-MAML 在准确率与计算成本之间实现了更平滑的权衡，使其更适合资源受限的少样本学习应用场景。