[论文解读] Regularizing Meta-Learning via Gradient Dropout

Hung-Yu Tseng, Yiwen Chen+4 more|arXiv (Cornell University)|Apr 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用 6

一句话总结

本文提出 DropGrad，一种用于元学习的梯度丢弃正则化方法，通过在内层优化过程中随机丢弃梯度来提升泛化能力。通过向梯度中注入伯努利或高斯噪声，DropGrad 减少了少样本学习中的过拟合问题，在少样本分类、目标跟踪和视角估计等视觉任务中持续提升性能，且无需对模型进行特定修改。

ABSTRACT

With the growing attention on learning-to-learn new tasks using only a few examples, meta-learning has been widely used in numerous problems such as few-shot classification, reinforcement learning, and domain generalization. However, meta-learning models are prone to overfitting when there are no sufficient training tasks for the meta-learners to generalize. Although existing approaches such as Dropout are widely used to address the overfitting problem, these methods are typically designed for regularizing models of a single task in supervised training. In this paper, we introduce a simple yet effective method to alleviate the risk of overfitting for gradient-based meta-learning. Specifically, during the gradient-based adaptation stage, we randomly drop the gradient in the inner-loop optimization of each parameter in deep neural networks, such that the augmented gradients improve generalization to new tasks. We present a general form of the proposed gradient dropout regularization and show that this term can be sampled from either the Bernoulli or Gaussian distribution. To validate the proposed method, we conduct extensive experiments and analysis on numerous computer vision tasks, demonstrating that the gradient dropout regularization mitigates the overfitting problem and improves the performance upon various gradient-based meta-learning frameworks.

研究动机与目标

• 解决在可用训练任务较少时基于梯度的元学习中的过拟合问题。
• 开发一种适用于元学习的正则化方法，其中标准 dropout 因元学习与内层循环参数间随机性不一致而失效。
• 提出一种与模型无关、可泛化的正则化技术，适用于多种元学习框架。
• 在包括跨域少样本学习在内的多个计算机视觉任务中，证明梯度丢弃的有效性。

提出的方法

• DropGrad 在元学习的内层优化过程中应用随机梯度丢弃，直接向用于更新模型参数的梯度中注入噪声。
• 该方法采用梯度正则化的通用形式，其中噪声从伯努利或高斯分布中采样，以扰动梯度。
• 正则化在元训练期间应用，确保元参数 θ 与自适应参数 θ′ 之间的随机性一致，避免丢弃模式不一致的问题。
• 该方法与模型无关，可轻松集成到现有的基于梯度的元学习框架（如 MAML、Meta-Tracker 和 MetaView）中，仅需极少修改。
• 噪声注入按网络中的每个参数分别应用，超参数如丢弃率经过调优以实现最佳性能。
• 该方法在少样本分类、在线跟踪和视角估计任务中，采用标准评估协议进行评估。

实验结果

研究问题

• RQ1 在训练任务有限的情况下，梯度级别的正则化是否能缓解元学习中的过拟合？
• RQ2 与对激活值或权重应用 dropout 相比，对梯度应用 dropout 是否能提升少样本学习中的泛化能力？
• RQ3 是否可以设计一种单一的正则化方案，有效适用于多种元学习框架和任务？
• RQ4 在跨域少样本学习中，当领域偏移增加泛化难度时，梯度丢弃的表现如何？

主要发现

• 在视角估计基准上，DropGrad 将 mini-ImageNet 上的少样本分类准确率提升了 1.16%（从 45.00% 提升至 46.16%）。
• 在 OTB2015 数据集上的在线目标跟踪任务中，该方法显著提升了精度和成功率，且在 MetaCREST 和 MetaSDNet 跟踪器中均表现出一致的性能增益。
• 在跨域少样本分类（从 mini-ImageNet 到 CUB）中，DropGrad 显著提升了泛化能力，表现出对领域偏移的强鲁棒性。
• 高斯丢弃变体在丢弃率为 0.2 时提升了跟踪性能，而 0.1 的丢弃率在视角估计任务中表现最优。
• 大量消融实验表明，对深层网络应用梯度丢弃可带来更强的性能提升，表明不同层对正则化的敏感性存在差异。
• 该方法在不同框架间具有良好的泛化能力，在基于度量和基于梯度的元学习设置中均实现了性能提升。