[论文解读] Towards Understanding Generalization in Gradient-Based Meta-Learning

Simon Guiroy|arXiv (Cornell University)|Jul 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 19被引用 12

一句话总结

本文研究基于梯度的元学习中的泛化问题，特别是MAML方法，并挑战了传统上认为平坦极小值与泛化能力相关联的观点。本文提出一种基于适应轨迹一致性的新型正则化器——通过余弦相似度衡量内循环更新方向的一致性——在Omniglot 20-way 1-shot数据集上将元测试准确率提升了1.33个百分点（从94.05%提升至95.38%），表明轨迹一致性而非平坦性与泛化能力更相关。

ABSTRACT

Dans ce mémoire, nous étudions la généralisation des réseaux de neurones dans le contexte du méta-apprentissage, en analysant divers propriétés des surface leurs fonctions objectifs. La recherche en apprentissage automatique portant sur les surfaces de fonctions objectifs des réseaux de neurones ayant aidé à comprendre leur généralisation en apprentissage supervisé standard, nous proposons l'étude de telles surfaces dans le but d'approfondir nos connaissances sur la généralisation en méta-apprentissage. Nous introduisons d'abord la littérature sur les fonctions objectifs des réseaux de neurones à la Section ef{sec:intro:objective_landscapes}, puis celle portant sur le méta-apprentissage à la Section ef{sec:intro:meta-learning}, pour enfin terminer notre introduction avec le méta-apprentissage par descente de gradient, très similaire à l'entraînement des réseaux de neurones par descente de gradient stochastique et pour une tâche unique. Nous présentons par la suite notre travail sur les fonctions objectifs en méta-apprentissage au Chapitre ef{chap:prof_forcing}, lequel nous avons soumis à la conférence NeurIPS 2019 en tant qu'article scientifique. Au moment d'écrire ce mémoire, et au meilleur de notre connaissance, ce travail est le premier à étudier empiriquement les surfaces des fonctions objectifs en méta-apprentissage, particulièrement dans le contexte de l'apprentissage profond, et nous mettons notamment en lumière certaines propriétés de ces surfaces qui apparaissent liées à la généralisation des réseaux de neurones à de nouvelles tâches. Nous démontrons empiriquement qu'alors que progresse la phase de méta-entraînement, pour les solutions aux nouvelles tâches obtenues via quelques itérations de descente de gradient, la courbure de la fonction objective décroit monotoniquement, la valeur de la fonction objective diminue, tandis que la distance euclidienne avec la solution ``méta-entraînement" augmente. Cependant, nous observons que la courbure des minima continue de décroître même lorsque le sur-apprentissage devient apparent et que la généralisation commence à se dégrader, indiquant que la courbure des minima semble peu corrélée à la généralisation en méta-apprentissage par descente de gradient. De plus, nous montrons empiriquement que la généralisation aux nouvelles tâches semble plutôt liée à la cohérence de leurs trajectoires d'adaptation dans l'espace des paramètres, mesurée par la similarité cosinus moyenne entre les trajectoires. Nous montrons également que la cohérence des gradients ''meta-test", mesurée par le produit scalaire moyen entre les vecteurs de gradients spécifiques aux nouvelles tâches, évalué à solution meta-entraînement, est également corrélée à la généralisation. Nous basant sur ces observations, nous proposons un nouveau terme de régularisation pour l'algorithme de méta-apprentissage Model Agnostic Meta-Learning (MAML).

研究动机与目标

• 理解与基于梯度的元学习中泛化相关的优化景观特性。
• 探究在元学习中平坦极小值是否与泛化能力相关，挑战来自标准监督学习的先前假设。
• 在少样本元学习设置中，识别替代性且更具预测性的泛化指标。
• 基于对适应轨迹一致性的实证洞察，为MAML开发一种新型正则化器。

提出的方法

• 分析从元训练权重经几步梯度适应后得到的元测试解，追踪平坦性、损失以及与元训练解的距离。
• 通过任务间内循环更新方向向量之间平均余弦相似度来度量适应轨迹的一致性。
• 使用任务特定梯度之间的平均内积来量化元训练解处的梯度一致性。
• 提出一种正则化器，惩罚与平均适应方向的角偏差，其计算公式为 $\Omega(\theta) = -\vec{\theta}_i^T \vec{\theta}_\mu$。
• 通过在内循环中修改更新方向，将正则化器整合进MAML，同时保持元更新计算不变。
• 在Omniglot 20-way 1-shot上，采用正则化系数 $\gamma = 0.5$ 的二阶MAML进行评估。

实验结果

研究问题

• RQ1 在基于梯度的元学习中，元测试解的平坦性是否与泛化性能相关？
• RQ2 适应轨迹的一致性（通过更新方向的余弦相似度度量）与泛化能力有何关系？
• RQ3 在元训练解处评估的元测试梯度的一致性是否能预测泛化能力？
• RQ4 基于轨迹一致性的正则化器能否提升MAML在元学习中的泛化能力？
• RQ5 所提出的正则化器是否在少样本分类任务中优于标准MAML和微调基线方法？

主要发现

• 随着元训练的推进，元测试解变得越来越平坦，支持集损失也更低，但当泛化能力下降时，这一趋势依然持续。
• 当元训练发生过拟合时，泛化性能下降，但元测试解仍保持平坦，这与元学习中平坦极小值泛化假设相矛盾。
• 泛化能力与适应轨迹方向之间平均余弦相似度强相关，且在不同设置中保持一致。
• 泛化能力也与在元训练解处评估的元测试梯度之间平均内积相关。
• 所提出的正则化器使Omniglot 20-way 1-shot上的元测试准确率从94.05%提升至95.38%，相对误差减少约23%。
• 该正则化器在不增加计算开销的情况下提升性能，因为惩罚项在元更新过程中被视为常数。