[论文解读] Towards Sample-efficient Overparameterized Meta-learning

Yue Sun, Adhyyan Narang+3 more|arXiv (Cornell University)|Jan 16, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种用于线性回归任务的样本高效元学习框架，采用过参数化表示，表明过参数化通过充当任务感知的归纳偏置，能够实现更好的泛化。该研究建立了理论边界，表明特征协方差可将样本复杂度降低至自由度以下，即使在数据有限的情况下也能实现低估计误差。

ABSTRACT

An overarching goal in machine learning is to build a generalizable model with few samples. To this end, overparameterization has been the subject of immense interest to explain the generalization ability of deep nets even when the size of the dataset is smaller than that of the model. While the prior literature focuses on the classical supervised setting, this paper aims to demystify overparameterization for meta-learning. Here we have a sequence of linear-regression tasks and we ask: (1) Given earlier tasks, what is the optimal linear representation of features for a new downstream task? and (2) How many samples do we need to build this representation? This work shows that surprisingly, overparameterization arises as a natural answer to these fundamental meta-learning questions. Specifically, for (1), we first show that learning the optimal representation coincides with the problem of designing a task-aware regularization to promote inductive bias. We leverage this inductive bias to explain how the downstream task actually benefits from overparameterization, in contrast to prior works on few-shot learning. For (2), we develop a theory to explain how feature covariance can implicitly help reduce the sample complexity well below the degrees of freedom and lead to small estimation error. We then integrate these findings to obtain an overall performance guarantee for our meta-learning algorithm. Numerical experiments on real and synthetic data verify our insights on overparameterized meta-learning.

研究动机与目标

• 理解过参数化如何在元学习的线性回归任务中提升样本效率。
• 识别在少样本学习场景中最小化风险的最优线性特征表示。
• 从理论上解释为何特征协方差可使样本复杂度低于参数数量。
• 在过参数化设置下，开发具有可证明性能保证的元学习算法。

提出的方法

• 该方法设计了一种任务感知正则化，促进归纳偏置，将过参数化与元学习中泛化能力的提升联系起来。
• 采用加权最小L2插值学习表示，利用任务协方差矩阵的特征分解指导特征选择。
• 该方法采用矩方法（MoM）估计器，从有限样本中估计任务和特征协方差。
• 鲁棒性分析界定了估计表示与最优表示之间的风险差异，表明在估计误差下具有稳定性。
• 理论分析结合了估计误差的非渐近界与基于迹的复杂度度量，推导出样本复杂度保证。
• 该框架将表示学习与少样本泛化统一为一个具有可证明风险边界的元学习算法。

实验结果

研究问题

• RQ1 过参数化如何在经典欠参数化范式之外，提升元学习中的泛化能力？
• RQ2 在相关任务中，最小化下游风险的最优线性特征表示是什么？
• RQ3 特征协方差如何隐式减少准确表示学习所需的样本数量？
• RQ4 过参数化是否可在元学习中实现小于自由度的估计误差？
• RQ5 当特征数量超过样本数量时，元学习的理论样本复杂度是多少？

主要发现

• 过参数化作为一种自然的归纳偏置，通过促进任务感知的特征表示，改善了元学习中的泛化能力。
• 最优表示通过加权最小L2插值方法获得，该方法在偏差与方差之间取得平衡，在过参数化环境下优于基于PCA的方法。
• 特征协方差使样本复杂度可低于参数数量，实现小于自由度预测值的估计误差。
• 理论边界表明，估计误差随任务数和特征数的对数因子增长，且在元训练阶段样本更多时衰减。
• 元学习算法的风险由依赖于任务协方差矩阵估计误差的项界定，其显式依赖于任务数和特征维度。
• 在合成数据和真实数据上的数值实验表明，当特征维度超过少样本数量时，测试误差降低，验证了元学习中的双 descent 行为。