[论文解读] Provable Meta-Learning of Linear Representations

Nilesh Tripuraneni, Chi Jin+1 more|arXiv (Cornell University)|Feb 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用 52

一句话总结

本文研究线性模型中跨多个任务的共享线性特征表示的元学习，给出具有可证明恢复保证的算法方法并可迁移到新任务，同时给出信息论下界。

ABSTRACT

Meta-learning, or learning-to-learn, seeks to design algorithms that can utilize previous experience to rapidly learn new skills or adapt to new environments. Representation learning -- a key tool for performing meta-learning -- learns a data representation that can transfer knowledge across multiple tasks, which is essential in regimes where data is scarce. Despite a recent surge of interest in the practice of meta-learning, the theoretical underpinnings of meta-learning algorithms are lacking, especially in the context of learning transferable representations. In this paper, we focus on the problem of multi-task linear regression -- in which multiple linear regression models share a common, low-dimensional linear representation. Here, we provide provably fast, sample-efficient algorithms to address the dual challenges of (1) learning a common set of features from multiple, related tasks, and (2) transferring this knowledge to new, unseen tasks. Both are central to the general problem of meta-learning. Finally, we complement these results by providing information-theoretic lower bounds on the sample complexity of learning these linear features.

研究动机与目标

• 通过识别何时可以从多个相关的线性回归任务中恢复出一个共同的低维特征空间来推动学习-到-学习。
• 开发高效学习共享表示的算法并证明它们在样本方面具有高效性。
• 量化学习到的表示如何提升对未见任务的样本效率。
• 提供信息论下界，以刻画多任务设置中特征恢复的基本极限。

提出的方法

• 将数据建模为 t 个任务，它们共享一个未知的 r 维线性表示 B，且列正交。
• 建立一个两阶段的元学习框架：元训练以学习 B，元测试在固定 B 的情况下将其迁移到新任务。
• 使用 Burer-Monteiro 因式分解和正则化经验风险，证明所有局部极小点都能给出对 B 的良好近似。
• 给出一个矩估计量，使用矩阵 (1/n1) sum y_i^2 x_i x_i^T 的前 r 个特征向量来恢复 B。
• 分析一个迁移学习过程：将学习得到的 B 代入新任务的最小二乘估计器。
• 在多任务线性模型下建立特征恢复的信息论下界。

实验结果

研究问题

• RQ1 我们能否有效地从多个相关的线性回归任务中学习到一个共享的低维特征表示？
• RQ2 在同一线性特征空间内，学习到的表示迁移到一个新的未见任务的效果如何？
• RQ3 学习共享特征和迁移到新任务的样本复杂度是多少？与不进行迁移的学习相比如何？
• RQ4 在任务多样性和协变量设计的哪些条件下，一阶方法可以高效地恢复表示？
• RQ5 在该多任务设置下，恢复线性特征子空间的基本极限（下界）是什么？

主要发现

• 正则化经验风险的局部极小点在统计误差很小的范围内恢复了真实线性表示。
• 使用 y^2 x x^T 矩量矩的前 r 个特征向量的矩估计量以恢复 B，误差为 \u001dO~(sqrt((tilde{kappa}/tilde{nu}) * dr / n1))。
• 在使用该特征估计时，将学习到的特征迁移到新任务会产生额外的预测误差 \u001dO~(dr^2/n1 + r/n2)。
• 当 n1/n2 相对于 r 较大且表示的复杂度 r 相对于 d 较小时，存在正向迁移。
• 本文给出信息理论下界，显示特征恢复中的不可避免误差，并在其假设下强调所提出估计量的近似最优性。