[论文解读] Task-similarity Aware Meta-learning through Nonparametric Kernel Regression

Arun Venkitaraman, Anders Hansson+1 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用 7

一句话总结

本文提出了一种新型元学习框架——任务相似性感知非参数元学习（TANML），该框架通过在再生核希尔伯特空间（RKHS）中使用非参数核回归显式建模任务相似性。通过学习任务描述符并利用核函数量化相似性，TANML 在少样本回归任务中优于 MAML 和 Meta-SGD，尤其在任务数量有限或存在异常值的任务集合中表现更优，表明显式任务相似性感知可提升元学习的鲁棒性。

ABSTRACT

This paper investigates the use of nonparametric kernel-regression to obtain a tasksimilarity aware meta-learning algorithm. Our hypothesis is that the use of tasksimilarity helps meta-learning when the available tasks are limited and may contain outlier/ dissimilar tasks. While existing meta-learning approaches implicitly assume the tasks as being similar, it is generally unclear how this task-similarity could be quantified and used in the learning. As a result, most popular metalearning approaches do not actively use the similarity/dissimilarity between the tasks, but rely on availability of huge number of tasks for their working. Our contribution is a novel framework for meta-learning that explicitly uses task-similarity in the form of kernels and an associated meta-learning algorithm. We model the task-specific parameters to belong to a reproducing kernel Hilbert space where the kernel function captures the similarity across tasks. The proposed algorithm iteratively learns a meta-parameter which is used to assign a task-specific descriptor for every task. The task descriptors are then used to quantify the task-similarity through the kernel function. We show how our approach conceptually generalizes the popular meta-learning approaches of model-agnostic meta-learning (MAML) and Meta-stochastic gradient descent (Meta-SGD) approaches. Numerical experiments with regression tasks show that our algorithm outperforms these approaches when the number of tasks is limited, even in the presence of outlier or dissimilar tasks. This supports our hypothesis that task-similarity helps improve the metalearning performance in task-limited and adverse settings.

研究动机与目标

• 探究在任务数量有限或任务差异较大的情况下，显式建模任务相似性是否能提升元学习性能。
• 解决现有元学习方法隐式假设任务相似性但未对其进行量化的问题。
• 开发一种可泛化的框架，通过基于核的非参数回归将任务相似性整合到元学习中。
• 证明当训练任务数量较少或包含异常值时，任务相似性感知可增强元学习的鲁棒性与性能。
• 在再生核希尔伯特空间中建立主流元学习算法（MAML、Meta-SGD）与核回归之间的概念性联系。

提出的方法

• 该方法将任务特定参数建模为再生核希尔伯特空间（RKHS）中的元素，其中核函数编码任务相似性。
• 为每个任务分配一个任务描述符向量，通过核函数计算相似性，实现对任务的非参数回归。
• 该算法迭代学习元参数，并利用核回归根据新任务与训练任务的相似性，自适应地调整元学习器。
• 任务特定参数通过各网络层的独立适应函数逐层更新，防止高维参数主导结果。
• 该框架支持高斯核和余弦核函数，其中后者表现更优，因其无需超参数。
• 该方法通过将 MAML 和 Meta-SGD 视为 RKHS 中的线性/核回归，实现了对它们的泛化，支持显式相似性感知的自适应。

实验结果

研究问题

• RQ1 当可用任务数量有限时，显式建模任务相似性是否能提升元学习性能？
• RQ2 通过核函数量化任务相似性，在存在异常值或差异较大的任务时，对元学习鲁棒性有何影响？
• RQ3 MAML 和 Meta-SGD 元学习框架能否在基于核的非参数回归框架下实现概念上的统一？
• RQ4 核函数的选择（如高斯核与余弦核）是否会影响任务相似性感知元学习算法的性能？
• RQ5 在 RKHS 中采用非参数核回归方法，是否能提供比隐式相似性假设更鲁棒、更具泛化能力的元学习框架？

主要发现

• 在实验中，TANML 在测试预测性能上显著优于 MAML 和 Meta-SGD，当异常任务占比为 10%–20% 时，归一化均方误差（NMSE）最高降低 50%。
• 在实验 2a（振幅变化）中，TANML 使用余弦核在 T_tr = 256 时达到 NMSE 0.37，而 MAML 为 0.83，Meta-SGD 为 0.92。
• 在实验 2b（频率变化）中，TANML 使用余弦核在 T_tr = 256 时达到 NMSE 0.30，而 MAML 为 0.89，Meta-SGD 为 1.50。
• TANML 性能随任务数量增加而提升，在实验 2a 中，T_tr = 256 时 NMSE 为 0.37，提升至 T_tr = 512 时降至 0.26，表明其具备良好的可扩展性。
• 余弦核优于高斯核，可能是因为其无需方差超参数，对参数选择不敏感。
• 该框架成功通过将 MAML 和 Meta-SGD 嵌入基于核的 RKHS 公式中，实现了对它们的泛化，支持显式任务相似性感知。