[论文解读] Structured Prediction for Conditional Meta-Learning

Ruohan Wang, Yiannis Demiris+1 more|arXiv (Cornell University)|Feb 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 4

一句话总结

该论文提出任务自适应结构化元学习（TASML），一种模型无关、非参数化的框架，通过基于与目标任务相似性的元训练任务加权，利用结构化预测学习任务特定的元参数。TASML在mini-ImageNet和tiered-ImageNet上提升了少样本学习性能，优于当前最先进方法，同时保持计算效率。

ABSTRACT

The goal of optimization-based meta-learning is to find a single initialization shared across a distribution of tasks to speed up the process of learning new tasks. Conditional meta-learning seeks task-specific initialization to better capture complex task distributions and improve performance. However, many existing conditional methods are difficult to generalize and lack theoretical guarantees. In this work, we propose a new perspective on conditional meta-learning via structured prediction. We derive task-adaptive structured meta-learning (TASML), a principled framework that yields task-specific objective functions by weighing meta-training data on target tasks. Our non-parametric approach is model-agnostic and can be combined with existing meta-learning methods to achieve conditioning. Empirically, we show that TASML improves the performance of existing meta-learning models, and outperforms the state-of-the-art on benchmark datasets.

研究动机与目标

• 为解决无条件元学习在处理复杂、多模态任务分布时的局限性，通过实现任务特定的元参数来改进。
• 为条件元学习提供一个理论基础扎实、非参数化的框架，可泛化至多种元学习方法。
• 通过动态召回每项新任务最相关的过往任务，提升少样本学习的泛化能力和性能。
• 通过高效的优化算法，在条件元学习中平衡计算效率与准确性。
• 在标准少样本分类基准上实证验证该框架，证明其优于现有最先进方法。

提出的方法

• TASML将内层优化过程建模为结构化预测问题，基于目标任务的特征预测任务特定的元参数。
• 采用元训练任务的加权组合，权重由衡量目标任务与过往任务之间相似性的结构化预测模型生成。
• 该框架采用非参数方法，测试时需访问元训练数据以计算任务特定的目标函数。
• 提出一种高效算法，通过过滤和优先处理最相关训练任务，减轻优化任务特定目标函数的计算成本。
• 该方法与模型无关，可与任何现有元学习算法结合，实现条件适应。
• 使用核化相似度度量（如高斯核）构建结构化预测目标，计算元训练任务上的注意力权重。

实验结果

研究问题

• RQ1 结构化预测能否为条件元学习提供一种原理清晰且可泛化的框架？
• RQ2 基于加权过往任务的任务特定元优化相比共享初始化，如何提升少样本泛化性能？
• RQ3 对最相关元训练任务进行过滤对性能和效率有何影响？
• RQ4 不同核函数对结构化预测组件的鲁棒性和准确性有何影响？
• RQ5 所提方法能否在保持模型无关性和高效性的同时实现最先进性能？

主要发现

• 在5-way-5-shot设置下，TASML在mini-ImageNet上达到78.51%的准确率，在tiered-ImageNet上达到83.03%的准确率，性能达到最先进水平。
• 该方法通过将现有元学习模型转化为条件变体，显著提升了其准确率，展现出在多样化任务上的强大泛化能力。
• 在不同M值（所用最Top任务数）下性能保持稳健，即使M=100时性能下降也极小，表明对无关任务的有效过滤。
• 包含目标任务和相关任务目标至关重要：排除任一都会导致过拟合或欠拟合，当两者权重相等时性能最优。
• 高斯核在准确率和超参数调优的鲁棒性方面优于线性和拉普拉斯核，尤其在带宽敏感性方面表现更优。
• 尽管测试时需访问元训练数据，该方法仍通过高效的过滤与优化策略保持计算效率。