[论文解读] MxML: Mixture of Meta-Learners for Few-Shot Classification

Minseop Park, Jungtaek Kim+3 more|arXiv (Cornell University)|Apr 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用 5

一句话总结

MxML 为少样本分类提出了一种任务自适应的元学习器混合模型，其中权重预测网络（WPN）根据查询任务的潜在特征动态分配多个基础元学习器的最优权重。该方法在分布内和分布外的少样本分类基准上显著优于最先进模型及其集成模型，展现出在多样化视觉领域中的强大泛化能力。

ABSTRACT

A meta-model is trained on a distribution of similar tasks such that it learns an algorithm that can quickly adapt to a novel task with only a handful of labeled examples. Most of current meta-learning methods assume that the meta-training set consists of relevant tasks sampled from a single distribution. In practice, however, a new task is often out of the task distribution, yielding a performance degradation. One way to tackle this problem is to construct an ensemble of meta-learners such that each meta-learner is trained on different task distribution. In this paper we present a method for constructing a mixture of meta-learners (MxML), where mixing parameters are determined by the weight prediction network (WPN) optimized to improve the few-shot classification performance. Experiments on various datasets demonstrate that MxML significantly outperforms state-of-the-art meta-learners, or their naive ensemble in the case of out-of-distribution as well as in-distribution tasks.

研究动机与目标

• 解决传统元学习的局限性，即当测试任务分布与元训练任务不同时性能下降的问题。
• 开发一种方法，通过利用在多样化数据集上训练的多个元学习器，使元学习器能够泛化到新颖的、分布外的任务。
• 设计一种动态集成机制，根据每个新任务的特征自适应地选择并组合基础元学习器。
• 在无需为每个新任务重新训练或手动选择相关数据集的情况下，提升少样本分类性能。

提出的方法

• 在多个数据集特定的元学习器（例如，在 miniImageNet、CUB200、CIFAR10 上）上进行训练，使其专精于不同的视觉领域。
• 使用权重预测网络（WPN），其输入为查询任务的潜在嵌入，输出为对基础元学习器的最优混合权重。
• 在每个数据集的保留类集合上训练 WPN，以学习如何评估并组合元学习器在未见任务上的表现。
• 构建一个混合模型，其中最终预测为基于推理时 WPN 确定的权重对基础元学习器输出进行加权平均。
• 端到端优化整个 MxML 系统，以提升在分布内和分布外任务上的少样本分类准确率。
• 采用两阶段训练设置：基础元学习器在各自数据集上训练，WPN 在独立的验证类划分上训练，以避免数据泄露。

实验结果

研究问题

• RQ1 在多样化数据集上训练的元学习器混合模型，是否能比单一模型或朴素集成模型更好地泛化到分布外的少样本分类任务？
• RQ2 如何在推理时根据新任务的特征自适应地确定混合系数，而无需依赖外部指标或重新训练？
• RQ3 通过 WPN 学习评估元学习器性能，是否能相比均匀平均或固定加权方案，提升少样本分类准确率？
• RQ4 当引入来自相关但不同数据集的额外元学习器时，MxML 在分布内任务上的性能提升程度如何？

主要发现

• 在 miniImageNet 上的 1-shot 5-way 分类任务中，MxML 达到 51.393% 的准确率（95% 置信区间：0.765），优于数据集特定模型（50.741%）和单一模型（47.432%）。
• 在 5-shot 5-way 分类任务中，MxML 达到 69.338% 的准确率（95% 置信区间：0.642），超过数据集特定模型（67.781%）和均匀平均基线（66.007%）。
• 在分布外任务（如从 Omniglot 到 MNIST）上测试时，MxML 优于单个模型和朴素集成模型，表现出对领域偏移的鲁棒性。
• WPN 学习到为相关元学习器分配更高权重——例如，在测试 CIFAR10 时赋予 CIFAR100 模型更高权重，在测试 CUB200 时赋予 AwA2/Caltech256 模型更高权重——表明实现了有效的任务感知自适应。
• 在分布内设置中，MxML 持续优于单一模型和集成模型，表明即使在同一分布内，结合多样化元学习器也能增强泛化能力。
• 混合系数的可视化结果表明，MxML 学会根据任务相似性关注最相关的元学习器，对语义相似数据集（如动物分类）的模型分配高权重。