[论文解读] SB-MTL: Score-based Meta Transfer-Learning for Cross-Domain Few-Shot Learning

John Cai, Bill Cai+1 more|arXiv (Cornell University)|Dec 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 4

一句话总结

该论文提出了一种新型方法——基于分数的元迁移学习（SB-MTL），通过将一阶MAML优化与基于分数的图神经网络（GNN）相结合，提升在剧烈领域偏移下的跨领域少样本学习性能。通过将预-softmax分类分数映射到度量空间，并利用GNN通过标签传播来优化预测，SB-MTL在BSCD-FSL基准上实现了最先进性能，平均准确率分别较先前的元学习和迁移学习方法高出14.28%和5.93%。

ABSTRACT

While many deep learning methods have seen significant success in tackling the problem of domain adaptation and few-shot learning separately, far fewer methods are able to jointly tackle both problems in Cross-Domain Few-Shot Learning (CD-FSL). This problem is exacerbated under sharp domain shifts that typify common computer vision applications. In this paper, we present a novel, flexible and effective method to address the CD-FSL problem. Our method, called Score-based Meta Transfer-Learning (SB-MTL), combines transfer-learning and meta-learning by using a MAML-optimized feature encoder and a score-based Graph Neural Network. First, we have a feature encoder with specific layers designed to be fine-tuned. To do so, we apply a first-order MAML algorithm to find good initializations. Second, instead of directly taking the classification scores after fine-tuning, we interpret the scores as coordinates by mapping the pre-softmax classification scores onto a metric space. Subsequently, we apply a Graph Neural Network to propagate label information from the support set to the query set in our score-based metric space. We test our model on the Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, which includes a range of target domains with highly varying dissimilarity to the miniImagenet source domain. We observe significant improvements in accuracy across 5, 20 and 50 shot, and on the four target domains. In terms of average accuracy, our model outperforms previous transfer-learning methods by 5.93% and previous meta-learning methods by 14.28%.

研究动机与目标

• 解决在源域与目标域之间存在显著分布偏移时，跨领域少样本学习（CD-FSL）所面临的挑战，因为现有方法在此类情况下失效。
• 克服当前元学习与迁移学习方法在高度不相似领域（如卫星图像、医学图像与自然图像）上表现不佳的局限性。
• 构建一个统一框架，有效结合元学习（快速适应）与迁移学习（特征迁移）的优势，实现在不同领域间的鲁棒泛化。
• 设计一种基于分类分数而非原始特征的度量空间，以实现领域无关的表征学习。
• 证明基于分数的GNN能够校正初始预测中的非对称混淆模式，从而在低样本、分布外设置下提升鲁棒性与准确率。

提出的方法

• 使用带有可微调层的深度残差网络，通过一阶MAML算法进行优化，以学习良好的初始权重，实现快速适应。
• 利用线性投影层将微调模型的预-softmax分类分数映射到学习得到的度量空间，生成基于分数的表征。
• 在基于分数的度量空间中应用图神经网络（GNN），通过支持集图像向查询图像传播标签信息，实现基于预测分数与真实标签的消息传递。
• 构建一个图结构，其中节点代表支持集和查询图像，边编码分类分数之间的相似性，使GNN能够通过邻域聚合来优化预测。
• 在推理过程中引入数据增强，以进一步提升性能，尤其在低样本设置下。
• 采用课程式训练（episodic training）进行端到端训练，每个训练周期采样若干类别，包含支持集与查询集，以优化少样本泛化能力。

实验结果

研究问题

• RQ1 元学习框架是否能在跨领域少样本学习中有效泛化到高度不相似的目标领域？
• RQ2 与直接预测或基于特征的度量学习相比，将预-softmax分类分数作为GNN输入，能否显著提升性能？
• RQ3 基于分数的度量空间在多大程度上可减少过拟合并校正低样本设置下的非对称混淆模式？
• RQ4 将基于MAML的微调与基于GNN的再分类模块相结合，是否能在BSCD-FSL基准上超越独立的元学习或迁移学习基线？
• RQ5 基于分数的GNN在与源域相似程度不同的领域中，性能表现如何变化？

主要发现

• SB-MTL在BSCD-FSL基准上实现了74.06%的平均准确率，显著优于先前最先进水平的元学习方法14.28%和迁移学习方法5.93%。
• 在50-shot设置下，SB-MTL在EuroSAT和CropDisease上的准确率与典型监督深度学习模型相当或更高。
• 引入基于分数的GNN后，相比仅使用线性MAML（一阶MAML）的基线模型，准确率得到提升，其中在CropDisease和EuroSAT上增益最大，这两个领域存在中等程度的领域偏移。
• 对称性度量显示，与线性MAML相比，SB-MTL在CropDisease上将混淆矩阵的非对称性降低了63.95%，在EuroSAT上降低了58.12%，表明其能更有效地校正初始预测中的偏差。
• 基于分数的GNN在与源域更接近的领域中效果更显著，这从EuroSAT和CropDisease上获得的准确率增益高于ISIC和ChestX可得证。
• 数据增强无法完全解释性能差距；基于分数的GNN提供了显著且一致的性能提升，尤其在高领域偏移设置下。