[论文解读] Revisiting Mid-Level Patterns for Distant-Domain Few-Shot Recognition.

Yixiong Zou, Shanghang Zhang+3 more|arXiv (Cornell University)|Aug 7, 2020

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种新颖的方法，通过重新审视中级特征，引入残差预测任务以增强其判别能力，从而实现远距离域 few-shot 学习。该方法在六个公开数据集上实现了最先进性能，包括两个医学基准，在统一训练框架下，涵盖域内和远距离域设置。

ABSTRACT

Existing few-shot learning (FSL) methods usually assume known classes and novel classes are from the same domain (in-domain setting). However in practice, it may be infeasible to collect sufficient training samples for some special domains to construct known classes. To solve this problem, cross-domain FSL (CDFSL) is proposed very recently to transfer knowledge from general-domain known classes to special-domain novel classes. Existing CDFSL works mostly focus on transferring between close domains, while rarely consider transferring between distant domains, which is even more challenging. In this paper, we study distant-domain FSL, a challenging subset of CDFSL, by revisiting the mid-level features, which are more transferable yet under-explored in main stream FSL work. To boost the discriminability of mid-level features, we propose a residual-prediction task to encourage mid-level features to learn discriminative information of each sample. Notably, such mechanism also benefits the in-domain FSL. Therefore, we provide two types of features for both distant- and in-domain FSL respectively, under the same training framework. Experiments under both settings on six public datasets, including two challenging medical datasets, validate the rationale of the proposed method and demonstrate state-of-the-art performance.

研究动机与目标

• 解决当已知类别与新类别来自远距离域时 few-shot 学习的挑战，传统方法因域偏移而失效。
• 克服现有跨域 FSL 方法仅关注近域迁移的局限，特别针对远距离域迁移进行改进。
• 提升中级特征的判别能力，尽管其在主流 FSL 中未被充分使用，但具有高度可迁移性。
• 开发一个统一的训练框架，使用相同学习到的特征支持域内和远距离域 few-shot 学习。
• 证明中级特征在多样化领域（包括医学影像）的低样本场景中具有优异表现。

提出的方法

• 提出残差预测任务，通过鼓励中级特征预测输入样本的残差表示，以增强其判别能力。
• 将残差预测任务整合到统一训练框架中，联合优化中级特征学习与分类任务。
• 将中级特征作为 few-shot 分类的主要表示，利用其在不同域之间的可迁移性。
• 在通用域的已知类别上端到端训练模型，以实现对特殊（远距离）域中新类别的零样本迁移。
• 对域内和远距离域 few-shot 识别任务使用相同的模型和特征提取器，确保一致性和泛化能力。
• 在多个基准数据集上应用该方法，包括两个具有挑战性的医学数据集，以验证其鲁棒性和可迁移性。

实验结果

研究问题

• RQ1 中级特征能否在远距离域迁移设置中有效提升 few-shot 通用化能力？
• RQ2 引入残差预测任务是否能显著增强中级特征在 few-shot 学习中的判别能力？
• RQ3 统一模型框架能否在域内和远距离域 few-shot 学习中均实现优异性能？
• RQ4 该方法在多样化数据集（包括医学影像）上与现有最先进方法相比表现如何？
• RQ5 在跨域 few-shot 场景中，中级特征在多大程度上优于或补充全局特征和局部特征？

主要发现

• 所提方法在六个公开 few-shot 学习基准数据集上（包括两个医学数据集）达到最先进性能。
• 残差预测任务显著提升了中级特征的判别质量，从而带来更好的 few-shot 通用化表现。
• 中级特征即使在远距离域之间也表现出强大的可迁移性，优于仅依赖全局或局部表示的方法。
• 统一训练框架成功支持了域内和远距离域 few-shot 学习，且性能提升一致。
• 该方法在多样化领域（包括具有挑战性的医学影像应用）中表现出鲁棒性和泛化能力。
• 消融实验确认，残差预测任务是提升特征判别能力和整体准确率的关键组件。