[论文解读] Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty

Jaehoon Oh, Sungnyun Kim+4 more|arXiv (Cornell University)|Feb 1, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文通过分析领域相似性和少样本难度，研究了跨领域少样本学习（CD-FSL）中的预训练策略，发现当领域不相似或目标任务较简单时，自监督学习（SSL）优于有监督学习（SL）；而当领域相似且任务较难时，SL则占主导地位。作者提出了混合有监督学习（MSL）和两阶段预训练方法，基于上述两个指标协同利用SL与SSL的优势，该方法在11个基准数据集上得到验证，显著提升了性能。

ABSTRACT

Cross-domain few-shot learning (CD-FSL) has drawn increasing attention for handling large differences between the source and target domains--an important concern in real-world scenarios. To overcome these large differences, recent works have considered exploiting small-scale unlabeled data from the target domain during the pre-training stage. This data enables self-supervised pre-training on the target domain, in addition to supervised pre-training on the source domain. In this paper, we empirically investigate which pre-training is preferred based on domain similarity and few-shot difficulty of the target domain. We discover that the performance gain of self-supervised pre-training over supervised pre-training becomes large when the target domain is dissimilar to the source domain, or the target domain itself has low few-shot difficulty. We further design two pre-training schemes, mixed-supervised and two-stage learning, that improve performance. In this light, we present six findings for CD-FSL, which are supported by extensive experiments and analyses on three source and eight target benchmark datasets with varying levels of domain similarity and few-shot difficulty. Our code is available at https://github.com/sungnyun/understanding-cdfsl.

研究动机与目标

• 理解自监督学习（SSL）在跨领域少样本学习（CD-FSL）中何时优于有监督学习（SL）。
• 识别决定SL与SSL预训练策略有效性的关键因素——领域相似性和少样本难度。
• 设计结合SL与SSL的改进型预训练方案，基于上述因素以提升CD-FSL性能。
• 在具有不同领域相似性和少样本难度水平的多样化基准数据集上验证所提出的洞察与方法。

提出的方法

• 作者引入两个关键指标：领域相似性（衡量源域与目标域之间特征分布偏移程度）和少样本难度（FSL性能的上界估计，反映任务固有的困难程度）。
• 他们在11个具有不同领域相似性和少样本难度的数据集上，评估了标准预训练策略——在源域上进行有监督学习（SL）和在目标域上进行自监督学习（SSL）的表现。
• 他们提出了混合有监督学习（MSL），一种联合预训练方案，结合SL与SSL信号，以利用二者的优势互补。
• 他们设计了一种两阶段预训练方法，先使用SL进行预训练，再使用SSL进行微调，以利用SL提供的强初始化权重。
• 他们采用ResNet-18作为主干网络，并在miniImageNet、tieredImageNet、EuroSAT、CUB等标准少样本基准数据集上进行评估。
• 他们进行了广泛的消融实验和t-SNE可视化，以验证SL与SSL所学习表示的聚类行为。

实验结果

研究问题

• RQ1 在CD-FSL中，目标域上的自监督预训练在何种条件下优于源域上的有监督预训练？
• RQ2 源域与目标域之间的领域相似性如何影响SL与SSL预训练的有效性？
• RQ3 目标数据集的内在少样本难度如何影响SL与SSL的相对性能？
• RQ4 SL与SSL能否被有效结合以提升CD-FSL性能？若能，其适用条件是什么？
• RQ5 两阶段预训练流程（先SL后SSL）是否优于单阶段预训练？

主要发现

• 当目标域与源域不相似，且目标数据集的少样本难度较低时，自监督预训练（SSL）显著优于有监督预训练（SL）。
• 当源域与目标域相似且少样本任务较难时，有监督预训练（SL）比SSL更有效，因为SL提供了更强的归纳偏置。
• 混合有监督学习（MSL）通过联合优化SL与SSL目标，在两种方法表现相近时显著提升性能，表明其具有协同效应。
• 两阶段预训练方案——先使用SL预训练，再使用SSL微调——通过利用SL提供的强初始化权重，持续提升了性能。
• 在同领域FSL（如miniImageNet → miniImageNet-test）中，SL与MSL优于SSL，且MSL达到最高准确率（5-shot时为87.38%），证实了领域相似性和难度的关键作用。
• t-SNE可视化结果表明，SSL在不相似或简单的数据集（如EuroSAT）上能生成更好的类别分离特征；而SL在相似或困难的数据集（如CUB）上能生成更好的聚类特征。