[论文解读] Ranking Distance Calibration for Cross-Domain Few-Shot Learning

Li Pan, Shaogang Gong+2 more|arXiv (Cornell University)|Dec 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用 4

一句话总结

本文提出用于跨域少样本学习（CD-FSL）的排序距离校准（RDC），通过在目标域中重新排序k-互惠邻居并利用非线性子空间校准距离，改进基于距离的分类方法。RDC-FT进一步通过Kullback-Leibler散度损失微调模型，以嵌入校准后的距离，实现在八个不同目标域上的一致性性能提升，达到当前最优水平。

ABSTRACT

Recent progress in few-shot learning promotes a more realistic cross-domain setting, where the source and target datasets are from different domains. Due to the domain gap and disjoint label spaces between source and target datasets, their shared knowledge is extremely limited. This encourages us to explore more information in the target domain rather than to overly elaborate training strategies on the source domain as in many existing methods. Hence, we start from a generic representation pre-trained by a cross-entropy loss and a conventional distance-based classifier, along with an image retrieval view, to employ a re-ranking process for calibrating a target distance matrix by discovering the reciprocal k-nearest neighbours within the task. Assuming the pre-trained representation is biased towards the source, we construct a non-linear subspace to minimise task-irrelevant features therewithin while keep more transferrable discriminative information by a hyperbolic tangent transformation. The calibrated distance in this target-aware non-linear subspace is complementary to that in the pre-trained representation. To impose such distance calibration information onto the pre-trained representation, a Kullback-Leibler divergence loss is employed to gradually guide the model towards the calibrated distance-based distribution. Extensive evaluations on eight target domains show that this target ranking calibration process can improve conventional distance-based classifiers in few-shot learning.

研究动机与目标

• 为解决跨域少样本学习（CD-FSL）中的领域偏移与标签空间不一致问题，其中源域与目标域在分布和类别标签上存在显著差异。
• 减少为源域优化的预训练表征中产生的偏差，这些表征在目标域上泛化能力较差。
• 通过在目标域中使用k-互惠邻居进行重排序，发现更可靠的正样本，从而改进CD-FSL中的基于距离的分类。
• 开发一种与现有模型学习方法正交且互补的方法，支持灵活集成到微调或非微调框架中。
• 以一种能增强判别能力的方式校准距离矩阵，通过最小化与任务无关的特征，同时保留可迁移的知识。

提出的方法

• 该方法首先使用交叉熵损失进行预训练，并采用常规的距离分类器，将CD-FSL视为图像检索任务。
• 在目标域中应用k-互惠邻居发现过程，扩展初始的k-最近邻列表，提升初始排序的鲁棒性。
• 计算原始排序列表与扩展排序列表之间的Jaccard距离，以重新计算成对距离，形成更精确的距离矩阵。
• 通过双曲正切变换学习一个非线性子空间，将源域表征投影，以最小化与任务无关特征的迁移，同时保留判别性信息。
• 将校准后的距离矩阵与原始预训练距离矩阵融合，形成鲁棒的混合距离度量。
• RDC-FT使用Kullback-Leibler散度损失对模型进行微调，逐步对齐特征分布与校准后的基于距离的分布。

实验结果

研究问题

• RQ1 基于k-互惠邻居的重排序是否能改进跨域少样本学习中的距离校准？
• RQ2 学习一个非线性、任务自适应的子空间是否能减少源域预训练表征在CD-FSL中的偏差？
• RQ3 能否通过可微损失有效将校准后的距离矩阵集成到模型中，以提升泛化能力？
• RQ4 所提出方法在多样化的、未见过的目标域上与当前最优方法相比表现如何？
• RQ5 该方法是否能灵活地与其他训练策略（如数据增强）结合，以进一步提升性能？

主要发现

• RDC-FT在八个目标域上均达到当前最优性能，且在包括NPC和数据增强基线在内的多种基线方法上均实现一致性能提升。
• 在5-way 1-shot设置下，当结合数据增强时，RDC-FT在CropDisease数据集上的准确率从71.94%提升至84.73%，提升12.47%。
• 在大多数数据集上，KL散度损失优于MSE和交叉熵损失，尤其在Places、Plantae和EuroSAT数据集上表现更优，表明软化距离分布具有优势。
• t-SNE可视化显示，RDC-FT减少了类内差异并增大了类间间隔，从而产生更具判别性的表征。
• 当与数据增强方法结合时，RDC始终提升性能，证明其具备良好的泛化能力与与其他训练策略的兼容性。
• RDC中的失败案例在RDC-FT中得到纠正，证实微调过程能有效将校准信息嵌入表征空间。