[论文解读] Rectifying the Shortcut Learning of Background for Few-Shot Learning

Xu Luo, Longhui Wei+5 more|arXiv (Cornell University)|Jul 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 69被引用 45

一句话总结

本文指出图像背景在小样本学习中是有害的捷径知识，并提出 COSOC——一个以前景为焦点的框架，利用对比学习与聚类提取前景用于训练与评估，从而提升小样本性能。

ABSTRACT

The category gap between training and evaluation has been characterised as one of the main obstacles to the success of Few-Shot Learning (FSL). In this paper, we for the first time empirically identify image background, common in realistic images, as a shortcut knowledge helpful for in-class classification but ungeneralizable beyond training categories in FSL. A novel framework, COSOC, is designed to tackle this problem by extracting foreground objects in images at both training and evaluation without any extra supervision. Extensive experiments carried on inductive FSL tasks demonstrate the effectiveness of our approaches.

研究动机与目标

• 识别图像背景是否在小样本学习中充当捷径知识，以及它如何影响在训练与评估类别之间的泛化。
• 提出一个训练-评估框架（COSOC），在不需要额外监督的情况下将模型注意力集中在前景对象上。
• 在标准 FSL 基准数据集（mini ImageNet 和 tiered ImageNet）上证明前景聚焦策略的有效性。
• 将基于前景的训练/评估与显著性基线进行比较，并分析对比学习在前景识别中的作用。

提出的方法

• COS：基于聚类的对象搜索器，在对比预训练后裁剪随机补丁，按类别聚类其特征，选择具有代表性的前景补丁，并在训练期间为融合采样分配前景分数。
• SOC：共享对象聚合器，在支持集中在图像之间找到共享内容以形成类表示，并在评估时对前景补丁执行补丁级别的特征匹配。
• 融合采样：在训练中混合原始图像与前景裁剪进行训练，在降低背景影响的同时保持对复杂场景的适应性。
• 前景提取使用对比学习（Exemplar）来识别可能属于前景对象的补丁，而无需边界框。
• 评估使用跨裁剪的迭代特征匹配，以集中于前景内容，并将类别分数计算为补丁相似度的加权和。
• 与显著性基线的比较表明，COSOC 的前景关注是由共享的类别内容驱动的，而非通用显著性。

实验结果

研究问题

• RQ1 图像背景在小样本学习中是否充当有害的捷径，以及前景与背景如何影响训练和评估性能？
• RQ2 一个以前景为焦点的框架（COSOC）是否可以在无需额外监督的情况下改进小样本泛化，与基于显著性的前景提取相比如何？
• RQ3 对比学习在前景识别与后续 FSL 性能中的作用是什么？
• RQ4 前景与原始图像的融合采样如何在对复杂场景鲁棒性与背景捷径消除之间权衡？
• RQ5 在评估阶段使用真实前景所设定的上限，基于 SOC 的评估能达到多接近？

主要发现

• 背景在 FSL 中是有害的捷径，当训练包含背景信息时，会降低评估性能。
• 在评估阶段移除背景可显著提升各模型和数据集的性能；仅使用前景数据进行训练通常能更好地泛化到新类别。
• 训练时对前景与原始图像进行融合采样提供一种平衡，在原始评估和前景仅评估上均达到有竞争力的结果。
• COS 通过对比学习提升前景辨别；SOC 利用跨图像的共享信息在评估阶段聚焦于前景，接近上限性能
• 基于 COSOC 的方法在 mini ImageNet 与 tiered ImageNet 的 1-shot 与 5-shot 设置中超越基于显著性的前景提取方法。
• SOC 组件对于最大化收益至关重要；仅使用 COS 而不使用 SOC 的改进较弱。