[论文解读] Rectifying the Shortcut Learning of Background: Shared Object Concentration for Few-Shot Image Recognition.

Xu Luo, Longhui Wei+5 more|arXiv (Cornell University)|Jul 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 4

一句话总结

该论文提出COSOC，一种少样本学习框架，通过识别并聚焦于图像间共享的前景物体，缓解了由图像背景引起的捷径学习问题。在预训练阶段采用对比特征聚类和融合采样策略，在推理阶段采用前景感知特征匹配，COSOC通过抑制背景偏差，在少样本图像识别基准上实现了最先进性能。

ABSTRACT

Few-Shot image classification aims to utilize pretrained knowledge learned from a large-scale dataset to tackle a series of downstream classification tasks. Typically, each task involves only few training examples from brand-new categories. This requires the pretraining models to focus on well-generalizable knowledge, but ignore domain-specific information. In this paper, we observe that image background serves as a source of domain-specific knowledge, which is a shortcut for models to learn in the source dataset, but is harmful when adapting to brand-new classes. To prevent the model from learning this shortcut knowledge, we propose COSOC, a novel Few-Shot Learning framework, to automatically figure out foreground objects at both pretraining and evaluation stage. COSOC is a two-stage algorithm motivated by the observation that foreground objects from different images within the same class share more similar patterns than backgrounds. At the pretraining stage, for each class, we cluster contrastive-pretrained features of randomly cropped image patches, such that crops containing only foreground objects can be identified by a single cluster. We then force the pretraining model to focus on found foreground objects by a fusion sampling strategy; at the evaluation stage, among images in each training class of any few-shot task, we seek for shared contents and filter out background. The recognized foreground objects of each class are used to match foreground of testing images. Extensive experiments tailored to inductive FSL tasks on two benchmarks demonstrate the state-of-the-art performance of our method.

研究动机与目标

• 为解决模型在预训练过程中从图像背景中学习到虚假相关性的问题，该问题会损害其在新少样本类别上的泛化能力。
• 识别并聚焦于同一类别图像间共享的前景物体，减少对特定领域背景特征的依赖。
• 开发一种两阶段框架，在预训练和推理阶段均运行，以检测并过滤掉以背景为主导的图像块。
• 通过确保模型学习到具有良好泛化能力的、以物体为中心的表征，而非依赖背景的模式，从而提升少样本泛化能力。

提出的方法

• 在预训练阶段，使用对比预训练主干网络对图像块的随机裁剪进行嵌入，并对其特征进行聚类，以识别对应于前景物体的主导聚类。
• 应用融合采样策略，优先选择来自已识别前景聚类的训练样本，以鼓励模型聚焦于以物体为中心的特征。
• 在推理阶段，对于每个少样本支持集，通过特征聚类检测图像间共享的内容，以隔离前景区域。
• 利用支持图像中的前景特征与查询图像特征进行匹配，过滤掉与背景无关的信号。
• 该方法利用自监督对比学习在聚类前提取判别性特征，从而在无需标注的情况下实现鲁棒的物体检测。
• 该框架以弱监督方式运行，无需边界框或分割掩码，因此具有可扩展性，并可应用于现实世界的少样本任务。

实验结果

研究问题

• RQ1 在无人工标注的情况下，能否可靠地识别同一类别图像间共享的前景物体模式？
• RQ2 在预训练阶段抑制背景特征是否能提升少样本泛化性能？
• RQ3 两阶段方法（预训练阶段聚类，推理阶段前景匹配）是否优于标准少样本学习方法？
• RQ4 融合采样策略在预训练阶段聚焦模型于前景物体方面的有效性如何？
• RQ5 共享物体集中程度在多大程度上能减少由背景伪影引起的捷径学习？

主要发现

• COSOC在两个标准少样本图像识别基准上实现了最先进性能，优于现有方法。
• 该方法通过识别并强调同一类别图像间共享的前景模式，显著降低了模型对背景特征的依赖。
• 预训练阶段的融合采样策略带来了更鲁棒的特征学习，其证据来自零样本泛化和微调准确率的提升。
• 推理阶段的前景聚类能有效过滤背景噪声，提升查询图像上的匹配准确率。
• 该方法在无需额外标注或架构修改的情况下，可在多样化的少样本任务中实现良好泛化。
• 消融实验确认，通过前景聚类实现的背景抑制是模型性能提升的关键因素。