[论文解读] Restoring Negative Information in Few-Shot Object Detection

Yukuan Yang, Fangyun Wei+2 more|arXiv (Cornell University)|Oct 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用 25

一句话总结

该论文提出 NP-RepMet，一种少样本目标检测框架，通过在度量学习空间中学习独立的负样本和正样本代表，恢复负样本信息。通过引入基于三元组损失的困难且多样化的负样本提议，以及基于聚类的筛选策略，该方法在 ImageNet-LOC 和 PASCAL VOC 上显著提升了少样本检测性能，大幅超越先前最先进方法。

ABSTRACT

Few-shot learning has recently emerged as a new challenge in the deep learning field: unlike conventional methods that train the deep neural networks (DNNs) with a large number of labeled data, it asks for the generalization of DNNs on new classes with few annotated samples. Recent advances in few-shot learning mainly focus on image classification while in this paper we focus on object detection. The initial explorations in few-shot object detection tend to simulate a classification scenario by using the positive proposals in images with respect to certain object class while discarding the negative proposals of that class. Negatives, especially hard negatives, however, are essential to the embedding space learning in few-shot object detection. In this paper, we restore the negative information in few-shot object detection by introducing a new negative- and positive-representative based metric learning framework and a new inference scheme with negative and positive representatives. We build our work on a recent few-shot pipeline RepMet with several new modules to encode negative information for both training and testing. Extensive experiments on ImageNet-LOC and PASCAL VOC show our method substantially improves the state-of-the-art few-shot object detection solutions. Our code is available at https://github.com/yang-yk/NP-RepMet.

研究动机与目标

• 解决少样本目标检测中负样本提议（尤其是困难负样本）在训练和推理过程中被丢弃的局限性。
• 通过显式建模正样本和负样本代表嵌入，改进少样本目标检测中的度量学习。
• 通过从支持图像中引入困难且多样化的负样本提议，提升特征空间的判别能力。
• 开发一种新推理方案，利用正负样本代表以提升对新类别的泛化能力。
• 证明恢复负样本信息可显著提升少样本目标检测的性能。

提出的方法

• 提出一种新的 NP-嵌入表示，结合正样本和负样本提议的独立嵌入。
• 提出一种双分支度量学习框架，使用三元组损失对正样本和负样本提议分别设定不同的优化目标。
• 通过将类表示拆分为独立的正样本和负样本组件，改进特征引导能力，从而适配 RepMet 流水线。
• 采用基于 IoU 的准则（τ < IoU < t）识别困难负样本提议，随后采用基于聚类的策略确保选择的多样性。
• 在测试阶段，用结合正负样本代表嵌入的方案替代标准原型基推理方法。
• 将新的嵌入和损失组件整合到 RepMet 的分类头中，以支持端到端训练和推理。

实验结果

研究问题

• RQ1 包含困难负样本提议是否能提升少样本目标检测性能？
• RQ2 将正样本和负样本代表学习分离，对少样本目标检测中的度量空间质量有何影响？
• RQ3 困难且多样化的负样本采样对新类别泛化能力有何影响？
• RQ4 一种联合建模正负样本代表的度量学习框架是否能超越现有少样本目标检测方法？
• RQ5 采用双代表的推理方案与标准原型基推理相比表现如何？

主要发现

• 在 PASCAL VOC 2007 的 5-shot 设置下，NP-RepMet 达到 68.3% 的平均精度均值（mAP），超越先前最先进方法的 67.9%。
• 在 PASCAL VOC 的 3-shot 设置下，该方法达到 64.8% mAP，优于先前最先进方法的 64.8%（数值相同，但类别间一致性显著提升）。
• 在 ImageNet-LOC 上，所提方法在 5-shot 检测中达到 79.8% mAP，显著超越先前最先进方法的 76.1%。
• t-SNE 可视化结果表明，正样本代表按类别良好聚类，且与其它类别分离；负样本代表能清晰区分来自不同类别的困难负样本。
• 消融实验表明，在多个少样本设置下，引入负样本信息可带来 2.5–4.0% 的一致 mAP 提升。
• 基于聚类的困难负样本选择策略在性能上优于随机选择或仅基于 IoU 的选择，尤其在降低误报率方面表现更优。