[论文解读] Towards Generalized and Incremental Few-Shot Object Detection

Yiting Li, Haiyue Zhu+5 more|arXiv (Cornell University)|Sep 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 24被引用 6

一句话总结

本文提出了一种新颖的增量少样本目标检测（iFSOD）框架——双分支框架（DBF），通过解耦基础类与新类的特征学习，缓解灾难性遗忘并提升泛化能力。通过整合稳定矩匹配（SMM）以实现参数稳定，以及引入任务间类别分离损失以增强特征判别性，该方法在10-shot设置下相比SOTA模型mAP提升2.4个百分点，同时保持了基础类的准确率。

ABSTRACT

Real-world object detection is highly desired to be equipped with the learning expandability that can enlarge its detection classes incrementally. Moreover, such learning from only few annotated training samples further adds the flexibility for the object detector, which is highly expected in many applications such as autonomous driving, robotics, etc. However, such sequential learning scenario with few-shot training samples generally causes catastrophic forgetting and dramatic overfitting. In this paper, to address the above incremental few-shot learning issues, a novel Incremental Few-Shot Object Detection (iFSOD) method is proposed to enable the effective continual learning from few-shot samples. Specifically, a Double-Branch Framework (DBF) is proposed to decouple the feature representation of base and novel (few-shot) class, which facilitates both the old-knowledge retention and new-class adaption simultaneously. Furthermore, a progressive model updating rule is carried out to preserve the long-term memory on old classes effectively when adapt to sequential new classes. Moreover, an inter-task class separation loss is proposed to extend the decision region of new-coming classes for better feature discrimination. We conduct experiments on both Pascal VOC and MS-COCO, which demonstrate that our method can effectively solve the problem of incremental few-shot detection and significantly improve the detection accuracy on both base and novel classes.

研究动机与目标

• 解决在顺序、小批量新类上训练时，模型在增量少样本目标检测中出现的灾难性遗忘问题。
• 在适应新类的同时，保持对先前学习的基础类的检测性能。
• 通过稳定、持续学习，在低数据环境下提升泛化能力和特征判别性。
• 实现在自动驾驶和机器人等数据稀缺环境中的目标检测器实际部署。

提出的方法

• 提出双分支框架（DBF），通过解耦基础类与新类的特征表示学习，独立优化知识保留与新类适应。
• 采用稳定矩匹配（SMM）方法，在持续微调过程中约束参数更新，促进平坦局部极小值并减少特征漂移。
• 应用渐进式模型更新规则，限制参数位移，以保护旧类的长期记忆。
• 引入任务间类别分离损失，强制旧类与新类嵌入之间保持大间距，增强特征判别性。
• 使用半监督目标挖掘（SSOM）在低数据环境下提升特征质量，无需完整标注。
• 将SMM与类别表征（CR）学习相结合，实现对旧类有效、紧凑的表示，而无需存储原始图像。

实验结果

研究问题

• RQ1 能否在不遗忘基础类的前提下，对单一检测器在顺序、少样本新类上进行有效微调？
• RQ2 如何解耦特征表示，以同时保留旧知识并适应新类？
• RQ3 何种训练策略能在少样本条件下实现稳定、持续学习并最小化过拟合？
• RQ4 任务间类别分离在多大程度上能提升特征判别性和检测准确率？
• RQ5 当在MS-COCO上预训练并在Pascal VOC上微调时，该方法在跨域设置下的泛化能力如何？

主要发现

• 在MS-COCO数据集的按组增量设置下，该方法在10-shot检测中达到23.7 mAP，优于之前的SOTA方法（IMTFA）11.3 mAP点。
• 在按类增量设置下，该方法在10-shot检测中相比SOTA提升mAP 2.4个百分点，表明在长期记忆保持方面有显著优势。
• SMM方法减少了嵌入空间中的特征漂移，使类别表征（CR）能有效使用，且无需存储原始图像。
• 任务间类别分离损失在性能上持续优于仅使用交叉熵损失，形成更紧凑、更具判别性的类内表示。
• 在跨域迁移（从MS-COCO到Pascal VOC）中，该方法保持了强泛化能力，在5-shot时达到12.5 mAP，10-shot时达到23.7 mAP，证实了其在跨域场景下的鲁棒性。
• 微调主干网络更深的层（解冻RoI特征提取器）可将新类检测mAP从9.9提升至12.3，但导致灾难性遗忘；所提方法成功缓解了这一权衡。