[论文解读] Universal-Prototype Augmentation for Few-Shot Object Detection.

Aming Wu, Yahong Han+3 more|arXiv (Cornell University)|Mar 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 21被引用 7

一句话总结

该论文提出 ${FSOD}^{up}$，一种少样本目标检测框架，通过从所有物体类别中学习通用原型来捕捉不变的、与类别无关的特征，从而提升特征泛化能力。通过将这些原型增强到特征中，并利用损失函数强制特征一致性，${FSOD}^{up}$ 在少样本和长尾检测基准上均取得性能提升，在 1-shot PASCAL VOC Split2 上相比基线模型 mAP 提升 6.8%。

ABSTRACT

Few-shot object detection (FSOD) aims to strengthen the performance of novel object detection with few labeled samples. To alleviate the constraint of few samples, enhancing the generalization ability of learned features for novel objects plays a key role. Thus, the feature learning process of FSOD should focus more on intrinsical object characteristics, which are invariant under different visual changes and therefore are helpful for feature generalization. Unlike previous attempts of the meta-learning paradigm, in this paper, we explore how to smooth object features with intrinsical characteristics that are universal across different object categories. We propose a new prototype, namely universal prototype, that is learned from all object categories. Besides the advantage of characterizing invariant characteristics, the universal prototypes alleviate the impact of unbalanced object categories. After augmenting object features with the universal prototypes, we impose a consistency loss to maximize the agreement between the augmented features and the original one, which is beneficial for learning invariant object characteristics. Thus, we develop a new framework of few-shot object detection with universal prototypes (${FSOD}^{up}$) that owns the merit of feature generalization towards novel objects. Experimental results on PASCAL VOC and MS COCO demonstrate the effectiveness of ${FSOD}^{up}$. Particularly, for the 1-shot case of VOC Split2, ${FSOD}^{up}$ outperforms the baseline by 6.8\% in terms of mAP. Moreover, we further verify ${FSOD}^{up}$ on a long-tail detection dataset, i.e., LVIS. And employing ${FSOD}^{up}$ outperforms the state-of-the-art method.

研究动机与目标

• 通过提升特征泛化能力，解决少样本目标检测中标注数据有限的挑战。
• 克服类别特定原型可能在新类别上泛化能力不足的局限。
• 通过在所有类别间共享的通用原型，减轻少样本学习中类别不平衡的影响。
• 通过聚焦于不变的、内在的物体特征，提升模型对视觉变化的鲁棒性。
• 构建一个统一框架，同时提升标准少样本基准和长尾检测数据集上的性能。

提出的方法

• 引入从所有物体类别特征中学习得到的通用原型，以捕捉不变的、与类别无关的特征。
• 通过将通用原型与输入物体特征融合，提升其泛化能力。
• 应用一致性损失，促使增强后的特征与原始特征保持接近，以保留语义完整性。
• 端到端训练模型，结合一致性损失和标准检测头，以同时优化特征对齐和检测精度。
• 采用元学习范式，在训练过程中联合优化通用原型，使其适应少样本场景。
• 将通用原型作为正则化项，稳定特征学习，尤其对罕见或低频类别具有显著作用。

实验结果

研究问题

• RQ1 在所有物体类别间共享的通用原型是否能提升少样本目标检测中的特征泛化能力？
• RQ2 使用通用原型在多大程度上能缓解少样本学习中的类别不平衡问题？
• RQ3 原始特征与增强后特征之间的一致性在多大程度上能提升检测性能？
• RQ4 所提出的框架在长尾检测场景（如 LVIS 基准）中是否具有良好的泛化能力？
• RQ5 通用原型方法是否能在标准少样本和长尾检测基准上均超越现有最先进方法？

主要发现

• ${FSOD}^{up}$ 在 1-shot PASCAL VOC Split2 基准上相比基线模型 mAP 提升 6.8%。
• 该方法在 LVIS 数据集上超越了最先进水平，表明其在长尾目标检测任务中具有强大的泛化能力。
• 使用通用原型通过强调视觉变化下的不变特征，使特征学习更加鲁棒。
• 一致性损失在增强特征泛化能力的同时有效保留了语义内容，从而提升了检测精度。
• 该框架在多种少样本设置下均表现出一致的性能增益，表明其在低数据场景下的有效性。
• 通用原型通过为所有类别提供共享的归纳偏置，减轻了类别分布不平衡带来的负面影响。