[论文解读] One-Shot Object Detection without Fine-Tuning

Xiang Li, Lin Zhang+3 more|arXiv (Cornell University)|May 8, 2020

Advanced Neural Network Applications参考文献 29被引用 18

一句话总结

该论文提出了一种两阶段的一次性目标检测模型，通过结合用于高召回率提议生成的Matching-FCOS网络与用于精确分类和定位的结构感知关系模块（SARM），消除了在新类别上微调的需要。该方法通过新颖的训练策略（包括查询-支持特征相似性挖掘和第二阶段知识迁移），在PASCAL VOC数据集的一次性设置下实现了最先进性能，优于需要微调的先前方法。

ABSTRACT

Deep learning has revolutionized object detection thanks to large-scale datasets, but their object categories are still arguably very limited. In this paper, we attempt to enrich such categories by addressing the one-shot object detection problem, where the number of annotated training examples for learning an unseen class is limited to one. We introduce a two-stage model consisting of a first stage Matching-FCOS network and a second stage Structure-Aware Relation Module, the combination of which integrates metric learning with an anchor-free Faster R-CNN-style detection pipeline, eventually eliminating the need to fine-tune on the support images. We also propose novel training strategies that effectively improve detection performance. Extensive quantitative and qualitative evaluations were performed and our method exceeds the state-of-the-art one-shot performance consistently on multiple datasets.

研究动机与目标

• 解决在仅有一个标注支持图像的情况下检测新物体类别的问题，避免对支持图像进行微调。
• 克服现有少样本检测方法依赖微调所带来的过拟合和实用性降低的局限性。
• 通过将度量学习与无锚点、Faster R-CNN风格的检测流水线相结合，提升低数据场景下的检测性能。
• 开发减少类内差异并增强未见类别特征表示的训练策略。
• 通过利用支持图像与查询图像之间的结构和关系特征，实现对新类别的泛化能力。

提出的方法

• 提出两阶段检测流水线：首先，Matching-FCOS利用度量学习在前馈过程中对齐支持与查询特征，生成高召回率的物体提议。
• 在第二阶段，结构感知关系模块（SARM）通过建模支持与查询特征之间的空间关系，实现细粒度分类与边界框回归。
• 提出查询-支持特征相似性挖掘，通过在查询与支持图像之间选择高相似度特征对，减少训练过程中的类内差异。
• 通过水平翻转进行支持增强，以提高对未见物体方向的不变性并增强泛化能力。
• 使用真实标注筛选的提议，通过在第二阶段分类前过滤低质量提议，提升训练质量。
• 实施第二阶段知识迁移（SSKT），从FSS等附加数据集迁移知识，提升SARM的分类能力，同时不损害定位性能。

实验结果

研究问题

• RQ1 能否在不微调支持图像的情况下，实现高性能的一次性目标检测模型？
• RQ2 如何有效将度量学习整合到无锚点、两阶段检测框架中，以提升少样本泛化能力？
• RQ3 诸如特征相似性挖掘和提议筛选等训练策略，在低样本设置下在多大程度上提升了检测精度？
• RQ4 从辅助数据集迁移知识是否能提升第二阶段分类器性能，同时不损害定位性能？
• RQ5 对支持-查询特征关系的结构建模在一次性场景下如何提升检测精度？

主要发现

• 所提方法在PASCAL VOC的一次性检测设置下达到46.1%的AP 50，显著优于需要微调的最先进方法（如LSTD和Repmet）。
• 与基线相比，查询-支持特征相似性挖掘使AP 50提升了5.8个百分点，证明了减少训练过程中类内差异的有效性。
• 通过水平翻转进行支持增强使AP 50提升1.9%，表明数据增强可补偿卷积神经网络在物体方向不变性方面的不足。
• 真实标注筛选的提议使AP 50提升0.8%，表明过滤低质量提议可有效提升SARM的训练效果。
• 与直接在FSS数据集上训练相比，第二阶段知识迁移（SSKT）使AP 50提升2.8%，证明其在不显著损害定位性能的前提下有效增强分类能力。
• 消融实验表明，所有提出的训练策略均对性能有显著贡献，且SARM在AP 50和AP 75上均优于全局平均池化和标准Faster R-CNN头。