[论文解读] Semantic Relation Reasoning for Shot-Stable Few-Shot Object Detection

Chenchen Zhu, Fang-Yi Chen+3 more|ArXiv.org|Mar 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 22

一句话总结

本文提出SRR-FSD，一种少样本目标检测框架，通过使用学习到的词嵌入和动态关系图，显式建模基础类与新类之间的语义关系，从而增强在数据稀缺情况下的鲁棒性。通过将视觉特征投影到语义空间并利用基于注意力的关系推理进行优化，SRR-FSD在低样本设置下实现了显著提升且稳定的性能，尤其在显式和隐式样本均较少的情况下表现突出。

ABSTRACT

Few-shot object detection is an imperative and long-lasting problem due to the inherent long-tail distribution of real-world data. Its performance is largely affected by the data scarcity of novel classes. But the semantic relation between the novel classes and the base classes is constant regardless of the data availability. In this work, we investigate utilizing this semantic relation together with the visual information and introduce explicit relation reasoning into the learning of novel object detection. Specifically, we represent each class concept by a semantic embedding learned from a large corpus of text. The detector is trained to project the image representations of objects into this embedding space. We also identify the problems of trivially using the raw embeddings with a heuristic knowledge graph and propose to augment the embeddings with a dynamic relation graph. As a result, our few-shot detector, termed SRR-FSD, is robust and stable to the variation of shots of novel objects. Experiments show that SRR-FSD can achieve competitive results at higher shots, and more importantly, a significantly better performance given both lower explicit and implicit shots. The benchmark protocol with implicit shots removed from the pretrained classification dataset can serve as a more realistic setting for future research.

研究动机与目标

• 解决在数据稀缺情况下少样本目标检测器的不稳定性，特别是当显式和隐式样本均受限时。
• 利用基础类与新类之间恒定的语义关系作为稳定归纳偏置，以提升泛化能力。
• 克服现有方法仅依赖视觉特征、对样本数量变化敏感的局限性。
• 开发一种端到端可学习的方法，将文本语义知识与视觉检测有效融合。
• 提出一种动态关系图，以比静态或启发式知识图更优地建模类间关系。

提出的方法

• 使用大规模语料库中预训练的词嵌入表示每一类，构建语义空间以实现零样本泛化。
• 训练检测器将图像特征投影到该语义空间，使视觉表征与对应类别嵌入对齐。
• 引入基于自注意力机制的动态关系图模块，学习类别嵌入之间的类间关系，替代固定的启发式知识图。
• 将关系推理公式化为可微操作：$\mathbf{W}_{e}^{\prime} = \delta(\mathbf{W}_{e}\mathbf{T}_{f}\mathbf{T}_{g}^{T}\mathbf{W}_{e}^{T})\mathbf{W}_{e}\mathbf{T}_{h}\mathbf{T}_{l} + \mathbf{W}_{e}$，其中$\mathbf{W}_{e}$为初始词嵌入矩阵。
• 将增强后的嵌入$\mathbf{W}_{e}^{\prime}$用作检测头中的分类权重，实现关系感知分类。
• 仅微调关系推理模块和投影矩阵，同时冻结主干网络，以避免在低样本场景下过拟合。

实验结果

研究问题

• RQ1 基础类与新类之间的语义关系能否作为稳定归纳偏置，以提升在数据稀缺条件下的少样本目标检测性能？
• RQ2 融合学习到的语义嵌入与动态关系推理，如何提升检测器对显式和隐式样本数量变化的鲁棒性？
• RQ3 用可学习、数据驱动的关系图替代启发式知识图，是否能实现比固定图更优的少样本泛化能力？
• RQ4 端到端学习视觉-语义对齐与关系推理，是否能超越仅依赖视觉特征的方法？
• RQ5 从ImageNet预训练数据集中移除新类样本（即消除隐式样本）对检测器性能有何影响？所提方法能否缓解此问题？

主要发现

• 在1-shot VOC基准上，SRR-FSD的mAP50达到46.1%，显著优于FSRW（31.5%）和Meta R-CNN（35.8%），在低样本条件下表现优异。
• 在2-shot设置下，SRR-FSD的AP50达到55.6%，表明即使在极少数标注样本下也具备强大的泛化能力。
• 当从ImageNet中移除隐式样本（rm-nov设置）时，SRR-FSD在1-shot下仍保持41.5%的mAP50，而基线模型性能急剧下降，证明了其对样本数量的稳定性。
• 在5-shot时达到65.4% AP50，10-shot时达到67.4% AP50，表明在所有样本水平下均具备竞争力的性能。
• 消融实验表明，微调更多参数并不能提升性能，且动态关系图对鲁棒性至关重要，其性能优于静态或启发式图。
• 通过自注意力机制实现的动态关系图，能够有效促进类别嵌入之间的知识传播，从而在低数据环境下提升分类准确率。