[论文解读] Spatial Reasoning for Few-Shot Object Detection

Geonuk Kim, Hong-Gyu Jung+1 more|arXiv (Cornell University)|Nov 2, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种少样本目标检测框架 FSOD-SR，通过使用图卷积网络（GCN）建模区域提议（RoIs）之间的空间关系，增强了新类别特征表示。通过编码新类别与基础类别 RoIs 之间的几何关系和共现关系，并采用一种新颖的空间数据增强策略，该方法在 PASCAL VOC 和 MS COCO 上实现了最先进性能，在少样本设置下显著优于先前方法。

ABSTRACT

Although modern object detectors rely heavily on a significant amount of training data, humans can easily detect novel objects using a few training examples. The mechanism of the human visual system is to interpret spatial relationships among various objects and this process enables us to exploit contextual information by considering the co-occurrence of objects. Thus, we propose a spatial reasoning framework that detects novel objects with only a few training examples in a context. We infer geometric relatedness between novel and base RoIs (Region-of-Interests) to enhance the feature representation of novel categories using an object detector well trained on base categories. We employ a graph convolutional network as the RoIs and their relatedness are defined as nodes and edges, respectively. Furthermore, we present spatial data augmentation to overcome the few-shot environment where all objects and bounding boxes in an image are resized randomly. Using the PASCAL VOC and MS COCO datasets, we demonstrate that the proposed method significantly outperforms the state-of-the-art methods and verify its efficacy through extensive ablation studies.

研究动机与目标

• 为解决现有少样本目标检测器仅依赖局部 RoI 特征、未利用上下文空间关系的局限性。
• 通过建模图像中物体之间的共现与几何关系，改善新类别特征表示。
• 开发一种空间数据增强策略，通过同时缩放图像中所有 RoIs，提升训练多样性，增强空间推理鲁棒性。
• 在域内与跨数据集设置下实现强大的少样本泛化性能。
• 通过动态特征融合缓解少样本微调过程中基础类别性能下降的问题。

提出的方法

• 构建一个空间图，其中节点代表 RoIs（来自 RPN），边编码 RoIs 之间的几何与语义相关性，尤其关注新类别与基础类别之间的关系。
• 基于边界框的 IoU（交并比）和基础类别的分类分数计算边权重，捕捉空间与语义相关性。
• 使用图卷积网络（GCN）在空间图上传播并聚合上下文信息，以优化 RoI 特征。
• 通过将原始 RoI 特征与 GCN 处理后的上下文特征拼接，生成增强特征，提升新类别判别能力。
• 提出一种新颖的空间数据增强策略，将图像中所有物体同时缩放 T 次，生成指数级更多的训练样本，以学习多样化的尺度与空间配置。
• 将上述组件整合进元学习框架中，用于少样本微调，实现在仅提供少量样本的情况下检测新类别。

Figure 1: Conceptual example of the human visual system for recognizing new objects using a spatial reasoning process. Even if a human has little experience of new objects and has trouble recognizing the objects individually, it is possible to recognize the objects applying a spatial reasoning proce

实验结果

研究问题

• RQ1 建模新类别与基础类别物体之间的空间关系是否能提升少样本目标检测性能？
• RQ2 在物体之间引入几何与共现模式，对稀有类别特征表示有何影响？
• RQ3 基于图的空间推理机制是否能优于传统 RoI 级特征操作，在少样本检测中表现更优？
• RQ4 一种同时缩放图像中所有物体的空间数据增强策略，是否能提升低数据场景下的泛化能力？
• RQ5 所提方法是否能在显著提升新类别检测性能的同时，保持对基础类别的强性能？

主要发现

• 所提 FSOD-SR 方法在 20 类 10 样本 PASCAL VOC 基准上达到 43.2 mAP，优于先前最先进方法（MPSR）的 0.9 mAP。
• 在跨数据集泛化设置下（MS COCO 基础类别，PASCAL VOC 新类别），FSOD-SR 达到 43.2 mAP，超越 MPSR（42.3 mAP）与 Meta R-CNN（37.4 mAP）。
• 消融实验表明，空间图与空间数据增强均对性能提升有显著贡献，GCN 基于推理机制使 mAP 提升最高达 3.5 分。
• 可视化结果表明，模型学习到了有意义的空间关系，能基于空间邻近性与共现性，将新物体（如鼠标）与语义上合理的基类物体（如显示器、键盘）关联起来。
• 该方法在未见领域上表现出强泛化能力，在 20 类 1 样本 MS COCO 上达到 44.6 mAP，当在 MS COCO 的 60 个基础类别上训练并在 PASCAL VOC 上微调时。
• 尽管新类别检测性能显著提升，但与 TFA 相比，基础类别 mAP 略有下降，表明存在性能权衡，未来工作或可通过动态特征融合加以缓解。

Figure 3: Detailed flowchart of the edge regression. We transform the RoI visual features and the corresponding coordinates from an RPN into latent spaces to calculate the relatedness of RoIs. Finally, the ReLU function is exploited to build a sparse graph.