[论文解读] RepGN:Object Detection with Relational Proposal Graph Network

Xingjian Du, Xuan Shi+1 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Neural Network Applications参考文献 36被引用 10

一句话总结

该论文提出 RepGN，一种关系提议图网络，通过图卷积网络建模对象提议之间的空间与语义关系，以提升目标检测性能。通过集成基于图切割的池化层实现分层全局上下文提取，RepGN 在 COCO 上将 mAP 提升最高达 0.8%，且推理时间开销极低。

ABSTRACT

Region based object detectors achieve the state-of-the-art performance, but few consider to model the relation of proposals. In this paper, we explore the idea of modeling the relationships among the proposals for object detection from the graph learning perspective. Specifically, we present relational proposal graph network (RepGN) which is defined on object proposals and the semantic and spatial relation modeled as the edge. By integrating our RepGN module into object detectors, the relation and context constraints will be introduced to the feature extraction of regions and bounding boxes regression and classification. Besides, we propose a novel graph-cut based pooling layer for hierarchical coarsening of the graph, which empowers the RepGN module to exploit the inter-regional correlation and scene description in a hierarchical manner. We perform extensive experiments on COCO object detection dataset and show promising results.

研究动机与目标

• 解决现有目标检测器在处理提议时孤立看待各提议、未能利用提议间关系的局限性。
• 通过基于图的学习方法建模提议之间的空间与语义关系，以提升检测精度。
• 通过一种新颖的分层图粗化机制，高效捕获全局上下文信息，同时不牺牲推理速度。
• 以最小的架构改动和计算开销，将关系建模集成到 Faster R-CNN 和 Cascade R-CNN 等标准检测器中。

提出的方法

• 将对象提议表示为图中的节点，边通过交并比（IoU）定义，以编码空间与语义关系。
• 采用两层多头图注意力网络（GAT）聚合提议间的关联特征，输出维度与基线模型对齐。
• 提出一种基于图切割的池化层（GCPool），对提议图进行分层粗化，实现高效的全局上下文提取。
• 将 RepGN 模块插入 RPN 之后或 bbox_head 内部，使关系特征增强分类与回归头的性能。
• 采用残差连接机制，在融合关系表征的同时保留原始特征。
• 在 ResNet-50 和 ResNet-101 主干网络下，将 RepGN 模块应用于 Faster R-CNN 和 Cascade R-CNN，以进行消融实验与对比分析。

实验结果

研究问题

• RQ1 通过图结构建模提议间关系是否能提升目标检测性能？
• RQ2 所提出的基于图切割的池化层在捕获目标检测的全局上下文信息方面效果如何？
• RQ3 通过 RepGN 集成关系建模是否能在不同主干网络与检测器架构上实现一致的 mAP 提升？
• RQ4 与标准检测器相比，添加 RepGN 的关系建模带来的计算成本如何？
• RQ5 空间、语义与全局上下文特征各自对最终检测精度的贡献如何？

主要发现

• 在 Faster R-CNN + ResNet-50 上，添加并行的 GAT 层后，mAP 提升 0.2%（从 0.364 提升至 0.366）；在 ResNet-101 上，mAP 提升 0.1%（从 0.386 提升至 0.387）。
• 完整配置（RepGN(a)+RepGN(b)+GCPool）在 Cascade R-CNN + ResNet-101 上实现 0.8% 的 mAP 提升（从 0.420 提升至 0.422）。
• 图切割池化层（GCPool）贡献了最显著的性能提升，证明了分层全局上下文建模的有效性。
• 训练与推理时间几乎不变：在 ResNet-50 上，使用 RepGN 时推理速率为 10.2 张样本/秒，未使用时为 10.4 张样本/秒，表明计算开销极低。
• 该方法在多种主干模型与检测器架构上均一致提升性能，表明其具有强大的泛化能力。
• 消融实验证实，局部（空间与语义）与全局（通过 GCPool）上下文均对性能提升至关重要，其中 GCPool 是影响最大的组件。