[论文解读] Structure Inference Net: Object Detection Using Scene-Level Context and Instance-Level Relationships

Yong Liu, Ruiping Wang+2 more|arXiv (Cornell University)|Jun 30, 2018

Advanced Neural Network Applications参考文献 35被引用 24

一句话总结

本文提出结构推理网络（SIN），一种新颖的物体检测框架，通过基于图的结构推理机制建模场景级上下文和实例级物体关系，从而提升检测准确率。通过整合门控循环单元（GRUs）以利用场景上下文和关系邻居的消息来更新物体状态，SIN在PASCAL VOC和MS COCO上均达到最先进性能，在使用平均池化集成的VOC 2007上实现70.5%的mAP，且在不损失召回率的前提下提升了精确率。

ABSTRACT

Context is important for accurate visual recognition. In this work we propose an object detection algorithm that not only considers object visual appearance, but also makes use of two kinds of context including scene contextual information and object relationships within a single image. Therefore, object detection is regarded as both a cognition problem and a reasoning problem when leveraging these structured information. Specifically, this paper formulates object detection as a problem of graph structure inference, where given an image the objects are treated as nodes in a graph and relationships between the objects are modeled as edges in such graph. To this end, we present a so-called Structure Inference Network (SIN), a detector that incorporates into a typical detection framework (e.g. Faster R-CNN) with a graphical model which aims to infer object state. Comprehensive experiments on PASCAL VOC and MS COCO datasets indicate that scene context and object relationships truly improve the performance of object detection with more desirable and reasonable outputs.

研究动机与目标

• 为解决仅依赖局部外观的物体检测器的局限性，通过引入更高级别的上下文信息。
• 通过建模场景级上下文和实例级物体关系，提升检测准确率和鲁棒性。
• 通过基于图的消息传递，将物体检测形式化为结构化推理问题。
• 开发一种灵活、与框架无关的模块，通过上下文推理增强现有检测器（如Faster R-CNN）。
• 验证联合利用场景和关系上下文可带来更准确、更可靠的检测输出。

提出的方法

• 该方法将物体检测形式化为图结构推理问题，其中物体为节点，关系为边。
• 提出结构推理网络（SIN），使用门控循环单元（GRUs）作为记忆单元，通过来自场景上下文和邻近物体的消息编码并更新物体状态。
• 每个GRU的输入包括初始物体特征、场景级上下文嵌入以及来自其他物体的关系消息，实现多模态消息传递。
• 使用两个独立模块：一个用于场景上下文（Scene模块），一个用于物体关系（Edge模块），每个模块均通过GRU-based消息传递更新物体状态。
• 最终物体状态通过两个模块的平均池化集成获得，该方法被发现能取得最佳性能。
• 该模型为即插即用设计，通过将最终分类器头替换为SIN模块，可兼容现有两阶段检测器（如Faster R-CNN）。

实验结果

研究问题

• RQ1 联合建模场景级上下文和实例级关系是否能提升物体检测性能？
• RQ2 引入结构化上下文信息如何影响检测准确率和定位精确率？
• RQ3 在基于深度学习的检测框架中，融合场景上下文与物体关系信号的最优方式是什么？
• RQ4 使用GRUs进行基于图的消息传递是否能带来更一致且语义上更有意义的物体预测？
• RQ5 不同的集成策略和消息传递时间步数如何影响最终检测性能？

主要发现

• 当使用平均池化集成和两步消息传递时，所提出的SIN模型在PASCAL VOC 2007测试集上实现了70.5%的mAP。
• 该模型在保持几乎相同的召回率的同时，相比基线Faster R-CNN显著提升了精确率，表明预测更准确、更自信。
• Edge模块（建模物体关系）显著提升了定位准确率，尤其对常共现的物体（如鼠标与笔记本电脑）效果明显。
• Scene模块显著提升了与场景上下文强相关类别（如河景中的船）的检测性能，减少了误分类错误。
• 当消息传递步数超过两步时，性能出现下降，原因在于图中噪声累积。
• 可视化结果表明，模型学习到了有意义的物体关系，如人-网球拍和人-飞盘，通过高关系注意力连接相关物体。