[论文解读] Robust Object Detection under Occlusion with Context-Aware CompositionalNets

Angtian Wang, Yihong Sun+2 more|arXiv (Cornell University)|May 24, 2020

Advanced Neural Network Applications参考文献 40被引用 6

一句话总结

该论文提出上下文感知的组合网络（CompositionalNets），通过解耦物体与上下文表征，并引入基于部件的投票机制，以提升严重遮挡下的鲁棒性目标检测性能，实现对遮挡车辆的检测性能提升：在PASCAL3D+上提升41%，在MS-COCO上提升35%，优于Faster R-CNN。

ABSTRACT

Detecting partially occluded objects is a difficult task. Our experimental results show that deep learning approaches, such as Faster R-CNN, are not robust at object detection under occlusion. Compositional convolutional neural networks (CompositionalNets) have been shown to be robust at classifying occluded objects by explicitly representing the object as a composition of parts. In this work, we propose to overcome two limitations of CompositionalNets which will enable them to detect partially occluded objects: 1) CompositionalNets, as well as other DCNN architectures, do not explicitly separate the representation of the context from the object itself. Under strong object occlusion, the influence of the context is amplified which can have severe negative effects for detection at test time. In order to overcome this, we propose to segment the context during training via bounding box annotations. We then use the segmentation to learn a context-aware CompositionalNet that disentangles the representation of the context and the object. 2) We extend the part-based voting scheme in CompositionalNets to vote for the corners of the object's bounding box, which enables the model to reliably estimate bounding boxes for partially occluded objects. Our extensive experiments show that our proposed model can detect objects robustly, increasing the detection performance of strongly occluded vehicles from PASCAL3D+ and MS-COCO by 41% and 35% respectively in absolute performance relative to Faster R-CNN.

研究动机与目标

• 解决Faster R-CNN等深度学习模型在检测部分遮挡物体时因上下文干扰和提案生成不准确而导致的鲁棒性差的问题。
• 通过在训练过程中显式分离上下文与物体表征，克服组合网络在目标检测任务中的局限性。
• 通过将基于部件的投票机制扩展至预测物体边界框的两个对角顶点，提升遮挡物体的边界框估计精度。
• 证明通过学习解耦来控制上下文影响，可显著提升在强遮挡条件下的检测准确率。

提出的方法

• 提出一种上下文感知的组合网络架构，在训练过程中利用边界框标注将图像表征分解为独立的上下文与物体组件。
• 通过端到端训练学习解耦表征，使模型在关注物体部件的同时，通过可学习的加权参数ω抑制上下文影响。
• 将组合网络中的基于部件投票机制扩展，使其除中心点外，还能投票预测物体边界框的两个对角顶点，从而在遮挡条件下实现更精确的定位。
• 利用未遮挡部件的投票结果估计完整边界框，提升在仅可见部分物体结构时的鲁棒性。
• 采用混合模型损失进行训练，以促进上下文与物体特征之间的解耦，减少由上下文偏差导致的误检。
• 通过消融实验研究ω的取值，确定最优上下文加权策略，结果表明关闭上下文（ω=0）在严重遮挡下性能更优。

实验结果

研究问题

• RQ1 在强遮挡条件下，上下文干扰如何降低深度学习模型的目标检测性能？
• RQ2 能否通过解决组合网络缺乏上下文解耦与边界框估计能力的问题，将其扩展至目标检测任务？
• RQ3 与标准RPN相比，能够预测物体顶点的基于部件投票机制是否能提升部分遮挡下的定位鲁棒性？
• RQ4 在组合网络中，物体与上下文表征之间应保持何种最优平衡，以实现对遮挡物体的有效检测？
• RQ5 通过上下文感知的表征学习，在PASCAL3D+和MS-COCO等基准数据集上，遮挡条件下的检测准确率能提升多少？

主要发现

• 所提出的上下文感知组合网络在PASCAL3D+数据集中，对严重遮挡车辆的平均平均精度（mAP）相比Faster R-CNN提升了41%。
• 在MS-COCO数据集中，该方法在严重遮挡车辆上的mAP相比Faster R-CNN实现了35%的绝对性能提升。
• 关闭上下文（ω=0）的性能优于使用学习到的上下文先验（ω=0.5），表明在遮挡严重时，上下文可能产生负面影响。
• 鲁棒的边界框投票机制在生成遮挡物体的准确提案方面显著优于RPN，尤其在高遮挡水平下表现更优。
• 将Faster R-CNN中的VGG-16分类器替换为组合网络后，在高遮挡条件下性能得到提升，证实基于部件的模型在遮挡物体分类中更具优势。
• 即使在极端遮挡条件下（前景与背景级别均为3），模型仍保持高精度，定性结果中绿色框（CA-CompositionalNet通过BB投票）与真实边界框高度吻合。