[论文解读] Multi-stage Object Detection with Group Recursive Learning

Jianan Li, Xiaodan Liang+4 more|arXiv (Cornell University)|Aug 18, 2016

Advanced Neural Network Applications参考文献 20被引用 6

一句话总结

本文提出了一种多阶段目标检测框架，通过整合弱监督语义分割与群体递归学习，以提高定位精度。通过级联分割网络、候选框生成网络和迭代优化网络——其中每个候选框均利用邻近候选框的空间与语义上下文进行优化——该方法在 PASCAL VOC2007 上实现了 78.6% 的最先进 mAP，在 VOC2012 上实现了 74.9% 的 mAP，通过联合上下文建模显著降低了定位误差。

ABSTRACT

Most of existing detection pipelines treat object proposals independently and predict bounding box locations and classification scores over them separately. However, the important semantic and spatial layout correlations among proposals are often ignored, which are actually useful for more accurate object detection. In this work, we propose a new EM-like group recursive learning approach to iteratively refine object proposals by incorporating such context of surrounding proposals and provide an optimal spatial configuration of object detections. In addition, we propose to incorporate the weakly-supervised object segmentation cues and region-based object detection into a multi-stage architecture in order to fully exploit the learned segmentation features for better object detection in an end-to-end way. The proposed architecture consists of three cascaded networks which respectively learn to perform weakly-supervised object segmentation, object proposal generation and recursive detection refinement. Combining the group recursive learning and the multi-stage architecture provides competitive mAPs of 78.6% and 74.9% on the PASCAL VOC2007 and VOC2012 datasets respectively, which outperforms many well-established baselines [10] [20] significantly.

研究动机与目标

• 解决现有基于 R-CNN 的方法将候选框独立处理的问题，忽略邻近候选框之间的空间与语义相关性。
• 通过利用弱监督语义分割特征来增强候选框生成与定位，从而提升目标检测精度。
• 开发一种递归优化机制，利用周围候选框的上下文线索，迭代优化边界框预测。
• 将分割、候选框生成与检测优化整合为一个统一的、端到端可训练的多阶段架构。
• 证明联合学习与群体递归优化能显著减少因定位不佳导致的误检。

提出的方法

• 该框架由三个级联网络组成：弱监督语义分割网络、结合 CNN 与分割特征的候选框生成网络，以及递归检测优化网络。
• 群体递归学习以类似 EM 的方式应用：在 E 步中，每个候选框利用来自同一对象的重叠邻近候选框的特征与位置信息进行优化；在 M 步中，最大化候选框接近真实边界框的可能性。
• 优化过程在两个阶段（T=2）内迭代执行，训练与推理阶段均使用递归优化，以提升模型泛化能力。
• 边界框回归与分类得分通过上下文信息从周围候选框中联合优化，以提高定位精度。
• 模型采用端到端训练，使分割特征能够同时引导候选框生成与检测优化。
• 群体被定义为同一对象的重叠候选框集合，所有群体内的候选框集体进行优化，以增强空间一致性。

实验结果

研究问题

• RQ1 整合弱监督语义分割特征是否能提升目标检测的定位精度？
• RQ2 对邻近目标候选框的空间与语义相关性进行建模，是否能带来更好的检测性能？
• RQ3 利用周围候选框进行迭代的、基于群体的优化，是否能优于单步独立预测？
• RQ4 在训练与推理阶段均进行递归优化，是否对性能最优至关重要？
• RQ5 该方法在减少因定位不佳导致的误检方面，对具有挑战性的目标类别（如 boat、bottle、chair 和 pottedplant）是否具有显著效果？

主要发现

• 所提方法在 PASCAL VOC2007 数据集上实现了 78.6% 的平均平均精度（mAP），优于现有基线方法。
• 在 PASCAL VOC2012 数据集上，该方法实现了 74.9% 的 mAP，表明其在不同数据集间具有强大的泛化能力。
• 采用两次群体递归学习迭代（Iter_2）相比单次迭代基线，性能提升了 1.0%，表明迭代优化具有显著优势。
• 仅在推理阶段使用递归优化的变体（Iter_2_testing）性能下降 0.8%，证实训练与推理阶段的联合优化对达到最优结果至关重要。
• 该方法显著减少了因定位不佳导致的误检，尤其在 boat、bottle、chair 和 pottedplant 等具有挑战性的类别中，误差分析已证实此效果。
• 定性结果表明，迭代优化过程逐步使初始候选框与真实边界框对齐，验证了上下文感知优化的有效性。