[论文解读] Object Detection based on Region Decomposition and Assembly

Seung‐Hwan Bae|arXiv (Cornell University)|Jan 24, 2019

Advanced Neural Network Applications参考文献 14被引用 4

一句话总结

本文提出了一种区域分解与组合检测器（R-DAD），通过将物体区域分解为更小的部分，并利用可学习的区域组合模块融合全局特征与部件级特征，从而提升目标检测性能。该方法在不依赖数据增强、特征金字塔或多尺度测试的情况下，在PASCAL VOC07上实现了81.2%的mAP，在PASCAL VOC12上实现了82.0%的mAP，在MSCOCO18上实现了43.1%的mAP，达到当前最先进水平。

ABSTRACT

Region-based object detection infers object regions for one or more categories in an image. Due to the recent advances in deep learning and region proposal methods, object detectors based on convolutional neural networks (CNNs) have been flourishing and provided the promising detection results. However, the detection accuracy is degraded often because of the low discriminability of object CNN features caused by occlusions and inaccurate region proposals. In this paper, we therefore propose a region decomposition and assembly detector (R-DAD) for more accurate object detection. In the proposed R-DAD, we first decompose an object region into multiple small regions. To capture an entire appearance and part details of the object jointly, we extract CNN features within the whole object region and decomposed regions. We then learn the semantic relations between the object and its parts by combining the multi-region features stage by stage with region assembly blocks, and use the combined and high-level semantic features for the object classification and localization. In addition, for more accurate region proposals, we propose a multi-scale proposal layer that can generate object proposals of various scales. We integrate the R-DAD into several feature extractors, and prove the distinct performance improvement on PASCAL07/12 and MSCOCO18 compared to the recent convolutional detectors.

研究动机与目标

• 解决基于CNN的检测器中因遮挡和区域提议不准确导致的检测精度下降问题。
• 通过联合建模全局物体外观与局部部件细节，提升特征的判别能力。
• 利用多尺度提议层在不使用昂贵图像金字塔的情况下重新缩放提议，提升区域提议的准确性。
• 设计一种可学习的特征融合机制，根据遮挡模式自适应地结合全局与部件特征。
• 在不依赖外部改进手段（如数据增强、多尺度测试或模型集成）的情况下，实现最先进性能。

提出的方法

• 提出一种多尺度区域提议层，通过使用不同的缩放因子对RPN生成的区域提议进行重缩放，以覆盖多样的物体尺寸。
• 采用基于比率的平衡采样策略处理物体与非物体提议之间的类别不平衡问题。
• 将每个物体区域分解为多个更小的子区域，以捕捉细粒度的部件级特征。
• 从完整物体区域及其分解后的子区域中提取CNN特征，分别实现整体与部件级表征。
• 引入区域组合模块（RABs），通过逐阶段聚合最大响应，学习部件特征与全局特征之间的语义关系。
• 利用RABs融合全局与部件特征，生成用于分类与定位的高层判别性特征。

实验结果

研究问题

• RQ1 在不使用图像或特征金字塔的情况下，多尺度区域提议是否能提升检测精度？
• RQ2 联合建模全局与部件特征是否能增强遮挡或小物体检测中的特征判别能力？
• RQ3 可学习的特征融合机制（RAB）是否能根据遮挡情况自适应地加权可靠特征？
• RQ4 所提出的R-DAD是否能在不依赖数据增强、多尺度测试或模型集成的情况下实现最先进性能？
• RQ5 R-DAD框架在不同主干网络与检测架构上的鲁棒性如何？

主要发现

• 在PASCAL VOC07上，R-DAD实现了81.2%的mAP，在PASCAL VOC12上实现了82.0%的mAP，优于以往方法且无需额外优化手段。
• 在MSCOCO18上，R-DAD使用ResNet-101时实现了43.1%的mAP，在官方测试开发集排行榜中排名靠前。
• 在多尺度测试下，R-DAD-v2使用ResNet-101在MSCOCO18上达到44.9%的mAP，展现出在严苛设置下的强大性能。
• 消融实验表明，多尺度提议层与基于RAB的特征融合均对性能提升有显著贡献。
• 可视化对比显示，R-DAD显著减少了误检并提升了定位精度，尤其在遮挡物体上表现更优。
• 该方法具有良好的鲁棒性与泛化能力，可在多种特征提取器（ResNet-50、ResNet-101）与检测框架上均实现性能提升。