[论文解读] Point Linking Network for Object Detection

Xinggang Wang, Kaibing Chen+3 more|arXiv (Cornell University)|Jun 12, 2017

Advanced Neural Network Applications参考文献 3被引用 25

一句话总结

本文提出点链接网络（Point Linking Network, PLN），一种新颖的物体检测框架，通过深度全卷积网络将物体表示为可学习的中心点与角点，并以点对形式链接。通过端到端回归关键点及其关联关系，PLN在不使用数据增强的情况下，于PASCAL VOC 2007/2012与COCO基准上实现了单模型的最先进性能，展现出对遮挡、尺度及长宽比变化的强鲁棒性。

ABSTRACT

Object detection is a core problem in computer vision. With the development of deep ConvNets, the performance of object detectors has been dramatically improved. The deep ConvNets based object detectors mainly focus on regressing the coordinates of bounding box, e.g., Faster-R-CNN, YOLO and SSD. Different from these methods that considering bounding box as a whole, we propose a novel object bounding box representation using points and links and implemented using deep ConvNets, termed as Point Linking Network (PLN). Specifically, we regress the corner/center points of bounding-box and their links using a fully convolutional network; then we map the corner points and their links back to multiple bounding boxes; finally an object detection result is obtained by fusing the multiple bounding boxes. PLN is naturally robust to object occlusion and flexible to object scale variation and aspect ratio variation. In the experiments, PLN with the Inception-v2 model achieves state-of-the-art single-model and single-scale results on the PASCAL VOC 2007, the PASCAL VOC 2012 and the COCO detection benchmarks without bells and whistles. The source code will be released.

研究动机与目标

• 解决现有基于深度学习的物体检测器在尺度、长宽比及遮挡敏感性方面的局限性。
• 通过将物体表示重新思考为点对，突破刚性边界框回归范式。
• 构建一个统一的深度学习框架，联合优化点检测与点链接，实现端到端训练。
• 在不使用数据增强的情况下，仅通过单模型与单尺度实现最先进检测性能。
• 在People-Art等分布外数据集上展示泛化能力，验证其超越标准基准的鲁棒性。

提出的方法

• 将每个物体表示为点对集合：一个中心点与一个角点（如左上角、右下角）。
• 使用全卷积网络，为特征图上的每个网格预测中心点与角点的置信度、偏移量及链接得分。
• 采用联合损失函数，同时优化点检测与点链接任务。
• 从预测的点对重构候选边界框，并应用非极大值抑制生成最终检测结果。
• 融合来自不同角点-中心点对的多个边界框，以提升鲁棒性并减少漏检。
• 利用每个物体最多四个点对，通过投票机制实现精细化优化，增强检测可靠性。

实验结果

研究问题

• RQ1 与传统边界框回归相比，基于点的物体边界框表示是否能提升对遮挡及尺度/长宽比变化的鲁棒性？
• RQ2 点检测与链接的端到端学习是否能带来在标准基准上的更好泛化能力与性能表现？
• RQ3 仅通过一个联合损失函数训练点检测与链接的深度神经网络，是否能在不使用数据增强的情况下超越Faster R-CNN、YOLO与SSD等成熟检测器？
• RQ4 所提出的框架在具有独特视觉风格的分布外数据集（如People-Art）上泛化能力如何？
• RQ5 在多个角点-中心点对之间采用投票机制，能在多大程度上提升检测准确率与鲁棒性？

主要发现

• PLN采用Inception-v2架构，在不使用数据增强的情况下，于PASCAL VOC 2007与2012上实现了单模型、单尺度的最先进mAP性能。
• 在COCO test-dev2015上，PLN512达到28.9% mAP@[0.5:0.95]与48.3% mAP@0.5，优于YOLOv2、SSD512、ION与Faster R-CNN在相同设置下的表现。
• 即使不采用多尺度预测，PLN512在mAP@0.5与mAP@[0.5:0.95]上仍优于SSD512，凸显所提损失函数与表示方式的有效性。
• 通过融合多个角点-中心点对生成的检测结果，显著提升了对遮挡的鲁棒性，定性对比结果清晰表明该优势。
• PLN在People-Art数据集上表现优异，达到47% AP，超越YOLO（45%）与R-CNN（26%），展现出强大的领域泛化能力。
• 该模型在各类物体类别及具有挑战性的场景（如尺度变化与部分遮挡）下均保持高性能。