[论文解读] Segmentation is All You Need

Zehua Cheng, Yuxiang Wu+3 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Neural Network Applications参考文献 24被引用 15

一句话总结

本文提出 WSMA-Seg，这是首个利用分割模型实现鲁棒检测的无锚点、无非极大值抑制（NMS）目标检测框架。通过结合弱监督边界框的多模态标注与基于运行数据的轮廓追踪算法，WSMA-Seg 在 MS COCO、WIDER Face 和 Rebar Head 数据集上实现了最先进性能，其在准确率和鲁棒性方面优于现有检测器，尤其在遮挡和小物体检测等极端条件下表现突出。

ABSTRACT

Region proposal mechanisms are essential for existing deep learning approaches to object detection in images. Although they can generally achieve a good detection performance under normal circumstances, their recall in a scene with extreme cases is unacceptably low. This is mainly because bounding box annotations contain much environment noise information, and non-maximum suppression (NMS) is required to select target boxes. Therefore, in this paper, we propose the first anchor-free and NMS-free object detection model called weakly supervised multimodal annotation segmentation (WSMA-Seg), which utilizes segmentation models to achieve an accurate and robust object detection without NMS. In WSMA-Seg, multimodal annotations are proposed to achieve an instance-aware segmentation using weakly supervised bounding boxes; we also develop a run-data-based following algorithm to trace contours of objects. In addition, we propose a multi-scale pooling segmentation (MSP-Seg) as the underlying segmentation model of WSMA-Seg to achieve a more accurate segmentation and to enhance the detection accuracy of WSMA-Seg. Experimental results on multiple datasets show that the proposed WSMA-Seg approach outperforms the state-of-the-art detectors.

研究动机与目标

• 解决区域建议网络在遮挡、光照不足和小物体等极端检测场景下的局限性。
• 消除对非极大值抑制（NMS）和锚点框超参数的依赖，这些是可扩展检测框架中的瓶颈。
• 通过利用像素级分割标注而非边界框标注，提升检测的鲁棒性与准确性。
• 开发一种新型分割主干网络 MSP-Seg，以增强多尺度与小物体检测性能。
• 通过多模态标注设计，仅使用弱监督边界框标注实现实例感知分割。

提出的方法

• 将弱监督边界框标注转换为三通道多模态标注，分别表示内部区域、边界区域和边界与内部交叠区域，用于分割监督。
• 使用多模态标注训练分割模型，学习编码实例感知目标结构的多模态热力图。
• 应用基于运行数据的追踪算法，从学习到的分割图中追踪目标轮廓，实现精确轮廓检测。
• 将追踪轮廓的外接四边形作为最终目标检测框输出，从而无需使用 NMS。
• 集成多尺度池化分割（MSP-Seg）模型作为基础主干网络，以提升分割精度，尤其针对小物体和复杂目标。
• 在推理过程中，使用像素级逻辑运算将热力图转换为实例感知分割图。

实验结果

研究问题

• RQ1 能否在不依赖锚点框或 NMS 的情况下实现高性能目标检测框架？
• RQ2 能否通过从弱监督边界框中提取的多模态标注实现准确的实例感知分割？
• RQ3 基于运行数据的轮廓追踪算法能否在无需 NMS 的情况下，有效从分割图中恢复目标边界？
• RQ4 多尺度池化机制是否能提升小物体和遮挡物体的分割与检测性能？
• RQ5 无 NMS、无锚点的检测框架能否在极端检测场景中超越最先进检测器？

主要发现

• WSMA-Seg 在 MS COCO 测试开发集上达到 38.1 的平均精度（AP），超越所有最先进基线模型，包括使用 TDM 的 Faster R-CNN 和 CornerNet511。
• 在 MS COCO 数据集中，WSMA-Seg 对小物体（AP^s）的 AP 达到 22.5，显著优于最佳基线模型（17.0），在该极具挑战性的类别中表现突出。
• 在 WIDER Face 数据集中，WSMA-Seg 的 F1 分数分别为 94.70（易）、93.41（中）和 87.23（难），超过所有对比的最先进方法。
• WSMA-Seg 在 MS COCO 上的平均召回率（AR^1）达到 35.2，显著优于次优方法（33.9）。
• MSP-Seg 主干网络显著提升了检测精度，尤其在小物体和复杂场景中，表现为 AP^s 和 AR^s 指标明显改善。
• WSMA-Seg 的无 NMS 设计消除了 IoU 阈值超参数调优的需求，提升了在极端情况下的可扩展性与鲁棒性。