[论文解读] Object Detection in Equirectangular Panorama

Wenyan Yang, Yanlin Qian+3 more|arXiv (Cornell University)|May 21, 2018

Advanced Vision and Imaging参考文献 12被引用 10

一句话总结

本文提出了一种用于360°目标检测的高分辨率等距投影全景图数据集，并提出了一种多投影YOLO检测器，以解决几何失真和高计算需求的问题。通过使用立体投影子区域和软性非极大值抑制，该方法在低分辨率输入下实现了最先进（SOTA）的检测精度，优于Faster R-CNN和标准YOLO在新基准上的表现。

ABSTRACT

We introduced a high-resolution equirectangular panorama (360-degree, virtual reality) dataset for object detection and propose a multi-projection variant of YOLO detector. The main challenge with equirectangular panorama image are i) the lack of annotated training data, ii) high-resolution imagery and iii) severe geometric distortions of objects near the panorama projection poles. In this work, we solve the challenges by i) using training examples available in the "conventional datasets" (ImageNet and COCO), ii) employing only low-resolution images that require only moderate GPU computing power and memory, and iii) our multi-projection YOLO handles projection distortions by making multiple stereographic sub-projections. In our experiments, YOLO outperforms the other state-of-art detector, Faster RCNN and our multi-projection YOLO achieves the best accuracy with low-resolution input.

研究动机与目标

• 解决等距全景图中360°目标检测缺乏标注数据集的问题。
• 克服等距投影在极地区域产生的严重几何失真对目标检测的影响。
• 通过降低输入分辨率，在不损失精度的前提下，实现在低端硬件上的高效目标检测。
• 在新构建的360°数据集上对最先进检测器（Faster R-CNN、YOLOv2）进行基准测试，评估其在真实VR环境下的性能表现。
• 开发一种多投影YOLO变体，通过立体投影子区域和优化后处理流程提升检测精度。

提出的方法

• 从用户上传的4K YouTube VR视频中构建了一个包含903帧和7,199个标注对象的高分辨率等距投影全景图数据集。
• 采用标准的BFOV（视场边界）标注协议进行标注，并对靠近相机的物体进行人工校正，以减少标注歧义。
• 提出一种多投影YOLO（m-p YOLO），将等距投影图像划分为多个立体投影子区域，以减轻失真影响。
• 应用带有重叠惩罚项和距离惩罚项（σ₁, σ₂）的软性非极大值抑制（soft-NMS），以提升跨投影检测结果的一致性。
• 在常规数据集（ImageNet、COCO）上预训练检测器，并在新360°数据集上使用低分辨率输入（如608×608）进行微调，以减少GPU显存占用。
• 使用IoU阈值为0.5和0.4的mAP评估性能，并对惩罚参数和后处理方法进行消融实验。

实验结果

研究问题

• RQ1 在标准检测器于常规数据集上训练后，其在等距全景图上的目标检测性能如何？
• RQ2 等距投影中的几何失真在多大程度上会降低目标检测精度，尤其是在极地区域？
• RQ3 多投影YOLO架构在保持低计算成本的同时，能否有效缓解由失真引起性能下降的问题？
• RQ4 与标准NMS相比，使用学习得到的惩罚项的软性非极大值抑制在多投影检测中效果如何？
• RQ5 降低输入分辨率是否会导致检测精度下降？在资源受限环境下，多投影策略能否有效补偿这一损失？

主要发现

• 多投影YOLO（m-p YOLO）在IoU阈值为0.5时达到34.29的mAP，显著优于标准YOLOv2（mAP 30.90）和Faster R-CNN（mAP 26.31）在低分辨率输入下的表现。
• 在优化的惩罚参数（σ₁=0.3, σ₂=0.6）下，m-p YOLO在IoU 0.5时达到最高mAP 34.29，优于标准NMS及其他参数配置。
• 当IoU阈值放宽至0.4时，m-p YOLO的mAP达到43.37，表明其对等距投影中固有的失真导致的重叠挑战具有更强的鲁棒性。
• 在相同分辨率下，m-p YOLO的检测精度优于全全景图YOLO，表明子区域处理能有效减轻失真影响。
• 使用窗口推理的m-p YOLO在相同分辨率下优于全全景图YOLO，尤其在密集场景中表现更优。
• 消融实验表明，带有学习惩罚项的软性NMS在所有配置中均优于标准NMS，最佳性能出现在σ₁=0.3, σ₂=0.6时。