[论文解读] RAPiD: Rotation-Aware People Detection in Overhead Fisheye Images

Zhihao Duan, M. Ozan Tezcan+3 more|ArXiv.org|May 23, 2020

Video Surveillance and Tracking Methods参考文献 32被引用 4

一句话总结

RAPiD 是一种端到端的、具备旋转感知能力的人体检测方法，适用于俯视鱼眼图像。该方法采用全卷积神经网络，通过一种新颖的周期性损失函数回归任意方向的边界框，实现角度预测。在三个数据集上，包括一个新提出的具有挑战性的数据集（CEPDOF），其性能优于当前最先进方法，准确率更高，且相比标准 YOLO 没有增加计算开销。

ABSTRACT

Recent methods for people detection in overhead, fisheye images either use radially-aligned bounding boxes to represent people, assuming people always appear along image radius or require significant pre-/post-processing which radically increases computational complexity. In this work, we develop an end-to-end rotation-aware people detection method, named RAPiD, that detects people using arbitrarily-oriented bounding boxes. Our fully-convolutional neural network directly regresses the angle of each bounding box using a periodic loss function, which accounts for angle periodicities. We have also created a new dataset with spatio-temporal annotations of rotated bounding boxes, for people detection as well as other vision tasks in overhead fisheye videos. We show that our simple, yet effective method outperforms state-of-the-art results on three fisheye-image datasets. Code and dataset are available at http://vip.bu.edu/rapid .

研究动机与目标

• 解决标准目标检测模型在俯视鱼眼图像上因径向畸变和非直立人体姿态导致的性能不佳问题。
• 克服现有方法依赖径向对齐或复杂预/后处理来处理旋转人体的局限性。
• 开发一种端到端的深度学习模型，无需对姿态或方向做任何假设，即可预测任意方向的边界框。
• 提出一个新的、具有挑战性的数据集（CEPDOF），涵盖多种真实世界场景，如遮挡、戴帽子、低光照条件，以更好地评估检测的鲁棒性。
• 在智能建筑中实现高精度、实时的人体检测，利用鱼眼摄像头支持占用感知和安防等应用。

提出的方法

• 扩展 YOLOv3 以通过回归每个人物的中心点、宽度、高度和角度来预测旋转后的边界框。
• 引入一种周期性损失函数，利用正弦和余弦表示来反映角度空间的循环特性，避免在 ±π 处出现不连续性。
• 采用受限的角度范围 [−π, π)，并使用具有对称性感知的头部结构，强制预测的宽度 < 高度，以确保边界框表示的唯一性。
• 通过每张图像仅一次前向传播的方式端到端训练网络，避免了多步推理或如先前方法中对图像进行旋转的处理。
• 在鱼眼图像专用数据上微调模型，以提升相对于标准图像预训练权重的性能。
• 应用数据增强和与类别无关的头部结构，实现单类别人体检测，以提升推理速度并聚焦于人体特异性特征。

实验结果

研究问题

• RQ1 单阶段、端到端的深度学习模型是否能有效利用任意方向边界框在俯视鱼眼图像中检测人体？
• RQ2 与标准的 L1/L2 回归相比，用于角度回归的周期性损失函数是否在准确性和对角度不连续性的鲁棒性方面表现更优？
• RQ3 与现有方法相比，该方法在遮挡、异常姿态和低光照等具有挑战性的现实场景下的表现如何？
• RQ4 在鱼眼图像数据上对标准目标检测模型进行微调，能在不增加推理复杂度的前提下显著提升性能吗？
• RQ5 一个包含时空标注的旋转边界框的新数据集，能否实现对鱼眼环境中人体检测更优的评估与基准测试？

主要发现

• 在 HABBOF 数据集上，RAPiD 使用周期性 L1 损失实现 88.9% 的 AP50，优于次佳方法 1.9 个百分点。
• 在 CEPDOF 数据集上，RAPiD 在 1024×1024 分辨率的正常光照视频中实现 97.6% 的 AP50，高活跃度和午餐会议场景下的 F-measure 超过 0.96。
• 在低光照条件下性能显著下降（例如 All-off 视频中 AP50 为 52.8%），但在红外照明下提升至 65.6%，表明对可见度敏感。
• 网络始终预测宽度 < 高度（平均宽高比 >1），验证了对称性假设，确保了边界框表示的唯一性。
• 周期性损失函数降低了角度预测误差，实现了对非径向和非直立姿态的准确检测，如定性对比所示。
• RAPiD 保持了与标准 YOLO 相当的推理速度，每张图像仅需一次前向传播，避免了先前方法所需的 24 次 YOLO 推理。