[论文解读] Robust Real-time Pedestrian Detection in Aerial Imagery on Jetson TX2

Mohamed Afifi, Yara Ali+3 more|arXiv (Cornell University)|May 16, 2019

Advanced Neural Network Applications参考文献 11被引用 6

一句话总结

本文提出了一种用于航空影像的鲁棒、实时行人检测框架，基于YOLO目标检测网络，经过优化后可在Jetson TX2嵌入式平台上实现超过5 FPS的运行速度。该方法采用预训练模型而无需微调，在ERTI挑战数据集上实现了约81 mAP的性能，适用于无人机的监控与监视应用中的高效部署。

ABSTRACT

Detection of pedestrians in aerial imagery captured by drones has many applications including intersection monitoring, patrolling, and surveillance, to name a few. However, the problem is involved due to continuouslychanging camera viewpoint and object appearance as well as the need for lightweight algorithms to run on on-board embedded systems. To address this issue, the paper proposes a framework for pedestrian detection in videos based on the YOLO object detection network [6] while having a high throughput of more than 5 FPS on the Jetson TX2 embedded board. The framework exploits deep learning for robust operation and uses a pre-trained model without the need for any additional training which makes it flexible to apply on different setups with minimum amount of tuning. The method achieves ~81 mAP when applied on a sample video from the Embedded Real-Time Inference (ERTI) Challenge where pedestrians are monitored by a UAV.

研究动机与目标

• 实现无人机拍摄的航空视频中实时行人检测。
• 解决无人机影像中动态相机视角和行人外观差异带来的挑战。
• 为车载嵌入式系统（如Jetson TX2）开发轻量化、可部署的解决方案。
• 通过使用预训练模型，在最小调优下实现高精度。

提出的方法

• 该框架基于YOLO目标检测网络，以其速度和效率著称。
• 使用未经目标数据集额外训练的预训练YOLO模型。
• 系统针对Jetson TX2进行优化，该平台为低功耗嵌入式GPU。
• 该方法可实时处理视频流，保持超过5 FPS的高吞吐量。
• 通过预训练权重隐式利用迁移学习，确保在多样化航空场景中的鲁棒性。
• 架构设计旨在最小化超参数调优，实现不同无人机配置下的快速部署。

实验结果

研究问题

• RQ1 未经目标数据集微调的预训练YOLO模型能否在航空影像中实现鲁棒的行人检测？
• RQ2 基于YOLO的检测在Jetson TX2平台上处理无人机视频流时，其实时推理性能如何？
• RQ3 该方法在航空场景中面对不同相机视角和行人外观时，如何保持高精度？
• RQ4 轻量化模型在嵌入式硬件上以超过5 FPS的速度运行时，其mAP能达到多高？

主要发现

• 该系统在ERTI挑战航空视频数据集上实现了约81%的平均精度均值（mAP）。
• 该框架在Jetson TX2上保持了超过5帧/秒的实时推理吞吐量。
• 该方法在无需重新训练或大量超参数调优的情况下，可在多样化航空条件下稳定运行。
• 使用预训练模型可实现不同基于无人机的监控与监视应用的快速部署。
• 该解决方案在真实世界航空视频序列中，对不同相机角度和行人外观表现出强大的泛化能力。