[论文解读] Real-time Detection, Tracking, and Classification of Moving and Stationary Objects using Multiple Fisheye Images

Iljoo Baek, Albert Davies+3 more|arXiv (Cornell University)|Mar 16, 2018

Video Surveillance and Tracking Methods参考文献 12被引用 6

一句话总结

本文提出了一种基于安装在车辆上的四台鱼眼摄像头的实时系统，用于检测、跟踪和分类移动及静止物体。通过将鱼眼图像流合并为单一视频流，并结合基于CPU的运动检测与GPU加速的深度学习，该系统在真实硬件上实现了15 fps的处理速度，精度为81.1%，召回率为60.5%，无需图像去畸变或高计算开销，支持在城市环境中实现安全的低速自动驾驶。

ABSTRACT

The ability to detect pedestrians and other moving objects is crucial for an autonomous vehicle. This must be done in real-time with minimum system overhead. This paper discusses the implementation of a surround view system to identify moving as well as static objects that are close to the ego vehicle. The algorithm works on 4 views captured by fisheye cameras which are merged into a single frame. The moving object detection and tracking solution uses minimal system overhead to isolate regions of interest (ROIs) containing moving objects. These ROIs are then analyzed using a deep neural network (DNN) to categorize the moving object. With deployment and testing on a real car in urban environments, we have demonstrated the practical feasibility of the solution. The video demos of our algorithm have been uploaded to Youtube: https://youtu.be/vpoCfC724iA, https://youtu.be/2X4aqH2bMBs

研究动机与目标

• 在城市环境中实现对自动驾驶车辆周围移动和静止物体的实时检测与分类。
• 通过避免图像去畸变，并直接在CPU和GPU上处理合并的鱼眼图像流，最小化系统开销。
• 通过在预定义感兴趣区域中实现可靠的障碍物检测，支持低速自动驾驶。
• 开发一种模块化系统，可轻松集成到现有的自动驾驶车辆平台中。
• 在多种平台（x86、TI TDA2X、NVIDIA TX2）上评估性能，并开展真实环境测试。

提出的方法

• 将四路鱼眼摄像头图像流合并为单一视频序列，以降低处理复杂度。
• 通过基于CPU的光流法实现运动检测，识别移动物体并生成运动矢量。
• 基于运动矢量数据设置预定义感兴趣区域（ROIs），将处理限制在相关区域。
• 采用跟踪模块，在物体停止运动时仍能保持其存在状态，减少漏检。
• 使用GPU加速的MobileNet_v1_1.0_224模型对感兴趣区域内的物体进行实时分类。
• 在NVIDIA TX2上利用零拷贝内存技术，最小化CPU与GPU之间的数据传输延迟。

实验结果

研究问题

• RQ1 是否可以使用未经去畸变的原始鱼眼图像构建实时目标检测与分类系统？
• RQ2 在低速自动驾驶中，如何在保持高检测精度的同时最小化计算开销？
• RQ3 增加跟踪模块在牺牲精度的前提下，能在多大程度上提升检测召回率？
• RQ4 在具有高畸变的鱼眼图像上，MobileNet与Faster R-CNN在速度和精度方面表现如何比较？
• RQ5 该模块化系统是否能在计算能力各异的真实车辆平台上有效部署并完成评估？

主要发现

• 该系统在真实车辆硬件上使用MobileNet_v1_1.0_224模型实现了15 fps的处理速度，满足实时性要求。
• 引入跟踪模块后，召回率从较低水平提升至60.5%，但因对静止物体产生误报，精度下降至81.1%。
• Faster R-CNN在鱼眼图像上的精度显著降低（仅60.5%），主要由于图像边缘区域畸变严重导致检测效果差。
• 在NVIDIA TX2上使用零拷贝内存技术有效降低了数据传输延迟，提升了端到端性能。
• 模块化设计使得系统可轻松实现各模块（检测、跟踪、分类）的集成与性能分析。
• 该系统在真实城市环境中表现出实际可行性，且在x86、TI TDA2X和NVIDIA TX2平台上的性能表现一致。