[论文解读] Real-time Prediction of Automotive Collision Risk from Monocular Video

Derek J. Phillips, Juan Carlos Aragon+4 more|arXiv (Cornell University)|Feb 4, 2019

Video Surveillance and Tracking Methods参考文献 32被引用 10

一句话总结

本文提出了一种实时、低成本的系统，仅使用单目视频预测汽车碰撞风险，采用模块化流水线结合基于深度学习的物体检测、基于粒子滤波的跟踪器以及基于物理原理的距离与速度估计方法。该系统在消费级硬件上实现超过5 Hz的推理速度，利用时间到碰撞（TTC）和驾驶员模型的蒙特卡洛模拟，对接下来10秒的风险进行预测，展现出在标准笔记本电脑和网络摄像头上的鲁棒性与实际可部署性。

ABSTRACT

Many automotive applications, such as Advanced Driver Assistance Systems (ADAS) for collision avoidance and warnings, require estimating the future automotive risk of a driving scene. We present a low-cost system that predicts the collision risk over an intermediate time horizon from a monocular video source, such as a dashboard-mounted camera. The modular system includes components for object detection, object tracking, and state estimation. We introduce solutions to the object tracking and distance estimation problems. Advanced approaches to the other tasks are used to produce real-time predictions of the automotive risk for the next 10 s at over 5 Hz. The system is designed such that alternative components can be substituted with minimal effort. It is demonstrated on common physical hardware, specifically an off-the-shelf gaming laptop and a webcam. We extend the framework to support absolute speed estimation and more advanced risk estimation techniques.

研究动机与目标

• 开发一种仅使用单个视频流的实时、低成本系统，用于预测汽车驾驶场景中的未来碰撞风险。
• 解决仅从单目视频中实现物体跟踪、相对距离估计和自车速度估计的挑战，同时计算开销最小化。
• 设计一种模块化、可扩展的框架，实现在现成硬件上以超过5 Hz的速度进行实时风险预测。
• 通过车道线检测和高级风险建模（基于蒙特卡洛模拟的驾驶员行为）扩展系统，实现绝对速度估计。
• 为未来在实时汽车风险预测领域的研究提供一个开源平台。

提出的方法

• 提出一种基于粒子滤波的物体跟踪器，用于在视频帧之间估计交通参与者的状态，实现在遮挡和噪声条件下的鲁棒跟踪。
• 采用基于物理原理的几何方法，利用图像中车辆的高度和已知车辆尺寸估计相对距离，避免使用基于深度学习的深度估计方法。
• 通过检测和跟踪图像中的车道线，利用其空间频率和方向推断运动，实现自车速度估计。
• 使用车辆在场景中的相对位置和速度计算时间到碰撞（TTC），作为风险的代理指标。
• 通过智能驾驶员模型（IDM）和MOBIL变道模型实现蒙特卡洛风险估计，模拟随机驾驶员行为并生成概率性风险预测。
• 系统采用多线程设计以保持实时性能，检测、跟踪、状态估计和风险计算分别使用独立的处理流水线。

实验结果

研究问题

• RQ1 仅使用消费级硬件的单目视频系统能否实现实时汽车碰撞风险预测，且帧率超过5 Hz？
• RQ2 基于粒子滤波的跟踪器结合几何距离估计方法，在驾驶场景中实现实时物体状态估计的效果如何？
• RQ3 车道线能否被可靠地用于估计自车速度，且精度足以支持风险预测？
• RQ4 与确定性的TTC方法相比，驾驶员行为的蒙特卡洛模拟在多大程度上提升了风险预测的现实感和响应速度？
• RQ5 该系统在多大程度上可实现模块化，并可无缝集成替代组件（如不同物体检测器或风险模型）而不影响实时性能？

主要发现

• 该系统在标准游戏本和网络摄像头上实现了超过5 Hz的实时性能，当使用计算量更大的蒙特卡洛风险估计器时，最终帧率约为4.9 FPS。
• 在65 km/h的速度下，基于车道线的速度估计器预测的速度比实际里程表读数低约7 km/h，该误差在符合美国里程表标准的可接受范围内。
• 粒子滤波跟踪器能够在存在部分遮挡和噪声的情况下，实现对交通参与者的稳定且精确的帧间跟踪。
• 几何距离估计方法无需立体摄像头或基于深度学习的深度网络，即可提供可靠的相对距离测量。
• 使用驾驶员模型的蒙特卡洛风险估计相比稳定、确定性的TTC风险预测，能生成更具动态性和现实感的风险预测，原因在于对车辆行为的随机模拟。
• 模块化设计使得可无缝集成替代组件（如不同物体检测器或风险模型），且代码修改极少。