[论文解读] RST-MODNet: Real-time Spatio-temporal Moving Object Detection for Autonomous Driving

Mohamed Ramzy, Hazem Rashed+2 more|arXiv (Cornell University)|Dec 1, 2019

Advanced Neural Network Applications参考文献 38被引用 16

一句话总结

RST-MODNet 提出了一种实时、端到端的 CNN 架构，用于在自动驾驶中进行时空运动目标检测，通过融合 RGB 图像与光流图，并利用 ConvLSTM 或 GRU 集成多阶段时序感知层。该方法相比基线模型实现了 8% 的相对精度提升，推理速度达到 23 fps，是当前最先进方法的三倍，同时确保了运动掩码的时间一致性。

ABSTRACT

Moving Object Detection (MOD) is a critical task for autonomous vehicles as moving objects represent higher collision risk than static ones. The trajectory of the ego-vehicle is planned based on the future states of detected moving objects. It is quite challenging as the ego-motion has to be modelled and compensated to be able to understand the motion of the surrounding objects. In this work, we propose a real-time end-to-end CNN architecture for MOD utilizing spatio-temporal context to improve robustness. We construct a novel time-aware architecture exploiting temporal motion information embedded within sequential images in addition to explicit motion maps using optical flow images.We demonstrate the impact of our algorithm on KITTI dataset where we obtain an improvement of 8% relative to the baselines. We compare our algorithm with state-of-the-art methods and achieve competitive results on KITTI-Motion dataset in terms of accuracy at three times better run-time. The proposed algorithm runs at 23 fps on a standard desktop GPU targeting deployment on embedded platforms.

研究动机与目标

• 解决在自车运动导致静态物体感知失真的动态自动驾驶场景中，准确检测运动目标的挑战。
• 通过利用显式（光流）和隐式（时序 RGB）运动信息，提升运动分割的鲁棒性与时序一致性。
• 通过优化推理速度，设计一种适合嵌入式平台部署的实时可部署网络，同时不牺牲精度。
• 评估不同时间感知架构（早期、晚期、中间层）对运动检测性能与时序稳定性的影​​响。

提出的方法

• 构建一种时序感知的 CNN 架构，通过在多个阶段使用 ConvLSTM 或 GRU 层融合 RGB 图像与光流图，以建模时序动态。
• 实施一种多阶段融合策略，使运动特征在多个层级中被提取并逐步优化，从而随时间提升特征表示能力。
• 采用轻量级主干网络（ShuffleNet）以在标准 GPU 和嵌入式系统上保持实时推理速度。
• 通过堆叠连续帧和光流图作为网络输入，实施时间增强，实现对时空运动模式的端到端学习。
• 引入一种晚期融合策略，在最终分类层之前注入运动信息，以提升掩码的一致性。
• 通过消融实验比较时间特征在早期、晚期和中间层的融合方式，以确定在精度与速度之间达到最佳平衡的架构。

实验结果

研究问题

• RQ1 与标准的双流 RGB+光流网络相比，集成时序感知层（如 ConvLSTM）在运动分割精度与时序一致性方面有何提升？
• RQ2 在自动驾驶运动目标检测中，时间建模的最佳位置（早期、晚期或中间层）是什么？
• RQ3 将显式运动（光流）与隐式运动（时序序列）结合，与单独使用任一方式相比，能在多大程度上提升检测性能？
• RQ4 能否设计一种轻量级、端到端的网络，在保持实时推理速度的同时实现最先进精度，适用于嵌入式部署？
• RQ5 与依赖单帧或双帧运动估计的基线方法相比，所提出的架构在减少运动掩码时间不一致性方面表现如何？

主要发现

• 所提出的 RST-MODNet 在 KITTI-Motion 数据集上相比基线方法实现了 8% 的相对精度提升，证明了时空建模的有效性。
• 采用 ConvLSTM 或 GRU 的中间层时序感知架构相比 RGB+Flow 基线实现了 4% 的绝对精度增益，其中 GRU 变体因结构更简单而具备略快的推理速度。
• 该模型在标准桌面 GPU 上运行速度达到 23 fps，是当前最先进方法 SMSNet 的三倍，同时保持了相近的精度。
• 定性结果表明，所提方法在序列中生成了时序一致的运动掩码，而基线 RGB+Flow 模型则存在闪烁与不一致问题。
• 消融实验确认，时间特征的中间层融合在精度与效率之间实现了最佳平衡，优于早期和晚期融合策略。
• 将光流与多阶段时序建模相结合，显著减少了对静态物体的误检，提升了在复杂城市驾驶场景中的鲁棒性。