[论文解读] Multimodal Interaction-aware Motion Prediction for Autonomous Street Crossing

Noha Radwan, Wolfram Burgard+1 more|arXiv (Cornell University)|Aug 21, 2018

Autonomous Vehicle Technology and Safety被引用 7

一句话总结

本文提出了一种多模态、端到端的深度学习框架，融合了交通灯识别与交互感知的运动预测，以预测自动驾驶过街的安全性。通过使用空洞因果卷积进行轨迹预测，并在AtteNet中引入Squeeze-Excitation模块以实现鲁棒的特征选择，该系统在运动预测和过街安全性任务上均达到了最先进性能，并在机器人平台上完成了真实世界验证。

ABSTRACT

For mobile robots navigating on sidewalks, it is essential to be able to safely cross street intersections. Most existing approaches rely on the recognition of the traffic light signal to make an informed crossing decision. Although these approaches have been crucial enablers for urban navigation, the capabilities of robots employing such approaches are still limited to navigating only on streets containing signalized intersections. In this paper, we address this challenge and propose a multimodal convolutional neural network framework to predict the safety of a street intersection for crossing. Our architecture consists of two subnetworks; an interaction-aware trajectory estimation stream IA-TCNN, that predicts the future states of all observed traffic participants in the scene, and a traffic light recognition stream AtteNet. Our IA-TCNN utilizes dilated causal convolutions to model the behavior of the observable dynamic agents in the scene without explicitly assigning priorities to the interactions among them. While AtteNet utilizes Squeeze-Excitation blocks to learn a content-aware mechanism for selecting the relevant features from the data, thereby improving the noise robustness. Learned representations from the traffic light recognition stream are fused with the estimated trajectories from the motion prediction stream to learn the crossing decision. Furthermore, we extend our previously introduced Freiburg Street Crossing dataset with sequences captured at different types of intersections, demonstrating complex interactions among the traffic participants. Extensive experimental evaluations on public benchmark datasets and our proposed dataset demonstrate that our network achieves state-of-the-art performance for each of the subtasks, as well as for the crossing safety prediction.

研究动机与目标

• 使自主机器人能够安全穿越多样化道路交叉口，超越仅依赖信号灯的场景。
• 解决仅依赖交通灯信号进行过街决策的局限性。
• 以可扩展、端到端的方式建模行人、车辆与交通信号之间复杂且动态的交互关系。
• 通过整合运动与交通灯流的不确定性，提升对传感器噪声和误预测的鲁棒性。
• 扩展弗莱堡过街数据集，涵盖多样化的交叉口类型与环境条件。

提出的方法

• 该框架采用双流架构：基于空洞因果卷积的交互感知轨迹估计流（IA-TCNN），用于建模所有动态目标的未来轨迹。
• 交通灯识别流（AtteNet）采用Squeeze-Excitation模块，实现内容感知的特征选择，增强对噪声的鲁棒性。
• 将两路的特征图进行融合，以端到端方式训练最终的分类器，用于过街安全性预测。
• 将两个子网络的不确定性估计值整合，以提升对任一子网络错误的鲁棒性。
• 模型在公开基准数据集及扩展后的弗莱堡过街数据集（涵盖多样化交叉口类型与环境条件）上进行训练与评估。
• 在移动机器人上的真实世界部署验证了系统在实时性能与跨环境泛化能力方面的表现。

实验结果

研究问题

• RQ1 多模态深度学习框架是否能超越仅依赖交通灯信号的方式，提升自动驾驶过街的安全性预测？
• RQ2 因果卷积网络在不显式优先处理交互关系的情况下，能否有效建模复杂、多智能体的交互行为？
• RQ3 将运动预测与交通灯识别中的不确定性信息相结合，能在多大程度上提升对噪声或错误输入的鲁棒性？
• RQ4 所提出的系统是否能在包括信号灯控制、斑马线及无标记过街在内的多种交叉口类型中实现良好泛化？
• RQ5 注意力机制的特征选择（Squeeze-Excitation）在不同光照与天气条件下，能否提升交通灯识别的性能？

主要发现

• 所提出的框架在多个基准数据集上，于运动预测与过街安全性预测任务中均达到了最先进性能。
• AtteNet通过利用全局上下文与噪声鲁棒的特征选择，在交通灯识别基准上优于现有方法。
• IA-TCNN模型能够准确预测动态目标的轨迹，包括骑行人从机器人后方超车等复杂行为，通过空洞因果卷积建模交互动态。
• 融合来自两路的不确定性感知表征，显著提升了对任一子网络误预测的鲁棒性。
• 在机器人平台上的真实世界实验验证了系统具备实时推理能力，并能泛化至未见过的环境。
• 扩展后的弗莱堡过街数据集包含多样化的交叉口类型、光照、天气与交通场景，支持对系统鲁棒性的全面评估。