[论文解读] Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction

Bingbin Liu, Ehsan Adeli+5 more|arXiv (Cornell University)|Feb 20, 2020

Autonomous Vehicle Technology and Safety参考文献 76被引用 10

一句话总结

本文提出了一种基于图卷积的时空推理框架，用于自动驾驶中的行人意图预测，通过建模行人与场景元素在时间维度上的关系。在新的STIP数据集上达到79.10%的准确率，在JAAD数据集上达到79.28%的准确率，可提前一秒预测行人意图，通过在行人中心和位置中心两种设置下利用动态场景图，优于以往方法。

ABSTRACT

Reasoning over visual data is a desirable capability for robotics and vision-based applications. Such reasoning enables forecasting of the next events or actions in videos. In recent years, various models have been developed based on convolution operations for prediction or forecasting, but they lack the ability to reason over spatiotemporal data and infer the relationships of different objects in the scene. In this paper, we present a framework based on graph convolution to uncover the spatiotemporal relationships in the scene for reasoning about pedestrian intent. A scene graph is built on top of segmented object instances within and across video frames. Pedestrian intent, defined as the future action of crossing or not-crossing the street, is a very crucial piece of information for autonomous vehicles to navigate safely and more smoothly. We approach the problem of intent prediction from two different perspectives and anticipate the intention-to-cross within both pedestrian-centric and location-centric scenarios. In addition, we introduce a new dataset designed specifically for autonomous-driving scenarios in areas with dense pedestrian populations: the Stanford-TRI Intent Prediction (STIP) dataset. Our experiments on STIP and another benchmark dataset show that our graph modeling framework is able to predict the intention-to-cross of the pedestrians with an accuracy of 79.10% on STIP and 79.28% on ev{Joint Attention for Autonomous Driving (JAAD) dataset up to one second earlier than when the actual crossing happens. These results outperform the baseline and previous work. Please refer to http://stip.stanford.edu/ for the dataset and code.

研究动机与目标

• 通过建模行人与场景元素之间的动态交互，提升自动驾驶中行人意图预测的性能。
• 解决现有方法仅依赖行人特定特征、忽略上下文关系的局限性。
• 开发一种统一框架，能够对视觉场景中的时空关系进行推理，实现更准确、更及时的意图预测。
• 引入一个新的基准数据集STIP，专为自动驾驶场景中密集行人环境设计。
• 展示基于图的建模在捕捉复杂、相互依赖的场景动态方面对意图预测的有效性。

提出的方法

• 构建行人中心的动态场景图，其中每个行人作为节点，与其它物体及聚合全局场景特征的上下文节点相连。
• 使用图卷积网络（GCNs）建模每一帧内实例之间的空间关系。
• 在连续帧之间建立对应节点（行人与上下文节点）之间的时序连接，以捕捉动态交互的演化。
• 采用门控循环单元（GRUs）处理图嵌入特征，实现对未来的意图预测。
• 引入位置中心图变体，用于预测行人出现在车辆前方的可能性，从而提升自动驾驶代理的安全性。
• 采用轻量级微调策略在预训练拼接基线的特征上进行模型训练，将内存占用和训练时间减少约90%。

实验结果

研究问题

• RQ1 基于图的时空推理是否能超越仅依赖行人特定特征的模型，在行人意图预测上实现性能提升？
• RQ2 建模行人与场景元素（如车辆、交通灯、斑马线）之间的交互，对预测准确率和时序领先时间有何影响？
• RQ3 与单前视摄像头输入相比，引入多摄像头输入在多大程度上提升了意图预测性能？
• RQ4 轻量级图微调策略是否能在显著降低计算成本的同时保持高性能？
• RQ5 该模型在真实驾驶环境中不同时间预测范围和场景密度下的泛化能力如何？

主要发现

• 所提出的时空图模型在STIP数据集上达到79.10%的准确率，可提前一秒预测行人意图。
• 在JAAD基准上，模型达到79.28%的准确率，同样可提前一秒预测，优于以往方法。
• 使用全部三台摄像头（左、前、右）的输入性能优于单摄像头输入，当观测4秒并预测2秒后，准确率达到81.73%。
• 即使在更长的预测时域下，模型仍保持高性能，在观测4秒后预测3秒后意图时，STIP数据集上的准确率达到80.32%。
• 位置中心图变体在单次预训练基线特征上微调后，30帧（1秒）内的平均准确率达到86.38%，且仅使用1/10的GPU内存。
• 性能置信度随时间单调下降，但多摄像头输入可稳定预测结果，尤其在长时预测中表现更优，表明其提供了更丰富的上下文线索。