[论文解读] VectorFlow: Combining Images and Vectors for Traffic Occupancy and Flow Prediction

Xin Huang, Xiao Yu Tian+3 more|arXiv (Cornell University)|Aug 9, 2022

Traffic Prediction and Management Techniques被引用 6

一句话总结

本文提出VectorFlow，一种新颖的占用率与流量预测模型，通过交叉注意力机制融合栅格化图像与矢量化轨迹/地图表示。结合VGG-16与VectorNet编码器并采用多阶段特征融合，该模型在遮挡占用率与流量预测任务中达到最先进性能，在Waymo开放数据集挑战赛中排名第三，遮挡指标显著提升。

ABSTRACT

Predicting future behaviors of road agents is a key task in autonomous driving. While existing models have demonstrated great success in predicting marginal agent future behaviors, it remains a challenge to efficiently predict consistent joint behaviors of multiple agents. Recently, the occupancy flow fields representation was proposed to represent joint future states of road agents through a combination of occupancy grid and flow, which supports efficient and consistent joint predictions. In this work, we propose a novel occupancy flow fields predictor to produce accurate occupancy and flow predictions, by combining the power of an image encoder that learns features from a rasterized traffic image and a vector encoder that captures information of continuous agent trajectories and map states. The two encoded features are fused by multiple attention modules before generating final predictions. Our simple but effective model ranks 3rd place on the Waymo Open Dataset Occupancy and Flow Prediction Challenge, and achieves the best performance in the occluded occupancy and flow prediction task.

研究动机与目标

• 为解决在拥挤城市场景中高效预测多个道路参与者一致联合行为的挑战。
• 通过结合交通场景的栅格化与矢量化表示，提升预测精度，尤其是对被遮挡参与者的预测。
• 开发一种可扩展且高效的时空占用率流量场预测模型，且不依赖于参与者的数量。
• 在遮挡占用率与流量预测任务中超越现有方法，这是自动驾驶领域中一个关键但研究不足的挑战。
• 展示图像与矢量表示之间交叉注意力融合在行为预测中的有效性。

提出的方法

• 模型使用VGG-16编码器提取栅格化图像特征，使用VectorNet编码器提取矢量化轨迹与地图特征。
• 交叉注意力模块在多个空间尺度上将矢量化特征与VGG-16最后两阶段的特征进行融合。
• 通过FPN风格网络上采样特征图，以保留空间分辨率并实现多尺度融合。
• 融合后的特征通过两个3×3卷积层生成128通道的特征图，供解码器使用。
• 单个2D卷积解码器生成8×4输出特征图（8个目标点 × 4个维度：占用率与流量）。
• 损失函数结合了观测与遮挡占用率的交叉熵损失（系数α=β=1000）以及流量预测的L2损失（γ=1）。

实验结果

研究问题

• RQ1 结合栅格化图像与矢量化轨迹/地图数据是否能提升多个道路参与者的联合行为预测性能？
• RQ2 图像与矢量表示之间的交叉注意力融合是否能增强遮挡占用率与流量预测的性能？
• RQ3 在Waymo开放数据集中，所提模型在可扩展性与准确性方面与最先进方法相比如何？
• RQ4 特征融合在多大程度上提升了预测性能，尤其是对被遮挡参与者的预测？
• RQ5 是否可通过简单、端到端的注意力融合模型实现具有竞争力的结果，而无需复杂架构？

主要发现

• VectorFlow在Waymo开放数据集的三项指标中表现最佳：遮挡占用率的AUC与Soft IoU，以及观测占用率的Soft IoU。
• 该模型在Waymo开放数据集占用率与流量预测挑战赛中总排名第三。
• 与仅使用VGG的变体相比，引入矢量化表示使遮挡AUC提升24.46%，遮挡Soft IoU提升47.06%。
• VectorFlow在遮挡占用率上的AUC达到0.174，Soft IoU为0.045，显著优于大多数基线模型。
• 流量预测的终点误差（EPE）为3.603，优于大多数竞争对手，仅略逊于Look Around模型。
• 消融实验证实，矢量化表示的融合对性能提升至关重要，尤其在具有挑战性的遮挡场景中。