[论文解读] V2X-Seq: A Large-Scale Sequential Dataset for Vehicle-Infrastructure Cooperative Perception and Forecasting

Haibao Yu, Wenxian Yang+12 more|arXiv (Cornell University)|May 10, 2023

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

V2X-Seq 提供了首个大规模真实世界序列数据集，用于车辆-基础设施协同（VIC）感知与预测，包含15,000帧用于感知任务，210,000个场景用于轨迹预测，数据覆盖672小时。本文提出了三项新任务——VIC3D追踪、在线-VIC预测与离线-VIC预测，并建立了基准。实验表明，融合基础设施数据可提升追踪与预测性能，其中FF-Tracking在300ms延迟下相较早期融合方法实现最高4%的MOTA提升。

ABSTRACT

Utilizing infrastructure and vehicle-side information to track and forecast the behaviors of surrounding traffic participants can significantly improve decision-making and safety in autonomous driving. However, the lack of real-world sequential datasets limits research in this area. To address this issue, we introduce V2X-Seq, the first large-scale sequential V2X dataset, which includes data frames, trajectories, vector maps, and traffic lights captured from natural scenery. V2X-Seq comprises two parts: the sequential perception dataset, which includes more than 15,000 frames captured from 95 scenarios, and the trajectory forecasting dataset, which contains about 80,000 infrastructure-view scenarios, 80,000 vehicle-view scenarios, and 50,000 cooperative-view scenarios captured from 28 intersections' areas, covering 672 hours of data. Based on V2X-Seq, we introduce three new tasks for vehicle-infrastructure cooperative (VIC) autonomous driving: VIC3D Tracking, Online-VIC Forecasting, and Offline-VIC Forecasting. We also provide benchmarks for the introduced tasks. Find data, code, and more up-to-date information at \href{https://github.com/AIR-THU/DAIR-V2X-Seq}{https://github.com/AIR-THU/DAIR-V2X-Seq}.

研究动机与目标

• 解决自动驾驶领域中车辆-基础设施协同（VIC）感知与预测缺乏真实世界序列数据集的问题。
• 通过提供大规模真实世界数据集并同步多模态数据，推动协同追踪与行为预测研究。
• 提出三项新任务——VIC3D追踪、在线-VIC预测与离线-VIC预测，以推进基于VIC的自动驾驶系统发展。
• 基于来自28个路口的672小时真实世界数据，建立公平的基准以评估VIC感知与预测模型。
• 开发并验证一种新型FF-Tracking框架，提升在可变延迟条件下的追踪鲁棒性。

提出的方法

• 从95个真实世界场景中采集并标注大规模序列化V2X数据集（V2X-Seq），包含基础设施与车辆侧图像、点云、3D检测结果、矢量地图及交通灯信号。
• 设计并实现三项新任务：VIC3D追踪（协同3D目标追踪）、在线-VIC预测（利用实时基础设施与本车数据进行行为预测）与离线-VIC预测（从历史基础设施数据中蒸馏知识）。
• 提出FF-Tracking，一种基于晚期融合的框架，通过在特征层面融合车辆与基础设施输入，提升追踪精度与延迟鲁棒性。
• 开发PP-VIC，一种分层感知-预测框架，在将轨迹输入TNT与HiVT等轨迹模型前，融合基础设施与本车轨迹。
• 在80,000条基础设施视角轨迹上预训练轨迹预测模型（TNT、HiVT），以提取适用于离线预测的通用知识。
• 在轨迹预测数据集上采用5:2:3的训练/验证/测试划分，确保所有基线方法与所提方法的公平评估。

Figure 1 : Autonomous driving datasets. V2X-Seq is the first large-scale, real-world, and sequential V2X dataset. The green circle denotes the real-world dataset, and the pink triangle denotes the simulated dataset. The abscissa represents the number of sequences.

实验结果

研究问题

• RQ1 基础设施数据能否显著提升协同感知系统中3D目标追踪的准确率与鲁棒性？
• RQ2 相较于仅依赖本车数据的模型，实时访问基础设施轨迹在多大程度上能提升在线轨迹预测性能？
• RQ3 从历史基础设施轨迹中提取的知识能否改善离线轨迹预测性能？
• RQ4 在不同延迟条件下，所提出的FF-Tracking框架与早期融合基线相比，追踪性能如何？
• RQ5 在仅基于基础设施的轨迹上进行预训练，对提升下游预测模型泛化能力有何影响？

主要发现

• 在300ms延迟下，FF-Tracking相较早期融合方法在MOTA上最高提升4%，证明其对通信延迟具有更强鲁棒性。
• 在200ms延迟下，FF-Tracking实现最佳追踪性能，证实其在实时协同感知中的有效性。
• 使用在线基础设施轨迹可使minADE降低3.74（TNT）与0.28（HiVT），相较于仅本车数据基线，证明其在实时预测中的价值。
• 在80,000条基础设施视角轨迹上进行预训练，可使TNT的minADE降低7.65，HiVT降低0.03，表明离线知识提取具有显著优势。
• PP-VIC框架的minADE与minFDE均低于仅本车数据模型，证实融合基础设施与车辆轨迹可提升预测精度。
• V2X-Seq数据集实现了首次大规模真实世界VIC感知与预测评估，涵盖50,000个协同视角场景与672小时数据，为该领域树立了新基准。

Figure 2 : Total number and average tracking length of 3D tracked objects per category for the sequential perception dataset (SPD). The distribution of tracked objects is relatively balanced.