[论文解读] NuScenes-QA: A Multi-modal Visual Question Answering Benchmark for Autonomous Driving Scenario

Tianwen Qian, Jingjing Chen+3 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本论文提出了 NuScenes-QA，这是首个大规模多模态视觉问答基准，专为自动驾驶设计，利用 34,000 个场景和 460,000 个基于 nuScenes 的问题-答案对构建而成，其数据源自场景图与手工设计的模板。该基准整合了多帧、多模态（图像与 LiDAR）数据，并在复杂的空间与动态推理任务上评估模型性能。消融实验表明，真实边界框显著提升模型表现，而检测得到的边界框则因检测噪声而可能降低性能。

ABSTRACT

We introduce a novel visual question answering (VQA) task in the context of autonomous driving, aiming to answer natural language questions based on street-view clues. Compared to traditional VQA tasks, VQA in autonomous driving scenario presents more challenges. Firstly, the raw visual data are multi-modal, including images and point clouds captured by camera and LiDAR, respectively. Secondly, the data are multi-frame due to the continuous, real-time acquisition. Thirdly, the outdoor scenes exhibit both moving foreground and static background. Existing VQA benchmarks fail to adequately address these complexities. To bridge this gap, we propose NuScenes-QA, the first benchmark for VQA in the autonomous driving scenario, encompassing 34K visual scenes and 460K question-answer pairs. Specifically, we leverage existing 3D detection annotations to generate scene graphs and design question templates manually. Subsequently, the question-answer pairs are generated programmatically based on these templates. Comprehensive statistics prove that our NuScenes-QA is a balanced large-scale benchmark with diverse question formats. Built upon it, we develop a series of baselines that employ advanced 3D detection and VQA techniques. Our extensive experiments highlight the challenges posed by this new task. Codes and dataset are available at https://github.com/qiantianwen/NuScenes-QA.

研究动机与目标

• 为解决自动驾驶场景中缺乏大规模、多模态、多帧 VQA 基准的问题。
• 弥合现有 VQA 基准与自动驾驶车辆街景感知在复杂真实世界需求之间的差距。
• 开发一种可扩展的、程序化的方法，从 3D 检测标注中生成多样化、均衡且真实的 VQA 数据。
• 为评估和推进室外动态驾驶环境中多模态、多帧 VQA 模型奠定基础。

提出的方法

• 从 nuScenes 中的 3D 边界框标注构建场景图，将物体表示为节点，空间关系表示为边。
• 设计一组问题模板，涵盖存在性、计数、比较和基于属性的查询，使用属性、物体和关系的参数。
• 通过从场景图中采样参数并利用几何与空间推理推断正确答案，程序化生成问题-答案对。
• 采用结合 2D 图像与 3D 点云的多模态融合框架，结合 BEV（鸟瞰图）特征提取与旋转 RoI 池化，实现空间精确的特征裁剪。
• 对裁剪后的 BEV 特征应用平均池化，以保留结构信息，在空间推理任务中表现优于最大池化。
• 集成 3D 检测模型（如 CenterPoint）与 VQA 主干网络（如 MCAN），构建强基准模型，评估真实边界框与预测边界框的影响。

实验结果

研究问题

• RQ1 在自动驾驶场景中，使用真实边界框与检测得到的 3D 边界框时，VQA 模型的性能如何变化？
• RQ2 相机与 LiDAR 数据的多模态融合在复杂街景上的 VQA 准确率提升程度如何？
• RQ3 不同的特征裁剪与池化策略对基于 BEV 的 VQA 系统性能有何影响？
• RQ4 基于场景图、模板驱动的数据生成方式对 VQA 问题格式的多样性与均衡性有何影响？
• RQ5 现有的 2D 与 3D VQA 模型能否泛化到多帧、室外、动态驾驶场景，还是需要新型架构？

主要发现

• 使用真实 3D 边界框可将 VQA 准确率从 70.8% 提升至 84.3%，证明其在空间推理中的关键作用。
• 检测得到的 3D 边界框使性能略微下降 0.6%，可能源于当前 3D 检测模型中的噪声。
• 基于旋转框的特征裁剪在整体准确率上比外接矩形裁剪高出 0.8%，尤其对长条形物体（如公交车和卡车）更有利。
• 对裁剪后的 BEV 特征采用平均池化可使准确率比最大池化高出 0.6%，表明其能更好地保留结构特征。
• 所提出的 NuScenes-QA 基准包含 34,000 个场景与 460,000 个问题-答案对，其中 377,000 个用于训练，83,000 个用于测试，确保了问题类型的广泛覆盖。
• 该基准揭示了多模态、多帧 VQA 的显著挑战，凸显了在自动驾驶中提升感知与推理模型的迫切需求。