[论文解读] SVG-Net: An SVG-based Trajectory Prediction Model

Mohammadhossein Bahari, Vahid Zehtab+4 more|arXiv (Cornell University)|Oct 7, 2021

Autonomous Vehicle Technology and Safety参考文献 23被引用 4

一句话总结

SVG-Net 提出使用可缩放矢量图形（SVG）作为车辆轨迹预测的标准化、结构保持的输入格式，利用基于 Transformer 的编码器-解码器网络来建模场景上下文和智能体交互。在 Argoverse 数据集上的评估显示，SVG-Net 实现了最先进性能，FDE 为 3.25，ADE 为 1.46，证明了 SVG 作为可泛化、可重用的轨迹预测表示方法的有效性。

ABSTRACT

Anticipating motions of vehicles in a scene is an essential problem for safe autonomous driving systems. To this end, the comprehension of the scene's infrastructure is often the main clue for predicting future trajectories. Most of the proposed approaches represent the scene with a rasterized format and some of the more recent approaches leverage custom vectorized formats. In contrast, we propose representing the scene's information by employing Scalable Vector Graphics (SVG). SVG is a well-established format that matches the problem of trajectory prediction better than rasterized formats while being more general than arbitrary vectorized formats. SVG has the potential to provide the convenience and generality of raster-based solutions if coupled with a powerful tool such as CNNs, for which we introduce SVG-Net. SVG-Net is a Transformer-based Neural Network that can effectively capture the scene's information from SVG inputs. Thanks to the self-attention mechanism in its Transformers, SVG-Net can also adequately apprehend relations amongst the scene and the agents. We demonstrate SVG-Net's effectiveness by evaluating its performance on the publicly available Argoverse forecasting dataset. Finally, we illustrate how, by using SVG, one can benefit from datasets and advancements in other research fronts that also utilize the same input format. Our code is available at https://vita-epfl.github.io/SVGNet/.

研究动机与目标

• 为解决轨迹预测中栅格化表示和非标准矢量表示的局限性。
• 提出 SVG 作为一种标准化、结构保持且通用的场景上下文表示格式，用于自动驾驶。
• 开发一种神经网络架构（SVG-Net），通过自注意力机制有效学习 SVG 输入。
• 通过采用如 SVG 这类通用输入格式，实现知识迁移和预训练模型在视觉任务间的复用。
• 证明基于 SVG 的表示方法可在轨迹预测中实现高性能与泛化能力。

提出的方法

• 使用可缩放矢量图形（SVG）表示场景上下文，这是一种标准化的矢量格式，可保留结构信息。
• 设计基于 Transformer 的编码器-解码器架构 SVG-Net，其中场景和智能体历史分别使用独立的编码器。
• 使用场景编码器将 SVG 路径嵌入潜在表示，捕捉几何与空间上下文。
• 采用残差 MLP 对智能体运动历史进行编码，生成潜在嵌入。
• 在解码器中应用自注意力机制，以建模智能体与场景元素之间的复杂交互。
• 在 SVG-Icons8 数据集上进行预训练后，对模型在 Argoverse 预测数据集上进行微调，以评估其可迁移性。

实验结果

研究问题

• RQ1 标准化矢量格式如 SVG 是否能在轨迹预测中超越栅格化或专有矢量表示？
• RQ2 基于 Transformer 的模型在多大程度上能从 SVG 输入中学习场景上下文与智能体交互的推理？
• RQ3 从 SVG 数据中学习到的表示在多大程度上可迁移至下游轨迹预测任务？
• RQ4 使用 SVG 作为输入是否能提升预训练模型在视觉任务间的一般化与复用能力？
• RQ5 SVG-Net 是否能在保持可解释性（通过注意力可视化）的同时实现具有竞争力的性能？

主要发现

• SVG-Net 在 Argoverse 验证集上实现 FDE 3.25 和 ADE 1.46，表现出强大的预测性能。
• 在 SVG-Icons8 数据集上预训练后，迁移模型实现 FDE 3.42 和 ADE 1.51，显示出强大的泛化能力。
• 模型在下游 SVG 图像分类任务中表现良好（准确率 72.2%），与 ResNet-18（73.0%）相当，表明其具备良好的可迁移性。
• 定性注意力可视化结果表明，模型能正确关注相关场景元素（如车道）和交互智能体。
• 消融实验确认了场景编码器和解码器中交互建模机制对最优性能的重要性。
• 结果表明，SVG 可作为可行的标准化输入格式，支持计算机视觉任务间的知识共享。