[论文解读] PivotNet: Vectorized Pivot Learning for End-to-end HD Map Construction

Wenjie Ding, Limeng Qiao+2 more|arXiv (Cornell University)|Aug 31, 2023

Robotics and Sensor-Based Localization被引用 5

一句话总结

PivotNet 提出了一种端到端的集合预测框架，用于基于动态、几何鲁棒的枢轴表示法进行矢量化高精地图构建。通过引入点到线掩码、动态枢轴匹配以及动态矢量化序列损失，其在 nuScenes 数据集上的性能达到当前最先进水平，mAP 提升 5.9 个百分点。

ABSTRACT

Vectorized high-definition map online construction has garnered considerable attention in the field of autonomous driving research. Most existing approaches model changeable map elements using a fixed number of points, or predict local maps in a two-stage autoregressive manner, which may miss essential details and lead to error accumulation. Towards precise map element learning, we propose a simple yet effective architecture named PivotNet, which adopts unified pivot-based map representations and is formulated as a direct set prediction paradigm. Concretely, we first propose a novel point-to-line mask module to encode both the subordinate and geometrical point-line priors in the network. Then, a well-designed pivot dynamic matching module is proposed to model the topology in dynamic point sequences by introducing the concept of sequence matching. Furthermore, to supervise the position and topology of the vectorized point predictions, we propose a dynamic vectorized sequence loss. Extensive experiments and ablations show that PivotNet is remarkably superior to other SOTAs by 5.9 mAP at least. The code will be available soon.

研究动机与目标

• 解决栅格化地图表示法的局限性，后者内存占用高且忽略地图元素之间的几何关系。
• 克服现有方法中固定点表示法的缺陷，后者在曲线和拐角等复杂形状中导致信息丢失。
• 通过直接端到端预测紧凑的矢量化地图元素，消除后处理过程中的误差累积。
• 开发一种灵活的动态表示法，能够适应不同复杂度的地图元素，同时保持几何保真度。
• 将地图构建建模为稀疏集合预测问题，以实现高效、精确且拓扑感知的枢轴点预测。

提出的方法

• 引入点到线掩码模块，通过在解码器中利用线感知注意力机制，编码从属关系与几何点线关系。
• 设计动态枢轴匹配模块，利用序列匹配机制建模动态点序列中的拓扑连接，提升预测与真实值之间的对齐。
• 提出动态矢量化序列损失，联合监督枢轴点位置与共线点，实现对几何与拓扑的端到端优化。
• 使用 BEV 特征解码器将多视角相机特征转换为统一的鸟瞰图表示，用于下游地图预测。
• 采用线感知点解码器，在最终枢轴点预测前提取强调结构化地图元素的特征。
• 应用 Visvalingam-Whyatt 算法生成作为多边形简化基线的真值枢轴点，确保评估的一致性。

实验结果

研究问题

• RQ1 具有动态枢轴表示的集合预测框架是否能在准确性和紧凑性方面优于固定点或栅格化地图学习方法？
• RQ2 序列匹配机制在建模可变长度地图元素序列中的拓扑关系方面效果如何？
• RQ3 与标准检测或分割损失相比，所提出的动态矢量化序列损失在位置与拓扑监督方面提升程度如何？
• RQ4 点到线掩码与动态匹配的结合是否能提升在夜间、雨天及城市交叉口等多样化驾驶条件下的泛化能力？
• RQ5 该方法是否能在无需后处理的情况下实现高性能，同时保持几何保真度与表达紧凑性？

主要发现

• PivotNet 在 nuScenes 基准测试中达到 43.3% 的 mAP，相比之前 SOTA 方法提升 5.9 mAP。
• 即使在夜间和强降雨等挑战性条件下，模型仍保持强劲性能，展现出对环境变化的鲁棒性。
• 消融实验表明，增加 BEV 编码器层数可使 mAP 从 (1,1) 的 36.0% 提升至 (6,6) 的 44.3%，表明深层特征学习具有优势。
• 车道分隔线、人行横道与路缘边界元素的最大实例数分别为 (20,25,15) 时性能趋于饱和，证实了最优容量设置。
• 车道分隔线的最优最大枢轴点数为 30，路缘边界为 50，超过此值性能下降，因学习负担增加。
• 定性结果表明，PivotNet 生成的矢量化地图准确、紧凑且几何鲁棒，即使在复杂曲线与交叉口处也与真值高度一致。