[论文解读] Sparse4D v3: Advancing End-to-End 3D Detection and Tracking

Xuewu Lin, Zixiang Pei+3 more|arXiv (Cornell University)|Nov 20, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

Sparse4D v3 通过引入时序实例去噪、质量估计和解耦注意力机制，推进了端到端 3D 目标检测与跟踪，在 nuScenes 上实现了 SOTA 性能，使用 EVA02-Large 主干网络和未来帧融合，达到 71.9% NDS 和 67.7% AMOTA。

ABSTRACT

In autonomous driving perception systems, 3D detection and tracking are the two fundamental tasks. This paper delves deeper into this field, building upon the Sparse4D framework. We introduce two auxiliary training tasks (Temporal Instance Denoising and Quality Estimation) and propose decoupled attention to make structural improvements, leading to significant enhancements in detection performance. Additionally, we extend the detector into a tracker using a straightforward approach that assigns instance ID during inference, further highlighting the advantages of query-based algorithms. Extensive experiments conducted on the nuScenes benchmark validate the effectiveness of the proposed improvements. With ResNet50 as the backbone, we witnessed enhancements of 3.0\%, 2.2\%, and 7.6\% in mAP, NDS, and AMOTA, achieving 46.9\%, 56.1\%, and 49.0\%, respectively. Our best model achieved 71.9\% NDS and 67.7\% AMOTA on the nuScenes test set. Code will be released at \url{https://github.com/linxuewu/Sparse4D}.

研究动机与目标

• 解决由于一对一正样本匹配和稀疏采样导致的基于稀疏的 3D 检测中的不稳定性和收敛性差问题。
• 通过引入辅助训练任务（时序实例去噪和质量估计）提升检测性能。
• 通过解耦注意力机制提升注意力机制的稳定性，减少基于查询的注意力中的特征干扰。
• 在不修改训练或损失函数的前提下，将检测器扩展为端到端跟踪器，实现在推理阶段直接分配实例 ID。
• 通过架构和训练改进，在 nuScenes 基准上实现 SOTA 性能。

提出的方法

• 引入时序实例去噪作为辅助任务，以稳定正样本匹配过程并增加训练期间的正样本数量。
• 增加质量估计头以优化置信度分数，提升检测排序性能和指标表现。
• 提出解耦注意力机制，通过将查询-特征相加替换为拼接操作，减少错误注意力权重并改善特征聚合。
• 通过在推理阶段分配实例 ID，实现端到端 3D 多目标跟踪，无需单独的数据关联或跟踪头。
• 利用未来帧特征融合和 EVA02-Large 主干网络，进一步提升云环境下的推理性能。
• 在保持检测器训练不变的同时集成跟踪功能，确保无需额外微调或真实实例 ID 监督。

Figure 1: Overview of Sparse4D framework, which input mutli-view video and output the perception results of all frames.

实验结果

研究问题

• RQ1 像时序实例去噪和质量估计这样的辅助训练任务是否能改善基于稀疏的 3D 检测器的收敛性和性能？
• RQ2 解耦注意力机制是否能减少特征干扰并提升基于查询的 3D 检测中注意力图的可靠性？
• RQ3 能否在不修改训练过程或损失函数的前提下，将基于查询的 3D 检测器扩展为端到端跟踪器？
• RQ4 未来帧特征融合和更大的主干网络能在多大程度上进一步提升检测与跟踪性能？
• RQ5 所提出的框架是否在 nuScenes 基准上实现了检测与跟踪任务的 SOTA 性能？

主要发现

• 使用 ResNet50 主干网络时，Sparse4D v3 在 nuScenes 验证集上达到 46.9% mAP、56.1% NDS 和 49.0% AMOTA，相较于 Sparse4Dv2 分别提升 3.0%、2.2% 和 7.6%。
• 使用 EVA02-Large 主干网络和 8 个未来帧时，模型在 nuScenes 测试集上达到 68.2% mAP、71.9% NDS 和 67.7% AMOTA，超越部分激光雷达模型（如 TransFusion-L）的 NDS 和 mAVE 表现。
• 消融实验表明，每个组件（时序去噪、质量估计、解耦注意力）均对性能提升有贡献，其中质量估计使 mAVE 降低 0.055，AMOTA 提升 0.076。
• 解耦注意力机制能有效抑制错误注意力权重，可视化结果表明注意力不再将无关对象（如行人）与目标车辆错误关联。
• 端到端跟踪器在无需额外训练或损失函数的情况下，实现了预定义的实例到跟踪回归，证明了检测与跟踪的无缝集成。
• 未来帧融合使 mAVE 降低 5.67%，NDS 提升 3.23%；切换至 EVA02-Large 主干网络相比 ResNet101，mAP 提升 5.98%。

Figure 2: Inference efficiency (FPS) - perception performance (mAP) on nuScenes validation dataset of different algorithms.