[论文解读] Quality Matters: Embracing Quality Clues for Robust 3D Multi-Object Tracking

Jinrong Yang, En Yu+3 more|arXiv (Cornell University)|Aug 23, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出 QTrack，一种鲁棒的 3D 多目标跟踪框架，通过引入质量感知目标关联（QOA）提升跟踪性能，该方法利用学习到的质量分数对位置和速度预测进行评估，从而提高关联的可靠性。通过使用归一化高斯质量（NGQ）度量来评估预测的可靠性，QTrack 在 nuScenes 验证集上达到 48.0% 的 AMOTA，在测试集上达到 51.1%，显著优于所有先前的 SOTA 方法。

ABSTRACT

3D Multi-Object Tracking (MOT) has achieved tremendous achievement thanks to the rapid development of 3D object detection and 2D MOT. Recent advanced works generally employ a series of object attributes, e.g., position, size, velocity, and appearance, to provide the clues for the association in 3D MOT. However, these cues may not be reliable due to some visual noise, such as occlusion and blur, leading to tracking performance bottleneck. To reveal the dilemma, we conduct extensive empirical analysis to expose the key bottleneck of each clue and how they correlate with each other. The analysis results motivate us to efficiently absorb the merits among all cues, and adaptively produce an optimal tacking manner. Specifically, we present Location and Velocity Quality Learning, which efficiently guides the network to estimate the quality of predicted object attributes. Based on these quality estimations, we propose a quality-aware object association (QOA) strategy to leverage the quality score as an important reference factor for achieving robust association. Despite its simplicity, extensive experiments indicate that the proposed strategy significantly boosts tracking performance by 2.2% AMOTA and our method outperforms all existing state-of-the-art works on nuScenes by a large margin. Moreover, QTrack achieves 48.0% and 51.1% AMOTA tracking performance on the nuScenes validation and test sets, which significantly reduces the performance gap between pure camera and LiDAR based trackers.

研究动机与目标

• 解决由遮挡、模糊和预测错位等不可靠跟踪线索导致的 3D 多目标跟踪性能瓶颈。
• 分析在具有挑战性的视觉条件下，3D 检测器中预测位置与速度质量之间的不平衡与错位问题。
• 开发一种质量感知的关联机制，基于学习到的质量分数动态过滤低质量的运动和位置候选。
• 将质量估计集成到轻量级、端到端可训练的检测跟踪框架中，同时不降低基础检测器的性能。
• 通过提升对视觉噪声的鲁棒性，缩小纯相机与基于 LiDAR 的 3D MOT 系统之间的性能差距。

提出的方法

• 提出一种归一化高斯质量（NGQ）度量，联合建模位置和速度预测中的 2D 向量误差，以量化预测的可靠性。
• 设计一个质量学习头，从基础 3D 检测器中预测位置和速度的 NGQ 分数，实现对跟踪线索的自我诊断。
• 提出一种质量感知目标关联（QOA）策略，利用速度质量过滤不可靠的运动候选，利用位置质量拒绝估计不佳的位置。
• 将 QOA 集成到检测跟踪流水线中，其中分类置信度和质量分数共同指导关联，质量分数作为第二道门限以优化候选选择。
• 通过轻量级质量分支实现端到端联合训练，且在消融实验中验证其未降低检测性能。
• 通过超参数控制的度量，在 NMS 中加权融合分类置信度与速度质量，以平衡定位与速度质量之间的权衡。

实验结果

研究问题

• RQ1 遮挡、运动模糊和光照变化在基于相机的 3D 多目标跟踪中如何影响位置与速度预测的可靠性？
• RQ2 位置与速度预测质量之间的错位程度如何？这种错位对跟踪关联性能有何影响？
• RQ3 统一的质量估计机制是否能通过过滤低置信度和低质量预测来提升跟踪鲁棒性？
• RQ4 在关联过程中引入学习到的质量分数作为第二道门限，是否能在不降低检测性能的前提下提升跟踪精度？
• RQ5 质量感知框架是否能缩小纯相机与基于 LiDAR 的 3D MOT 系统之间的性能差距？

主要发现

• 所提出的 QTrack 在 nuScenes 验证集上达到 48.0% 的 AMOTA，在测试集上达到 51.1%，显著优于所有现有 SOTA 方法。
• 与基线 CV 框架相比，该方法将跟踪性能提升了 2.2% 的 AMOTA，证明了质量感知关联的有效性。
• 质量预测分支未降低基础检测器的性能，mAP 和 NDS 在消融研究中保持稳定。
• 仅使用位置或速度质量作为过滤器会导致性能下降，证实了联合利用两种质量分数的必要性。
• 通过加权度量（M = V^(1−α)·C^α）将速度质量集成到 NMS 中，显示出定位与速度误差之间的权衡，验证了两种质量之间的错位。
• 添加外观分支用于嵌入提取导致跟踪性能下降 1.0%，凸显了所提质量驱动方法的高效性与优越性。