[论文解读] QE-BEV: Query Evolution for Bird's Eye View Object Detection in Varied Contexts

Jiawei Yao, Yingxin Lai+3 more|arXiv (Cornell University)|Oct 7, 2023

Advanced Image and Video Retrieval Techniques被引用 7

一句话总结

本文提出 DynamicBEV，一种新颖的基于动态查询的 3D 俯视图（BEV）目标检测框架，通过 K-均值聚类和 Top-K 注意力迭代自适应调整查询，以捕捉复杂的时空关系。通过集成轻量级时间融合模块（LTFM）和多样性损失，DynamicBEV 在 nuScenes 数据集上实现了最先进性能，相较于静态查询方法，在准确率和效率方面均有提升。

ABSTRACT

3D object detection plays a pivotal role in autonomous driving and robotics, demanding precise interpretation of Bird's Eye View (BEV) images. The dynamic nature of real-world environments necessitates the use of dynamic query mechanisms in 3D object detection to adaptively capture and process the complex spatio-temporal relationships present in these scenes. However, prior implementations of dynamic queries have often faced difficulties in effectively leveraging these relationships, particularly when it comes to integrating temporal information in a computationally efficient manner. Addressing this limitation, we introduce a framework utilizing dynamic query evolution strategy, harnesses K-means clustering and Top-K attention mechanisms for refined spatio-temporal data processing. By dynamically segmenting the BEV space and prioritizing key features through Top-K attention, our model achieves a real-time, focused analysis of pertinent scene elements. Our extensive evaluation on the nuScenes and Waymo dataset showcases a marked improvement in detection accuracy, setting a new benchmark in the domain of query-based BEV object detection. Our dynamic query evolution strategy has the potential to push the boundaries of current BEV methods with enhanced adaptability and computational efficiency. Project page: https://github.com/Jiawei-Yao0812/QE-BEV

研究动机与目标

• 解决静态查询在捕捉 3D 目标检测中复杂时空关系方面的局限性。
• 开发一种动态查询机制，以自适应方式聚合来自局部和远距离聚类的特征。
• 在不增加显著计算开销的前提下，高效集成时间上下文信息。
• 通过自定义的多样性损失，确保在多样化场景下特征表示的平衡性。
• 通过用迭代、数据自适应的查询替代静态查询，建立查询式 BEV 检测的新范式。

提出的方法

• 通过特征嵌入的 K-均值聚类生成动态查询，形成与场景相关的聚类。
• 应用 Top-K 注意力，使每个查询能够关注最相关的 top-k 聚类，实现自适应特征聚合。
• 轻量级时间融合模块（LTFM）在帧间复用动态查询和聚类，以极低计算量高效融合时间上下文。
• 引入多样性损失以平衡注意力权重，防止对主导特征过度集中，提升模型鲁棒性。
• 模型在推理过程中迭代优化查询，实现对复杂场景的动态适应。
• 该框架将动态查询与基于 BEV 的主干网络及 Transformer 解码器集成，实现端到端 3D 检测。

实验结果

研究问题

• RQ1 在推理过程中能够自适应调整的动态查询是否能提升复杂动态场景下的 3D 目标检测性能？
• RQ2 K-均值聚类与 Top-K 注意力在自适应聚合来自局部和远距离特征方面是否有效？
• RQ3 能否在不增加计算成本的前提下高效集成时间上下文信息？
• RQ4 多样性损失对注意力平衡和检测鲁棒性有何影响？
• RQ5 与静态查询方法相比，动态查询范式在准确率和泛化能力方面是否更具优势？

主要发现

• DynamicBEV 在 nuScenes 数据集上达到新的最先进水平，NDS 为 55.9，mAP 为 45.1。
• 轻量级时间融合模块（LTFM）在每 2 帧处理时达到最佳性能，兼顾准确率与效率。
• 在 K-均值聚类和 Top-K 注意力中使用 K=6 个聚类时性能最优，表明该聚类数量对特征表示具有最佳平衡性。
• 与无多样性损失的基线相比，多样性损失使 NDS 提升 1.5 个百分点，mAP 提升 1.4 个百分点。
• 消融实验表明，在 β=0.6 和 α=0.4 时性能最优，实现了初始特征与动态聚合特征之间的最佳平衡。
• 定性可视化结果表明，查询位置和颜色与物理场景结构及聚类身份具有明确对应关系。