[论文解读] V-DETR: DETR with Vertex Relative Position Encoding for 3D Object Detection

Yichao Shen, Zigang Geng+7 more|arXiv (Cornell University)|Aug 8, 2023

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出 V-DETR，一种基于 DETR 的 3D 物体检测框架，引入了一种新颖的 3D 顶点相对位置编码（3DV-RPE），通过编码点相对于预测 3D 框顶点的相对位置，提升注意力机制的定位能力。该方法在 ScanNetV2 和 SUN RGB-D 数据集上取得最先进性能，将 AP_{25}/AP_{50} 提升至 77.8%/66.0%，显著优于先前的 3DETR 和全卷积方法。

ABSTRACT

We introduce a highly performant 3D object detector for point clouds using the DETR framework. The prior attempts all end up with suboptimal results because they fail to learn accurate inductive biases from the limited scale of training data. In particular, the queries often attend to points that are far away from the target objects, violating the locality principle in object detection. To address the limitation, we introduce a novel 3D Vertex Relative Position Encoding (3DV-RPE) method which computes position encoding for each point based on its relative position to the 3D boxes predicted by the queries in each decoder layer, thus providing clear information to guide the model to focus on points near the objects, in accordance with the principle of locality. In addition, we systematically improve the pipeline from various aspects such as data normalization based on our understanding of the task. We show exceptional results on the challenging ScanNetV2 benchmark, achieving significant improvements over the previous 3DETR in $ m{AP}_{25}$/$ m{AP}_{50}$ from 65.0\%/47.0\% to 77.8\%/66.0\%, respectively. In addition, our method sets a new record on ScanNetV2 and SUN RGB-D datasets.Code will be released at http://github.com/yichaoshen-MS/V-DETR.

研究动机与目标

• 为解决使用 DETR 进行 3D 物体检测时注意力机制定位性能差的问题，即查询常关注距离较远的点，违背局部性原则。
• 在训练数据有限的情况下，提升 Transformer 模型对 3D 点云的归纳偏置学习能力。
• 设计一种基于预测 3D 框顶点相对位置的位置编码方案，提供清晰且一致的位置提示。
• 通过系统性的流程改进（包括基于物体的归一化和网络结构优化）提升模型性能。
• 建立一个强大的基于 DETR 的 3D 室内物体检测基线，其性能优于现有全卷积和注意力机制方法。

提出的方法

• 提出 3DV-RPE，该方法在每个解码器层中，基于查询预测的 3D 框的八个顶点，计算每个 3D 点的位置编码。
• 应用规范物体空间变换，将每个物体旋转至其 3D 框与坐标系对齐，确保在不同朝向下的位置编码一致性。
• 采用带有 FPN 主干的稀疏 3D ResNet-34 作为主干编码器，随后接使用 3DV-RPE 的 Transformer 解码器，通过交叉注意力机制实现特征融合。
• 采用基于物体的归一化方式来参数化 3D 边界框，相比基于场景的归一化，显著提升了模型稳定性。
• 将近期 2D DETR 的改进技术（如查询初始化和训练策略）适配至 3D 点云设置。
• 避免在 FPN 主干中进行体素扩展，保留原始 3D 表面细节，从而在性能上优于依赖此类操作的方法。

实验结果

研究问题

• RQ1 基于预测 3D 框顶点的相对位置的可学习位置编码，是否能改善 3D 物体检测中注意力机制的定位性能？
• RQ2 将点和框变换到规范物体空间是否能提升位置编码在不同物体旋转下的一致性和泛化能力？
• RQ3 在性能和注意力分布方面，3DV-RPE 与 3D 框掩码或普通位置编码等其他注意力调制技术相比表现如何？
• RQ4 在流程层面的改进（如基于物体的归一化和训练策略）在 3D DETR 中对性能提升的贡献程度如何？
• RQ5 纯 DETR 架构是否能在 ScanNetV2 和 SUN RGB-D 等挑战性基准上超越全卷积 3D 检测方法？

主要发现

• V-DETR 在 ScanNetV2 基准上达到 77.8% 的 AP_{25} 和 66.0% 的 AP_{50}，显著优于先前 3DETR 基线的 65.0% 和 47.0%。
• 该方法在 ScanNetV2 和 SUN RGB-D 两个数据集上均创下新的最先进记录，展现出强大的跨领域泛化能力。
• 3DV-RPE 降低了对真实框外无关区域的注意力，如注意力图可视化所示，注意力权重更集中于稀疏的物体边界。
• 与基于场景的归一化相比，基于物体的归一化使 AP_{50} 提升了 3.9 个百分点，凸显其在 3D 检测中对稳定性的关键作用。
• 体素扩展会降低基于 DETR 模型的性能，证实 V-DETR 在保留表面细节方面优于依赖此类操作的方法。
• 即使在更长的训练周期（540 个周期）下，3DV-RPE 与 3D 框掩码之间的性能差距依然存在，进一步验证了 3DV-RPE 的优越性。