[论文解读] Uni3DETR: Unified 3D Detection Transformer

Zhenyu Wang, Yali Li+3 more|arXiv (Cornell University)|Oct 9, 2023

Advanced Neural Network Applications被引用 5

一句话总结

Uni3DETR 提出了一种统一的3D目标检测Transformer架构，通过单一模型联合处理室内和室外场景。该方法利用点-体素交叉注意力机制，结合可学习与不可学习的查询点以实现场景感知特征提取，并采用解耦的3D IoU损失，在无需领域特定微调的情况下，在多种数据集上实现了最先进性能。

ABSTRACT

Existing point cloud based 3D detectors are designed for the particular scene, either indoor or outdoor ones. Because of the substantial differences in object distribution and point density within point clouds collected from various environments, coupled with the intricate nature of 3D metrics, there is still a lack of a unified network architecture that can accommodate diverse scenes. In this paper, we propose Uni3DETR, a unified 3D detector that addresses indoor and outdoor 3D detection within the same framework. Specifically, we employ the detection transformer with point-voxel interaction for object prediction, which leverages voxel features and points for cross-attention and behaves resistant to the discrepancies from data. We then propose the mixture of query points, which sufficiently exploits global information for dense small-range indoor scenes and local information for large-range sparse outdoor ones. Furthermore, our proposed decoupled IoU provides an easy-to-optimize training target for localization by disentangling the xy and z space. Extensive experiments validate that Uni3DETR exhibits excellent performance consistently on both indoor and outdoor 3D detection. In contrast to previous specialized detectors, which may perform well on some particular datasets but suffer a substantial degradation on different scenes, Uni3DETR demonstrates the strong generalization ability under heterogeneous conditions (Fig. 1). Codes are available at \href{https://github.com/zhenyuw16/Uni3DETR}{https://github.com/zhenyuw16/Uni3DETR}.

研究动机与目标

• 解决由于点云密度与物体分布差异导致的缺乏统一3D检测框架的问题，以实现跨室内与室外场景的泛化能力。
• 通过设计一种兼容室内与室外场景的单一架构，克服基于分组的检测器（适用于室内）与鸟瞰图（BEV）基检测器（适用于室外）的局限性。
• 开发一种特征提取主干网络，在稀疏的室外数据中保持内存效率，同时在密集的室内场景中保留特征保真度。
• 通过最小化对场景特定超参数或模态特定输入（如RGB）的依赖，实现跨数据集的鲁棒泛化能力。

提出的方法

• 采用混合3D稀疏与密集卷积主干网络，以保留稀疏室外场景中的物体中心信息，并避免在密集室内场景中产生高度压缩。
• 使用检测Transformer，通过可学习查询点与体素特征之间的交叉注意力机制，实现点与体素的联合交互，提升3D预测的鲁棒性。
• 引入查询点的混合机制：可学习查询点用于局部、稀疏的室外检测，不可学习查询点（来自采样点与体素）用于全局、密集的室内上下文建模。
• 提出一种解耦的3D IoU损失，将$x,y$与$z$空间的监督分离，提升训练稳定性与定位精度。
• 通过仅依赖点云数据，避免使用RGB或BEV特定的归纳偏置，使模型对场景特定的数据分布保持不变。
• 在所有数据集中采用统一的体素尺寸策略，证明即使在标准化数据相关超参数的情况下，模型仍具备强鲁棒性。

Figure 1 : The high-level overview comparing the performance of 12 existing 3D detectors and our Uni3DETR on a broad range of 3D object detection datasets: indoor datasets SUN RGB-D (SUN), ScanNet, S3DIS, and outdoor datasets KITTI, nuScenes (nuS). The metrics are AP 25 for indoor datasets, AP 70 on

实验结果

研究问题

• RQ1 是否能够通过单一3D检测框架在无需架构特化的情况下，同时在密集室内与稀疏室外点云上实现优异性能？
• RQ2 检测Transformer如何有效应对室内与室外环境中点云特征（密度、分布、尺度）的显著差异？
• RQ3 统一架构在无需微调或模态特异性适配的情况下，其跨数据集泛化能力在多大程度上得以实现？
• RQ4 解耦3D IoU损失是否能提升异构3D检测场景下的训练收敛性与定位精度？
• RQ5 可学习与不可学习查询点的混合机制是否能有效平衡不同场景下局部与全局特征的利用？

主要发现

• Uni3DETR在nuScenes数据集上达到67.0% AP，在SUN RGB-D数据集上达到47.3% AP，优于两者在室内与室外基准上的专用检测器。
• 在KITTI数据集上，Uni3DETR实现72.0% NDS，超越现有室外专用检测器，展现出在中等难度车辆检测任务中的强劲性能。
• 在跨数据集评估中，Uni3DETR在ScanNet上（以SUN RGB-D为训练数据）达到50.9% AP，较Cube R-CNN提升16.2%，凸显其卓越的泛化能力。
• 当在KITTI与nuScenes上统一使用相同体素尺寸（0.05m, 0.05m, 0.1m）时，Uni3DETR仍保持优越性能，证明其对数据相关超参数标准化的鲁棒性。
• 模型在图1中表现出更大的泛化多边形区域，表明其在12种现有检测器上对多样化数据集的性能保持一致，且在各类场景中退化程度最小。
• 解耦IoU损失有助于优化过程，显著提升定位精度，尤其在3D IoU传统上不稳定的$z$轴方向表现更优。

Figure 3 : The overall architecture of our Uni3DETR. We use the hybrid combination of 3D sparse convolution and dense convolution for 3D feature extraction, and our detection transformer for set prediction. The mixture of query points contributes to the sufficient usage of global and local informati