[论文解读] Systematic Evaluation of Depth Backbones and Semantic Cues for Monocular Pseudo-LiDAR 3D Detection

Samson Oseiwe Ajadalu|arXiv (Cornell University)|Jan 7, 2026

Advanced Neural Network Applications被引用 0

一句话总结

该论文系统性地评估 monocular Pseudo-LiDAR 流水线中的深度骨干网络和语义特征变体，表明在使用标准 LiDAR 检测器（PointRCNN）时，深度骨干质量对 3D 检测性能的影响大于添加的语义线索。

ABSTRACT

Monocular 3D object detection offers a low-cost alternative to LiDAR, yet remains less accurate due to the difficulty of estimating metric depth from a single image. We systematically evaluate how depth backbones and feature engineering affect a monocular Pseudo-LiDAR pipeline on the KITTI validation split. Specifically, we compare NeWCRFs (supervised metric depth) against Depth Anything V2 Metric-Outdoor (Base) under an identical pseudo-LiDAR generation and PointRCNN detection protocol. NeWCRFs yields stronger downstream 3D detection, achieving 10.50\% AP$_{3D}$ at IoU$=0.7$ on the Moderate split using grayscale intensity (Exp~2). We further test point-cloud augmentations using appearance cues (grayscale intensity) and semantic cues (instance segmentation confidence). Contrary to the expectation that semantics would substantially close the gap, these features provide only marginal gains, and mask-based sampling can degrade performance by removing contextual geometry. Finally, we report a depth-accuracy-versus-distance diagnostic using ground-truth 2D boxes (including Ped/Cyc), highlighting that coarse depth correctness does not fully predict strict 3D IoU. Overall, under an off-the-shelf LiDAR detector, depth-backbone choice and geometric fidelity dominate performance, outweighing secondary feature injection.

研究动机与目标

• 评估深度骨干（NeWCRFs 与 Depth Anything V2 Metric-Outdoor Base）如何影响单目 Pseudo-LiDAR 流水线中的下游 3D 检测。
• 评估语义特征通道（灰度强度、掩码置信度）及上下文操作（基于掩码的采样）对 3D 检测的影响。
• 量化深度精度如何在 KITTI 验证集上跨距离和对象类别转化为 3D IoU 性能。

提出的方法

• 通过标准反投影和 KITTI 标定将单目深度输出转换为伪 LiDAR 点云。
• 在固定训练协议下将伪 LiDAR 点输入 PointRCNN，以分离输入影响。
• 在相同设置下比较深度骨干；注入逐点特征（灰度强度、掩码置信度）并测试基于掩码的采样。
• 使用真实的 2D 框作为非学习基线，以分离 2D 定位与 3D 推理。
• 在 IoU 0.5 和 0.7 的 AP BEV 与 AP 3D 上，分别针对 Easy/Moderate/Hard KITTI 划分进行评估。

Figure 1: Overall monocular pseudo-LiDAR pipeline.

实验结果

研究问题

• RQ1 监督式度量深度模型（NeWCRFs）与基础度量深度模型（Depth Anything V2 Metric-Outdoor Base）在单目 Pseudo-LiDAR 流水线中的下游 3D 检测上有何差异？
• RQ2 在使用标准 LiDAR 检测器时，简单的语义特征注入（灰度强度、掩码置信度）或基于掩码的采样是否显著提升 3D 检测？
• RQ3 深度骨干选择和语义特征如何与检测器在距离和难度上的性能互动在 KITTI 上表现？

主要发现

• 深度骨干主导性能；替换深度模型带来的增益大于改变语义通道。
• NeWCRFs 通常优于 Depth Anything V2 Metric-Outdoor Base，尤其在 IoU 0.7 的 3D 检测中（Moderate AP 3D 约为 10.50，配合 Exp 2 的灰度）。
• 灰度强度相较于零强度控制提供了一定改进，但像掩码置信度这样的语义线索在严格的 3D IoU 上收益有限。
• 基于掩码的采样降低了背景上下文，尽管前景密度更高，但在 IoU 0.7 时可能损害 3D 定位精度。
• 在固定的 PointRCNN 检测器下，重建点云的几何保真度主要驱动性能；要获得实质性提升，语义特征需要结合架构改动。
• 深度精度与距离的关系表明粗略深度正确性并不能充分预测严格的 3D IoU，凸显垂直/水平对齐挑战。

Figure 2: Qualitative depth comparison (same KITTI frame): Depth Anything V2 Metric-Outdoor shows banding/over-smoothing relative to NeWCRFs.