[论文解读] RangeUDF: Semantic Surface Reconstruction from 3D Point Clouds

Bing Wang, Zhengdi Yu+6 more|arXiv (Cornell University)|Apr 19, 2022

3D Shape Modeling and Analysis被引用 9

一句话总结

RangeUDF 提出了一种新颖的隐式神经表示方法，能够从稀疏的大规模点云中联合重建高保真度的3D表面并预测语义信息。通过引入一种距离感知的无符号距离函数和面向表面的语义模块，该方法消除了表面模糊性，在四个数据集上均实现了最先进性能，并展现出对未见数据的强大泛化能力。

ABSTRACT

We present RangeUDF, a new implicit representation based framework to recover the geometry and semantics of continuous 3D scene surfaces from point clouds. Unlike occupancy fields or signed distance fields which can only model closed 3D surfaces, our approach is not restricted to any type of topology. Being different from the existing unsigned distance fields, our framework does not suffer from any surface ambiguity. In addition, our RangeUDF can jointly estimate precise semantics for continuous surfaces. The key to our approach is a range-aware unsigned distance function together with a surface-oriented semantic segmentation module. Extensive experiments show that RangeUDF clearly surpasses state-of-the-art approaches for surface reconstruction on four point cloud datasets. Moreover, RangeUDF demonstrates superior generalization capability across multiple unseen datasets, which is nearly impossible for all existing approaches.

研究动机与目标

• 为解决现有隐式表示方法（如占用场和有符号距离场）无法建模开放或任意拓扑表面的局限性。
• 克服因点云稀疏或密度不均导致的无符号距离场中的表面模糊问题。
• 在大规模真实场景中，对连续表面实现几何与语义的联合精确预测。
• 实现从原始点云端到端的联合学习，无需依赖封闭形状或体素化处理。
• 提升模型在未见数据集上的泛化能力，而这一能力在以往方法中普遍缺失。

提出的方法

• 基于点的特征提取器对大规模点云进行单次前向传播处理，实现对全局与局部几何结构的高效编码。
• 距离感知的神经插值模块利用基于向量 (q - p_k) 的加权聚合方法，为查询点计算唯一的特征向量，从而减少表面模糊性。
• 从插值后的特征中预测无符号距离函数，确保在无拓扑约束下实现精确的几何重建。
• 面向表面的语义分割模块通过聚焦于表面邻近区域来学习语义信息，即使在训练过程中查询点远离表面也能有效学习。
• 采用带不确定权重的多任务损失函数，平衡重建与语义分割分支，提升训练稳定性和整体性能。

实验结果

研究问题

• RQ1 神经隐式表示能否在不假设封闭或流形拓扑的前提下，联合实现高精度3D表面重建与语义预测？
• RQ2 在处理稀疏且非均匀分布的点云时，如何消除无符号距离场中的表面模糊性？
• RQ3 当查询点距离表面较远时，能否在隐式表示框架中有效学习语义分割？
• RQ4 联合优化几何与语义是否能提升性能，特别是在少样本语义监督条件下？
• RQ5 该模型是否能在无需微调的情况下有效泛化到未见数据集，而现有方法通常不具备此能力？

主要发现

• RangeUDF 在四个基准数据集上均达到最先进性能，CD-L1 得分为 0.298，FS-δ 得分为 0.876，显著优于先前方法。
• 在仅 1% 语义监督条件下，通过联合优化重建与分割任务，mIoU 最高提升 0.018。
• 消融实验表明，距离感知项 (q - p_k) 至关重要，若移除该项，CD-L1 增加 0.026，证明其在消除模糊性中的核心作用。
• 直接将查询点坐标输入语义分支会导致 mIoU 下降 0.019，证实了面向表面设计的优越性。
• 该框架在未见数据集上表现出良好泛化能力，在多个测试集上均保持一致的性能提升，展现出超越训练域的鲁棒性。