[论文解读] Refine-Net: Normal Refinement Neural Network for Noisy Point Clouds

Haoran Zhou, Honghua Chen+7 more|arXiv (Cornell University)|Mar 23, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

Refine-Net 是一种深度学习框架，通过一种新颖的连接模块融合多种几何特征表示（如局部坐标、高度距离和曲率），对噪声点云法线进行优化。该方法在法线估计与去噪任务中达到最先进性能，显著提升了合成数据集和真实扫描数据集上锐利特征的保留能力与去噪效果。

ABSTRACT

Point normal, as an intrinsic geometric property of 3D objects, not only serves conventional geometric tasks such as surface consolidation and reconstruction, but also facilitates cutting-edge learning-based techniques for shape analysis and generation. In this paper, we propose a normal refinement network, called Refine-Net, to predict accurate normals for noisy point clouds. Traditional normal estimation wisdom heavily depends on priors such as surface shapes or noise distributions, while learning-based solutions settle for single types of hand-crafted features. Differently, our network is designed to refine the initial normal of each point by extracting additional information from multiple feature representations. To this end, several feature modules are developed and incorporated into Refine-Net by a novel connection module. Besides the overall network architecture of Refine-Net, we propose a new multi-scale fitting patch selection scheme for the initial normal estimation, by absorbing geometry domain knowledge. Also, Refine-Net is a generic normal estimation framework: 1) point normals obtained from other methods can be further refined, and 2) any feature module related to the surface geometric structures can be potentially integrated into the framework. Qualitative and quantitative evaluations demonstrate the clear superiority of Refine-Net over the state-of-the-arts on both synthetic and real-scanned datasets. Our code is available at https://github.com/hrzhou2/refinenet.

研究动机与目标

• 解决传统方法依赖刚性先验或单一特征输入时，在噪声点云中实现精确法线估计的挑战。
• 开发一种通用且灵活的框架，可对任意来源（包括其他基于学习的方法）的初始法线进行优化。
• 通过整合多样化的特征表示（如局部坐标、网格状高度距离和曲率）到统一的优化过程中，提升几何保真度。
• 设计一种多尺度拟合补丁选择（MFPS）方案，利用几何领域知识改进初始法线估计。
• 实现对多种噪声分布和复杂表面几何形态（包括锐利边缘和平坦区域）的鲁棒性能。

提出的方法

• Refine-Net 采用多尺度与多特征优化架构，通过从不同几何域提取并融合特征来处理初始法线。
• 一种新颖的连接模块将多个特征模块（如点坐标、高度距离网格和曲率特征）整合到共享表示空间中，协同优化法线。
• 多尺度拟合补丁选择（MFPS）方案通过利用几何先验知识，选择最优局部补丁用于初始法线估计，从而提升对噪声和表面复杂度的鲁棒性。
• 基于聚类的训练方案将输入点云划分为 Kc = 4 个聚类，以增强在边缘和角点等几何挑战区域的特征学习效果。
• 该框架支持新特征模块的即插即用式集成，使其可扩展以支持未来新增的几何先验。
• 采用由优化后法线引导的点更新去噪算法来验证性能，更新过程基于法线一致性与空间邻近性。

实验结果

研究问题

• RQ1 深度学习框架能否通过结合多种几何特征表示，有效优化噪声点云的法线？
• RQ2 与单一特征或单尺度方法相比，多尺度与多特征融合在法线估计方面有何改进？
• RQ3 Refine-Net 在多大程度上能改善其他方法生成的次优初始法线，特别是在锐利边缘保留与噪声去除方面？
• RQ4 所提出的用于初始法线估计的 MFPS 方案是否相比标准邻域拟合方法能带来更好的下游性能？
• RQ5 Refine-Net 是否能在多种噪声类型和真实扫描条件下实现良好泛化？

主要发现

• Refine-Net 在合成数据集与真实扫描数据集上均达到最先进性能，在法线估计精度与鲁棒性方面优于现有方法。
• 该框架显著提升了经 MFPS 初始化的法线质量，尤其在恢复锐利边缘与减少平坦区域扰动方面表现突出。
• 即使仅使用点坐标作为输入，Refine-Net 仍能生成高质量的去噪法线，但通过多特征融合后性能显著提升。
• 基于聚类的训练方案增强了对复杂几何结构的特征学习效果，且当聚类数超过 Kc = 4 后性能增益趋于平缓。
• 当作为法线引导模块使用时，Refine-Net 在点云去噪与表面重建方面表现更优，该结论通过迭代点更新方法得到验证。
• 该方法具有通用性与可扩展性：可对任意来源的法线进行优化，并支持新几何特征模块的集成，展现出广泛适用性。