[论文解读] NormalNet: Learning-based Normal Filtering for Mesh Denoising

Wenbo Zhao, Xianming Liu+3 more|arXiv (Cornell University)|Mar 10, 2019

3D Shape Modeling and Analysis参考文献 27被引用 9

一句话总结

NormalNet 提出了一种基于深度学习的法向滤波框架，用于网格去噪，通过使用卷积神经网络（CNN）替代传统的引导法向滤波，处理体素化的局部网格结构。该方法在去噪和特征保持方面达到当前最先进性能，尤其在具有复杂噪声类型（如锯齿状和阶梯状伪影）的扫描网格上表现优异。

ABSTRACT

Mesh denoising is a critical technology in geometry processing that aims to recover high-fidelity 3D mesh models of objects from their noise-corrupted versions. In this work, we propose a learning-based normal filtering scheme for mesh denoising called NormalNet, which maps the guided normal filtering (GNF) into a deep network. The scheme follows the iterative framework of filtering-based mesh denoising. During each iteration, first, the voxelization strategy is applied on each face in a mesh to transform the irregular local structure into the regular volumetric representation, therefore, both the structure and face normal information are preserved and the convolution operations in CNN(Convolutional Neural Network) can be easily performed. Second, instead of the guidance normal generation and the guided filtering in GNF, a deep CNN is designed, which takes the volumetric representation as input, and outputs the learned filtered normals. At last, the vertex positions are updated according to the filtered normals. Specifically, the iterative training framework is proposed, in which the generation of training data and the network training are alternately performed, whereas the ground truth normals are taken as the guidance normals in GNF to get the target normals. Compared to state-of-the-art works, NormalNet can effectively remove noise while preserving the original features and avoiding pseudo-features.

研究动机与目标

• 解决由扫描噪声污染的3D网格去噪问题，同时保持精细几何特征。
• 克服现有引导法向滤波方法在复杂结构和高噪声水平下表现不佳的局限性。
• 通过将局部网格几何转换为规则的体素化表示，实现在不规则网格数据上的有效深度学习。
• 设计一种迭代训练框架，通过在数据生成与网络训练之间交替进行，提升模型的鲁棒性和泛化能力。
• 在具有未知噪声特性的扫描网格上实现卓越的去噪性能，包括锯齿状和不规则噪声模式。

提出的方法

• 对网格中的每个面应用体素化处理，将不规则的3D局部结构转换为规则的3D体素表示，从而支持高效的3D卷积神经网络（CNN）操作。
• 设计一个包含三个残差块、一个最大池化层和四个全连接层的深度CNN，用于从体素化输入中预测滤波后的面法向。
• 将CNN集成到迭代网格去噪框架中，每轮迭代根据预测的滤波法向更新顶点位置。
• 提出一种迭代训练策略：在引导法向滤波（GNF）过程中，使用真实法向作为指导法向生成目标法向，网络实现端到端训练。
• 在训练过程中利用真实法向作为监督信号，使网络能够学习在高噪声水平下生成准确的滤波法向。
• 通过体素化和基于CNN的滤波，同时保留结构信息和法向信息，确保特征一致性并实现有效噪声抑制。

实验结果

研究问题

• RQ1 当应用于体素化的局部几何结构时，深度CNN能否有效学习对3D网格中噪声面法向进行滤波？
• RQ2 与传统引导法向滤波相比，所提出的NormalNet框架在保持精细几何特征和避免伪特征方面表现如何？
• RQ3 该迭代训练框架在多样化扫描网格数据上，能在多大程度上提升法向滤波网络的鲁棒性和泛化能力？
• RQ4 该方法能否有效处理现实扫描网格中常见的挑战性噪声类型，如锯齿状和阶梯状伪影？
• RQ5 基于体素化的表示是否能够在保持几何保真度的同时，有效支持在不规则网格数据上的3D CNN处理？

主要发现

• NormalNet 在保持锐利边缘和小尺度特征方面优于当前最先进方法（如GNF、GGNF和CNR），尤其在具有复杂噪声的扫描网格上表现更优。
• 在具有锯齿状噪声的扫描模型Pierrot上，NormalNet 避免了引入伪特征，而GNF和GGNF因指导法向估计不可靠而失败。
• 在Rocketarm和Angel模型上，NormalNet 产生的伪特征少于CNR，后者在高噪声复杂区域过度平滑了边缘。
• 在激光扫描模型（Eagle、Gargoyle、BallJoint）上的对比实验表明，NormalNet 的特征恢复效果优于VT，展现出在高质量但复杂的扫描数据上的鲁棒性。
• 在Microsoft Kinect V1/V2生成的模型上，NormalNet 在Cone04V1上实现了最佳平滑效果，而其他方法未能有效去除噪声。
• 定量评估显示，NormalNet 在所有方法中与真实值的边长最接近，表明其在几何保真度保持方面表现更优。