[论文解读] NormalNet: Learning based Guided Normal Filtering for Mesh Denoising.

Wenbo Zhao, Xianming Liu+3 more|arXiv (Cornell University)|Mar 10, 2019

3D Shape Modeling and Analysis参考文献 39被引用 11

一句话总结

NormalNet 提出了一种基于深度学习的3D网格去噪方法，通过迭代式数据生成框架克服真实数据有限的问题，实现对体素化局部网格结构的有效CNN训练。与最先进方法相比，该方法在保留特征的同时显著减少了伪特征，实现了高保真度的去噪效果。

ABSTRACT

Mesh denoising is a critical technology in geometry processing, which aims to recover high-fidelity 3D mesh models of objects from noise-corrupted versions. In this work, we propose a deep learning based face normal filtering scheme for mesh denoising, called extit{NormalNet}. Different from natural images, for mesh, it is difficult to collect enough examples to build a robust end-to-end training scheme for deep networks. To remedy this problem, we propose an iterative framework to generate enough face-normal pairs, based on which a convolutional neural networks (CNNs) based scheme is designed for guidance normal learning. Moreover, to facilitate the 3D convolution operation in CNNs, for each face in mesh, we propose a voxelization strategy to transform irregular local mesh structure into regular 4D-array form. Finally, guided normal filtering is performed to obtain filtered face normals, according to which denoised positions of vertices are derived. Compared to the state-of-the-art works, the proposed scheme can generate accurate guidance normals and remove noise effectively while preserving original features and avoiding pseudo-features.

研究动机与目标

• 解决3D网格去噪中真实世界噪声到干净网格对数据有限的问题，以训练深度神经网络。
• 开发一种数据增强策略，生成充足的面法向对，以实现稳健的CNN训练。
• 通过一种新颖的体素化技术，使不规则网格面能够有效进行3D卷积操作。
• 通过学习精确的引导法向，提升去噪性能，以保留几何特征并避免引入伪影。
• 在网格去噪任务中实现最先进水平的结果，提升特征保真度并减少伪特征的产生。

提出的方法

• 提出一种迭代框架，从干净网格中合成逼真的面法向对，通过模拟噪声污染来扩展训练数据。
• 设计一种体素化策略，将不规则的局部网格邻域转换为适合3D CNN处理的规则4D数组。
• 使用生成的合成数据，训练基于CNN的引导网络，从噪声输入中预测优化后的面法向。
• 利用预测的法向进行引导法向过滤，计算去噪后的顶点位置，同时保持原始网格几何结构。
• 将学习到的法向过滤集成到网格去噪流程中，以保持锐利特征并避免产生虚假边缘。
• 通过局部几何的结构化体素表示，利用3D CNN对局部网格结构变化的不变性，提升性能。

实验结果

研究问题

• RQ1 迭代式数据生成框架能否有效模拟逼真的噪声到干净的面法向对，以用于3D网格去噪的深度网络训练？
• RQ2 局部网格邻域的体素化如何实现CNN中有效的3D卷积操作以进行法向预测？
• RQ3 与传统方法相比，基于CNN的引导网络在多大程度上能提升法向过滤的准确性？
• RQ4 所提出的方法在去噪过程中是否能有效保留细微几何细节并避免引入伪特征？
• RQ5 与现有最先进网格去噪技术相比，NormalNet在性能和特征保真度方面表现如何？

主要发现

• 迭代式数据生成框架成功生成了多样化且逼真的面法向对，即使在真实数据有限的情况下，也能实现CNN的稳健训练。
• 体素化策略能有效将不规则的局部网格结构转换为规则的4D数组，从而支持高效的3D CNN处理。
• 基于CNN的引导网络能够学习到与底层网格几何一致的准确且平滑的面法向。
• 利用预测法向进行引导法向过滤，可实现高质量的顶点位置更新，有效保留原始特征。
• 该方法在去噪精度上优于最先进方法，同时显著减少了伪特征的引入。
• 该框架即使在复杂且噪声较大的网格模型上，也能保持几何保真度和原始特征的锐利度。