[论文解读] Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows

Kunal Gupta, Manmohan Chandraker|arXiv (Cornell University)|Jul 21, 2020

3D Shape Modeling and Analysis参考文献 59被引用 4

一句话总结

Neural Mesh Flow (NMF) 是一种深度生成模型，通过使用神经型常微分方程（Neural ODEs）从球形模板学习微分同胚流，直接从2D图像或点云生成高质量、双流形（two-manifold）的3D网格。该方法通过构造确保了双流形性，无需后处理即可在渲染、仿真和3D打印中实现更高的几何精度和物理可实现性，优于以往方法。

ABSTRACT

Meshes are important representations of physical 3D entities in the virtual world. Applications like rendering, simulations and 3D printing require meshes to be manifold so that they can interact with the world like the real objects they represent. Prior methods generate meshes with great geometric accuracy but poor manifoldness. In this work, we propose Neural Mesh Flow (NMF) to generate two-manifold meshes for genus-0 shapes. Specifically, NMF is a shape auto-encoder consisting of several Neural Ordinary Differential Equation (NODE)[1] blocks that learn accurate mesh geometry by progressively deforming a spherical mesh. Training NMF is simpler compared to state-of-the-art methods since it does not require any explicit mesh-based regularization. Our experiments demonstrate that NMF facilitates several applications such as single-view mesh reconstruction, global shape parameterization, texture mapping, shape deformation and correspondence. Importantly, we demonstrate that manifold meshes generated using NMF are better-suited for physically-based rendering and simulation. Code and data are released.

研究动机与目标

• 解决当前最先进的3D网格生成方法中缺乏双流形性的问题，该问题阻碍了其在基于物理的仿真和3D打印中的应用。
• 克服现有网格生成技术需人工后处理以修复非双流形缺陷的局限性。
• 通过利用微分同胚流的数学特性，开发一种在网格变形过程中保持双流形特性的深度学习框架。
• 实现端到端、可微分的网格生成，确保几何精度和拓扑有效性，适用于实际应用。
• 证明双流形性是3D网格生成中的关键属性，尤其在下游物理应用中此前被忽视。

提出的方法

• 将网格生成过程建模为从 genus-0 球形模板网格到目标形状的微分同胚流，使用神经型常微分方程（NODEs）。
• 使用一系列基于NODE的形变模块并结合实例归一化，以实现对多个3D形状类别的泛化能力。
• 通过微分同胚的内在特性——特别是其保向性与光滑可逆性——来强制实现双流形性，而非显式正则化。
• 通过组合使用Chamfer距离损失和法线一致性损失进行训练，以确保几何保真度和一致的表面朝向。
• 在后处理中应用拉普拉斯平滑，以减少生成网格中的自相交，提升无相交质量。
• 通过确保所有双流形约束（边、顶点、面及相交条件）均被满足，构建最终的单连通、无相交且拓扑一致的网格。

实验结果

研究问题

• RQ1 深度生成模型能否在无需后处理的情况下生成几何准确且拓扑双流形的3D网格？
• RQ2 从模板网格学习微分同胚流是否能在形变过程中保持双流形性？该特性是否可被用于端到端的网格生成？
• RQ3 双流形性如何影响下游应用（如基于物理的仿真、渲染和3D打印）的性能？
• RQ4 单一架构能否在保持高几何与拓扑保真度的同时，泛化至多个3D形状类别？
• RQ5 与基于隐式表示的方法（如OccNet）相比，所提出方法在双流形性、几何精度和推理效率方面表现如何？

主要发现

• NMF 在单视图重建任务中取得 7.82 的 Chamfer-L2 损失，优于最佳基线方法 OccNet-3 的 8.33，表明其具有更优的几何精度。
• NMF 实现了零非双流形顶点和边（NM-Vertices: 0.00, NM-Edges: 0.00），通过构造实现了完美的拓扑一致性。
• 该方法生成的网格仅有 0.83 个非双流形面和 0.12 个自相交，显著优于 OccNet-3 在双流形性指标上的表现。
• NMF 生成的网格可直接用于3D打印和基于物理的仿真，无需修复，经3D打印和仿真结果验证。
• 使用 NMF 生成网格进行的仿真结果最接近真实物理行为，而 MeshRCNN 因非双流形伪影导致过度弹跳。
• 经拉普拉斯平滑后，NMF 将自相交减少至零（0.00），同时保持高法线一致性（0.837）和具有竞争力的推理时间（292ms）。