[论文解读] Neural Volumetric Mesh Generator

Yan Zheng, Lemeng Wu+4 more|arXiv (Cornell University)|Oct 6, 2022

Computer Graphics and Visualization Techniques被引用 4

一句话总结

本文提出神经体素网格生成器（NVMG），一种基于两阶段扩散模型的生成方法，首先合成高保真体素化形状，然后通过感知正则化的优化方法将四面体网格变形以匹配神经网络预测的隐式表面。该方法生成无伪影、物理上稳健的体素网格，具有高表面与内部细节，在无条件与条件网格生成任务中均优于当前最先进方法。

ABSTRACT

Deep generative models have shown success in generating 3D shapes with different representations. In this work, we propose Neural Volumetric Mesh Generator(NVMG) which can generate novel and high-quality volumetric meshes. Unlike the previous 3D generative model for point cloud, voxel, and implicit surface, the volumetric mesh representation is a ready-to-use representation in industry with details on both the surface and interior. Generating this such highly-structured data thus brings a significant challenge. We first propose a diffusion-based generative model to tackle this problem by generating voxelized shapes with close-to-reality outlines and structures. We can simply obtain a tetrahedral mesh as a template with the voxelized shape. Further, we use a voxel-conditional neural network to predict the smooth implicit surface conditioned on the voxels, and progressively project the tetrahedral mesh to the predicted surface under regularizations. The regularization terms are carefully designed so that they can (1) get rid of the defects like flipping and high distortion; (2) force the regularity of the interior and surface structure during the deformation procedure for a high-quality final mesh. As shown in the experiments, our pipeline can generate high-quality artifact-free volumetric and surface meshes from random noise or a reference image without any post-processing. Compared with the state-of-the-art voxel-to-mesh deformation method, we show more robustness and better performance when taking generated voxels as input.

研究动机与目标

• 为解决从噪声或图像直接生成高质量、物理有效的体素网格的挑战，现有深度生成模型难以实现此目标。
• 通过在形变过程中引入新颖的正则化方案，克服网格生成中的几何缺陷，如翻转、自相交与高畸变。
• 通过结合基于扩散的体素合成与神经条件表面预测及基于优化的网格形变，实现端到端的详细体素网格生成。
• 提供即用型网格表示，适用于工业应用，包括物理仿真与3D编辑，且无需后处理。

提出的方法

• 扩散模型生成具有真实结构与轮廓的初始体素化形状，作为网格生成的基础。
• 基于生成的体素，体素条件神经网络预测平滑的隐式表面，提供几何细节引导。
• 通过可微分优化过程，将四面体网格模板逐步投影到预测表面，实现渐进式网格形变。
• 整合投影、平滑度与方向性约束等正则化项，防止翻转、减少畸变并保留细长结构。
• 优化过程具备可微性，与神经预测无缝结合，实现高保真网格生成。
• 该框架支持从噪声进行无条件生成，也支持从参考图像进行条件生成，并可通过体素操作实现交互式编辑。

实验结果

研究问题

• RQ1 基于扩散的模型能否有效生成结构化的体素化形状，作为体素网格生成的可靠基础？
• RQ2 如何结合神经预测与优化，以生成兼具表面与内部细节的高质量、无伪影体素网格？
• RQ3 在网格形变过程中，何种正则化策略最有效防止翻转与畸变等几何缺陷？
• RQ4 所提方法能否在保留精细几何特征的前提下，泛化至条件图像到网格生成任务？
• RQ5 与当前最先进体素到网格方法相比，所提网格形变管道在鲁棒性与保真度方面表现如何？

主要发现

• NVMG在图像到网格重建任务中达到最先进性能，椅子的Chamfer距离为0.471，桌子为0.342，长凳为0.439，优于Pixel2Mesh、GEOMetrics与DeepMesh。
• 消融研究证实，稳健的投影与方向性正则化显著减少翻转四面体与畸变三角形，提升网格质量。
• 引入方向性与平滑度项可防止细长结构消失，增强物理可行性与结构完整性。
• 该方法无需后处理即可生成无伪影体素网格，表面与内部几何保持高保真度。
• 用户对体素表示的编辑可立即触发高质量网格更新，证明该框架适用于交互式3D设计。
• 基于优化的形变管道在鲁棒性方面优于现有体素到网格方法，尤其在复杂形状配置下表现更优。