[论文解读] TM-NET: Deep Generative Networks for Textured Meshes

Lin Gao, Tong Wu+4 more|arXiv (Cornell University)|Oct 13, 2020

3D Shape Modeling and Analysis参考文献 57被引用 10

一句话总结

TM-NET 是一种深度生成模型，通过变分自编码器（VAEs）分别编码部件几何与纹理，并利用条件自回归模型实现部件感知且兼容的纹理生成。它通过基于词典的向量量化实现高频细节合成，在低分辨率网格上也能生成逼真且多样的纹理，支持无图像生成与纹理预测。

ABSTRACT

We introduce TM-NET, a novel deep generative model for synthesizing textured meshes in a part-aware manner. Once trained, the network can generate novel textured meshes from scratch or predict textures for a given 3D mesh, without image guidance. Plausible and diverse textures can be generated for the same mesh part, while texture compatibility between parts in the same shape is achieved via conditional generation. Specifically, our method produces texture maps for individual shape parts, each as a deformable box, leading to a natural UV map with minimal distortion. The network separately embeds part geometry (via a PartVAE) and part texture (via a TextureVAE) into their respective latent spaces, so as to facilitate learning texture probability distributions conditioned on geometry. We introduce a conditional autoregressive model for texture generation, which can be conditioned on both part geometry and textures already generated for other parts to achieve texture compatibility. To produce high-frequency texture details, our TextureVAE operates in a high-dimensional latent space via dictionary-based vector quantization. We also exploit transparencies in the texture as an effective means to model complex shape structures including topological details. Extensive experiments demonstrate the plausibility, quality, and diversity of the textures and geometries generated by our network, while avoiding inconsistency issues that are common to novel view synthesis methods.

研究动机与目标

• 开发一种无需图像引导的 3D 纹理网格深度生成模型。
• 实现部件感知的纹理生成，使不同形状部件可被独立纹理化。
• 通过基于几何和先验纹理的条件生成，实现部件间的纹理兼容性。
• 利用向量量化在高维潜在空间中合成高频纹理细节。
• 通过纹理贴图中的透明度模拟拓扑特征（如孔洞或缝隙），创造几何细节的视觉错觉。

提出的方法

• TM-NET 使用 PartVAE 将网格部件几何编码到潜在空间，将每个部件表示为可变形盒体。
• 基于词典的向量量化（VQ-VAE）的 TextureVAE 将纹理贴图编码到高维离散潜在空间，以实现高频细节保真度。
• 条件自回归生成模型按顺序生成纹理，条件依赖于部件几何和先前生成的纹理，以确保兼容性。
• 通过展开可变形盒体生成 UV 映射，确保最小失真和一致的纹理图集对齐。
• 利用纹理中的透明度通道，无需高亏格几何即可模拟孔洞或缝隙等拓扑特征。
• 该框架支持多种应用：新颖纹理网格生成、输入网格的纹理预测、潜在空间插值以及图像引导生成。

实验结果

研究问题

• RQ1 深度生成模型能否在无图像监督的情况下，为 3D 网格生成多样、合理且高质量的纹理？
• RQ2 在生成过程中，如何实现 3D 形状不同部件之间的纹理兼容性？
• RQ3 能否通过基于 VAE 的架构结合向量量化，忠实合成高频纹理细节？
• RQ4 在低分辨率网格上，基于纹理的视觉错觉在多大程度上可模拟复杂的拓扑特征？
• RQ5 该模型在生成新颖纹理网格以及在潜在表示之间插值方面的表现如何？

主要发现

• TM-NET 即使在低分辨率几何下，也能为同一输入网格生成多样且合理的纹理，展现出强大的一对多纹理映射能力。
• 条件自回归纹理生成确保了部件间的纹理兼容性，避免了形状上出现不一致或错位的纹理。
• 由于在高维潜在空间中使用了 VQ-VAE，高频纹理细节被有效合成，相比标准 VAE 减少了模糊。
• 通过在纹理中使用透明度模拟孔洞或缝隙等拓扑特征，实现了逼真的视觉保真度，即使底层网格不具备此类几何结构。
• 潜在空间插值产生平滑过渡，交叉淡化伪影较少，但在复杂纹理（如汽车和飞机）中仍会出现一些模糊和伪影。
• 失败案例包括对细小几何细节（如桌面上的小缝隙）重建不准确，以及图像引导生成时无法始终忠实再现输入纹理。