[论文解读] PolyGen: An Autoregressive Generative Model of 3D Meshes

Charlie Nash, Yaroslav Ganin+2 more|arXiv (Cornell University)|Feb 23, 2020

3D Shape Modeling and Analysis参考文献 29被引用 65

一句话总结

PolyGen 直接将 3D 网格建模为自回归序列，使用基于 Transformer 的顶点模型和网格指针面模型，实现对高质量网格的有条件和无条件生成。

ABSTRACT

Polygon meshes are an efficient representation of 3D geometry, and are of central importance in computer graphics, robotics and games development. Existing learning-based approaches have avoided the challenges of working with 3D meshes, instead using alternative object representations that are more compatible with neural architectures and training approaches. We present an approach which models the mesh directly, predicting mesh vertices and faces sequentially using a Transformer-based architecture. Our model can condition on a range of inputs, including object classes, voxels, and images, and because the model is probabilistic it can produce samples that capture uncertainty in ambiguous scenarios. We show that the model is capable of producing high-quality, usable meshes, and establish log-likelihood benchmarks for the mesh-modelling task. We also evaluate the conditional models on surface reconstruction metrics against alternative methods, and demonstrate competitive performance despite not training directly on this task.

研究动机与目标

• 激励直接对 3D 网格进行生成建模，而非代理表示。
• 提出一个自回归、两部分的网格模型（先顶点生成再面生成）。
• 实现对多样输入（类别、图像、体素）的条件化，并在网格生成中量化不确定性。
• 使用对数似然和预测准确性进行评估，并与基线及替代网格表示进行比较。

提出的方法

• 两部分自回归网格模型：顶点模型预测一系列量化顶点坐标；面模型在已生成顶点的条件下预测一系列顶点索引。
• 顶点模型使用带离散 8-bit 量化坐标和停止符的 Transformer 解码器。
• 面模型使用 Transformer 加指针网络机制，生成可变长度的顶点索引序列，并通过掩蔽来确保有效预测。
• 可选的条件上下文 h（类别、图像或体素）通过用于全局条件或对编码器的跨注意力的附加向量整合。
• 在评估时对无效预测进行掩蔽；训练使用无掩蔽的似然最大化。
• 评估数据增强、体素/图像条件化和嵌入选择对对数似然和准确性的影响。

实验结果

研究问题

• RQ1 直接网格生成模型是否能在无需后处理的情况下生成高质量、可用的网格？
• RQ2 基于 Transformer 的顶点和基于指针的面模型在捕捉网格顶点和面的联合分布方面有多好？
• RQ3 条件输入（类别、图像、体素）对顶点/面建模性能有何影响？
• RQ4 离散顶点表示和数据增强如何影响建模效率和准确性？
• RQ5 与像 Draco 和均匀模型等基线相比，PolyGen 在无条件与有条件网格生成任务中的表现如何？

主要发现

• 无条件 PolyGen 在每个顶点的对数似然达到 4.26 位，顶点准确率 85%，面准确率 90%。
• 离散的 8-bit 顶点嵌入将每顶点位数从 2.56 提升到 2.46，且整体预测性能提升。
• 数据增强显著提升性能，平均将每顶点位数降低约 1.64。
• 面模型中的跨注意力由于其设置中的过拟合而降低性能。
• 条件模型（类别、图像、体素）提升顶点建模，其中体素条件带来最强增益；面条件几乎无增益或为负。