[论文解读] Pushing the Limits of 3D Shape Generation at Scale

Yu Wang, Xuelin Qian+4 more|arXiv (Cornell University)|Jun 20, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出 Argus-3D，一个参数量达 36 亿的自回归 3D 形状生成模型，采用三平面潜在表征、离散码本进行量化，并结合基于 Transformer 的条件生成方法，在质量与多样性方面达到当前最优性能。该模型在涵盖多个 3D 数据库的 90 万件对象数据集上进行训练，实现了文本、图像和类别引导的 3D 生成新基准，FPR（0.774）与 TMD（5.136 × 10²）得分均表现优异。

ABSTRACT

We present a significant breakthrough in 3D shape generation by scaling it to unprecedented dimensions. Through the adaptation of the Auto-Regressive model and the utilization of large language models, we have developed a remarkable model with an astounding 3.6 billion trainable parameters, establishing it as the largest 3D shape generation model to date, named Argus-3D. Our approach addresses the limitations of existing methods by enhancing the quality and diversity of generated 3D shapes. To tackle the challenges of high-resolution 3D shape generation, our model incorporates tri-plane features as latent representations, effectively reducing computational complexity. Additionally, we introduce a discrete codebook for efficient quantization of these representations. Leveraging the power of transformers, we enable multi-modal conditional generation, facilitating the production of diverse and visually impressive 3D shapes. To train our expansive model, we leverage an ensemble of publicly-available 3D datasets, consisting of a comprehensive collection of approximately 900,000 objects from renowned repositories such as ModelNet40, ShapeNet, Pix3D, 3D-Future, and Objaverse. This diverse dataset empowers our model to learn from a wide range of object variations, bolstering its ability to generate high-quality and diverse 3D shapes. Extensive experimentation demonstrate the remarkable efficacy of our approach in significantly improving the visual quality of generated 3D shapes. By pushing the boundaries of 3D generation, introducing novel methods for latent representation learning, and harnessing the power of transformers for multi-modal conditional generation, our contributions pave the way for substantial advancements in the field. Our work unlocks new possibilities for applications in gaming, virtual reality, product design, and other domains that demand high-quality and diverse 3D objects.

研究动机与目标

• 解决现有 3D 形状生成模型在生成高质量、多样化且高分辨率形状方面的局限性。
• 将自回归 3D 生成扩展至前所未有的模型规模与数据规模，以支持更丰富、更复杂的形状合成。
• 通过将 CLIP 基于的文本与图像特征整合到统一的 3D 生成框架中，提升多模态条件生成性能。
• 通过高效的三平面潜在表征与离散码本量化，降低 3D 生成中的计算复杂度。
• 通过在大规模、多样化的公共 3D 数据集集合上进行训练，建立 3D 形状生成的新基准。

提出的方法

• 将自回归模型架构适配至 3D 形状生成任务，扩展至 36 亿个可训练参数，使其成为迄今参数量最大的同类模型。
• 采用三平面特征作为 3D 潜在表征，以降低计算复杂度，同时保留空间结构。
• 引入离散码本对三平面特征进行量化，从而通过 Transformer 实现高效的序列建模。
• 利用基于 Transformer 的解码器，通过 CLIP 嵌入特征，基于文本、图像或类别标签条件预测量化后的潜在序列。
• 在来自 ModelNet40、ShapeNet、Pix3D、3D-Future 与 Objaverse 的 90 万件 3D 对象的精选数据集集合上进行训练，以实现广泛泛化能力。
• 采用多模态条件建模，结合 CLIP 实现零样本文本到 3D 生成与图像到 3D 生成，且保真度高。

实验结果

研究问题

• RQ1 将自回归 3D 生成模型扩展至 36 亿参数是否能显著提升形状质量与多样性？
• RQ2 三平面潜在表征结合离散码本量化，在降低计算成本的同时，对保留 3D 结构的有效性如何？
• RQ3 单一统一模型在多模态（文本、图像、类别标签）条件下生成高保真 3D 形状的能力达到何种程度？
• RQ4 在包含 90 万件对象的大规模、多样化数据集上进行训练，是否能使模型超越记忆化，学习到潜在的 3D 形状分布？
• RQ5 该模型能否在图像引导的 3D 生成中实现最先进性能，同时保持高多样性与高保真度？

主要发现

• Argus-3D 模型在图像引导生成中实现了 0.774 的 Fréchet Point Cloud Distance（FPD）得分，显著优于先前最先进方法。
• 在图像引导生成中，其 Total Mutual Difference（TMD）得分为 5.136 × 10²，表明其多样性优于现有模型。
• 在文本引导的零样本生成中，模型生成了细节丰富、语义对齐的 3D 形状，在视觉质量与多样性方面超越了以往的零样本方法。
• 模型在 Pix3D 的真实世界图像上表现出强泛化能力，能准确重建生成 3D 形状中的关键对象属性。
• 通过 Chamfer Distance 最近邻分析验证表明，该模型生成的是新颖形状，而非记忆训练数据。
• 在图像引导、文本引导与类别引导的 3D 生成基准测试中，该模型在所有评估指标上均达到最先进水平。