[论文解读] UniG3D: A Unified 3D Object Generation Dataset

Qinghong Sun, Yangguang Li+6 more|arXiv (Cornell University)|Jun 19, 2023

3D Shape Modeling and AnalysisEngineering被引用 3

一句话总结

UniG3D 引入了一个大规模、统一的3D物体生成数据集，该数据集通过一个通用的数据转换管道构建而成，能够将 ShapeNet 和 Objaverse 中的原始3D模型转换为全面的多模态表征（文本、图像、点云、网格）。该管道利用渲染引擎和多模态模型（CLIP、BLIP）生成高质量、多样化的文本和图像数据，显著提升了3D生成模型的训练数据质量与可扩展性，实证验证表明，使用 Point-E 和 SDFusion 等方法时，模型的鲁棒性与可控性均得到提升。

ABSTRACT

The field of generative AI has a transformative impact on various areas, including virtual reality, autonomous driving, the metaverse, gaming, and robotics. Among these applications, 3D object generation techniques are of utmost importance. This technique has unlocked fresh avenues in the realm of creating, customizing, and exploring 3D objects. However, the quality and diversity of existing 3D object generation methods are constrained by the inadequacies of existing 3D object datasets, including issues related to text quality, the incompleteness of multi-modal data representation encompassing 2D rendered images and 3D assets, as well as the size of the dataset. In order to resolve these issues, we present UniG3D, a unified 3D object generation dataset constructed by employing a universal data transformation pipeline on Objaverse and ShapeNet datasets. This pipeline converts each raw 3D model into comprehensive multi-modal data representation by employing rendering engines and multi-modal models. These modules ensure the richness of textual information and the comprehensiveness of data representation. Remarkably, the universality of our pipeline refers to its ability to be applied to any 3D dataset, as it only requires raw 3D data. The selection of data sources for our dataset is based on their scale and quality. Subsequently, we assess the effectiveness of our dataset by employing Point-E and SDFusion, two widely recognized methods for object generation, tailored to the prevalent 3D representations of point clouds and signed distance functions. Our dataset is available at: https://unig3d.github.io.

研究动机与目标

• 为解决现有3D物体生成数据集存在的局限性，包括文本质量差、多模态数据不完整以及规模有限的问题。
• 开发一种通用的、自动化的管道，将任意原始3D数据集转换为丰富、多模态的表征，无需人工标注。
• 构建一个大规模、高质量的数据集，支持在不同输入条件和目标表征下，多种3D生成方法的应用。
• 通过使用最先进的3D生成模型（如 Point-E 和 SDFusion）进行实证评估，验证该数据集的有效性。

提出的方法

• 设计了一种通用的数据转换管道，将原始3D模型处理为统一的多模态四元组：<文本, 图像, 点云, 网格>。
• 使用 Blender 从每个3D模型中渲染多视角图像和3D网格，视角间隔为36度，以确保全面覆盖。
• 采用 CLIP-ViT 和 BLIP 模型，从渲染图像中生成高质量、描述性的文本嵌入，提升文本的丰富性与多样性。
• 通过可微分投影方法，从多视角渲染图像中提取点云，以保持几何保真度。
• 该管道具备可扩展性，且对原始3D数据集格式无依赖，仅需原始3D数据作为输入。
• 最终数据集通过整合 ShapeNet 和 Objaverse 的数据构建而成，确保规模与质量，并已公开发布于 https://unig3d.github.io/。

实验结果

研究问题

• RQ1 多视角渲染图像的引入在罕见视角下如何影响3D生成模型的鲁棒性？
• RQ2 通过多模态模型生成的改进文本质量，在多大程度上提升了3D物体生成的可控性与多样性？
• RQ3 通用的、自动化的管道能否有效应用于任意3D数据集，以生成无需人工标注的丰富多模态表征？
• RQ4 训练数据的质量与多样性在不同表征形式（如点云、有符号距离函数）下，如何影响3D生成模型的性能？
• RQ5 多模态数据（文本、图像、几何）对3D生成模型泛化能力的相对贡献是什么？

主要发现

• 在 UniG3D 的多视角数据上进行训练的模型，相较于仅使用单视角数据的模型，表现更优，尤其在处理稀有或非常见相机角度时优势明显。
• 使用由多模态模型生成的描述性文本，相比仅使用类别级别标签，能显著提升生成3D物体的可控性与多样性。
• 通用管道成功地将原始3D模型转换为丰富、多模态的表征，无需人工标注，实现了可扩展的数据整理。
• 该数据集能够有效支持 Point-E 和 SDFusion 等3D生成模型的训练，在点云与有符号距离函数表征下均表现出更优性能。
• 实证结果证实，高质量的文本与多视角图像数据对于提升3D生成任务中模型的泛化能力与鲁棒性至关重要。
• 研究表明，数据质量（尤其是文本与图像模态）对模型性能的影响，远超过数据集规模本身的影响。