[论文解读] Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings

Kai Chen, Christopher Choy+4 more|arXiv (Cornell University)|Mar 22, 2018

3D Shape Modeling and Analysis参考文献 40被引用 37

一句话总结

Text2Shape 提出了一种联合嵌入模型，通过结合关联学习与度量学习，学习将自然语言描述与3D形状关联起来，从而实现端到端的文本到形状检索与生成。该方法在两项任务中均优于基线模型，尤其借助一种新颖的条件Wasserstein GAN，能够从文本生成多样化、逼真且色彩准确的3D形状，这是首个无需类别级标注即可从自然语言生成丰富细节、带颜色的3D对象的系统。

ABSTRACT

We present a method for generating colored 3D shapes from natural language. To this end, we first learn joint embeddings of freeform text descriptions and colored 3D shapes. Our model combines and extends learning by association and metric learning approaches to learn implicit cross-modal connections, and produces a joint representation that captures the many-to-many relations between language and physical properties of 3D shapes such as color and shape. To evaluate our approach, we collect a large dataset of natural language descriptions for physical 3D objects in the ShapeNet dataset. With this learned joint embedding we demonstrate text-to-shape retrieval that outperforms baseline approaches. Using our embeddings with a novel conditional Wasserstein GAN framework, we generate colored 3D shapes from text. Our method is the first to connect natural language text with realistic 3D objects exhibiting rich variations in color, texture, and shape detail. See video at https://youtu.be/zraPvRdl13Q

研究动机与目标

• 在不依赖昂贵的类别或属性标注的情况下，弥合自然语言与3D形状模态之间的鸿沟。
• 学习一个联合嵌入空间，以捕捉文本描述与3D形状属性（如颜色、形状、纹理）之间的多对多关系。
• 实现文本到形状的检索，并首次实现逼真、带颜色的3D对象的文本到形状生成。
• 证明联合嵌入可支持通过向量运算进行属性操作与条件生成。

提出的方法

• 利用实例级别的文本-形状配对，通过端到端训练学习联合嵌入空间，结合关联学习与度量学习。
• 采用孪生网络架构，将文本与3D形状嵌入到共享空间中，使语义相似的配对彼此靠近。
• 应用度量学习以强化模态内相似性（文本-文本、形状-形状）与模态间对齐（文本-形状）。
• 使用联合嵌入作为条件，训练条件Wasserstein GAN（CWGAN），相比标准GAN，提升了模式多样性与生成质量。
• 在学习到的嵌入上执行向量运算，以实现属性迁移（如颜色、形状）并生成新形状。
• 收集了一个大规模数据集，包含75,000条自然语言描述，对应ShapeNet中的15,000把椅子与桌子，以及一个包含带字幕的原始几何体的合成数据集，用于受控评估。

实验结果

研究问题

• RQ1 能否直接从自然语言描述与3D形状中学习到联合嵌入空间，而无需类别级标注？
• RQ2 与基线方法相比，这种联合嵌入在零样本文本到形状检索中的表现如何？
• RQ3 学习到的嵌入能否支持高质量、多样化的带颜色3D对象的文本到形状生成？
• RQ4 在联合嵌入上进行的向量运算在多大程度上能实现属性迁移并生成新形状？
• RQ5 以联合嵌入为条件的条件Wasserstein GAN与标准GAN相比，在生成逼真、属性准确的3D形状方面表现如何？

主要发现

• 所提出的联合嵌入模型在文本到形状检索任务中显著优于基线方法，表明文本与3D形状之间具有强大的语义对齐。
• 使用联合嵌入的条件Wasserstein GAN（CWGAN）生成的3D形状比标准GAN或CGAN基线更逼真、更多样化且色彩更准确。
• CWGAN模型能正确地根据输入文本进行条件控制，生成与描述属性匹配的形状——例如，当输入提示为“白色桌子”时，能生成白色桌子，而基线模型在颜色或类别上常出现失败。
• 在学习到的嵌入上执行向量运算可实现属性迁移，如改变颜色或形状，并生成合理的新形状。
• 尽管性能表现强劲，该模型在细粒度细节（如腿的数量、精确形状）方面仍存在困难，表明在捕捉精确描述性属性方面仍有改进空间。