[论文解读] Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion

Tengfei Wang, Bo Zhang+9 more|arXiv (Cornell University)|Dec 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

Rodin 提出了一种基于扩散模型的生成方法，通过将三平面特征展开为二维平面，实现高效的3D感知扩散，从而生成高保真度的3D数字人像（作为神经辐射场）。该方法利用3D感知卷积、潜在条件控制和分层合成，从图像或文本提示中生成细节丰富且可编辑的3D人像，消融实验中FID分数低至26.1。

ABSTRACT

This paper presents a 3D generative model that uses diffusion models to automatically generate 3D digital avatars represented as neural radiance fields. A significant challenge in generating such avatars is that the memory and processing costs in 3D are prohibitive for producing the rich details required for high-quality avatars. To tackle this problem we propose the roll-out diffusion network (Rodin), which represents a neural radiance field as multiple 2D feature maps and rolls out these maps into a single 2D feature plane within which we perform 3D-aware diffusion. The Rodin model brings the much-needed computational efficiency while preserving the integrity of diffusion in 3D by using 3D-aware convolution that attends to projected features in the 2D feature plane according to their original relationship in 3D. We also use latent conditioning to orchestrate the feature generation for global coherence, leading to high-fidelity avatars and enabling their semantic editing based on text prompts. Finally, we use hierarchical synthesis to further enhance details. The 3D avatars generated by our model compare favorably with those produced by existing generative techniques. We can generate highly detailed avatars with realistic hairstyles and facial hair like beards. We also demonstrate 3D avatar generation from image or text as well as text-guided editability.

研究动机与目标

• 解决使用扩散模型生成细节丰富的3D人像时计算和内存成本过高的问题。
• 实现在单张图像或文本提示下高效且高保真度的3D人像生成。
• 通过文本引导的操控实现人像的语义编辑，同时保持全局一致性。
• 通过引入3D感知卷积，克服2D扩散在处理3D结构化特征图时的局限性。
• 实现可扩展的分层合成，避免3D生成中不可接受的内存消耗。

提出的方法

• 将3D神经辐射场表示为三个正交的2D特征平面（三平面），并将其展开为单个2D特征平面以用于2D扩散。
• 引入3D感知卷积，基于其3D空间关系关注三个平面中的对应特征，实现跨平面的特征同步。
• 使用CLIP图像编码器进行潜在条件控制，生成语义潜在向量，以在扩散过程中协调全局一致性。
• 采用分层合成流水线：首先生成低分辨率三平面（64×64），然后通过基于扩散的上采样器提升至256×256分辨率。
• 在上采样训练过程中应用分块图像级损失，以提升感知质量并实现监督式、特定尺度的训练。
• 利用冻结的CLIP文本编码器将文本提示与图像潜在表示对齐，通过嵌入操作实现文本引导的3D人像编辑。

实验结果

研究问题

• RQ1 通过2D特征展开保留3D结构关系，2D扩散模型能否有效生成高保真3D人像？
• RQ2 3D感知卷积在保持计算效率的同时，如何提升三平面表示之间的特征合成质量？
• RQ3 潜在条件控制在多大程度上提升了3D人像生成的全局一致性和可编辑性？
• RQ4 分层扩散合成能否在不产生高昂内存开销的情况下实现高分辨率结果？
• RQ5 使用CLIP嵌入潜在表示的文本引导编辑，在语义上操控生成的3D人像方面有多高效？

主要发现

• 在消融实验中，当采用三平面展开、潜在条件控制和3D感知卷积时，Rodin 模型的FID得分为26.1，显著优于基线配置。
• 扩散上采样器对质量提升贡献显著，当应用分块图像级损失和条件增强时，FID从38.6降至26.1。
• 该模型成功生成了细节丰富的3D人像，包括逼真的头发和面部毛发（如胡须、络腮胡、鬓角），即使仅基于单张正面人像图像。
• 文本引导编辑支持解耦且语义明确的修改，例如改变发色、添加眼镜或改变面部表情，均通过提示工程实现。
• 分层合成流水线在训练期间无需全图渲染即可实现高分辨率生成，降低了内存开销，并支持特定尺度的监督。
• 该模型展现出强大的泛化能力，能生成训练数据中未见的多样化、独特的人像，包括新颖的发型和服饰组合。