[论文解读] ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation

Zhengyi Wang, Cheng Lu+5 more|arXiv (Cornell University)|May 25, 2023

Generative Adversarial Networks and Image Synthesis被引用 159

一句话总结

ProlificDreamer 介绍 Variational Score Distillation (VSD)，一种基于粒子 的变分框架，将三维参数视为分布，以实现高保真且多样化的文本到3D生成，优于 SDS。

ABSTRACT

Score distillation sampling (SDS) has shown great promise in text-to-3D generation by distilling pretrained large-scale text-to-image diffusion models, but suffers from over-saturation, over-smoothing, and low-diversity problems. In this work, we propose to model the 3D parameter as a random variable instead of a constant as in SDS and present variational score distillation (VSD), a principled particle-based variational framework to explain and address the aforementioned issues in text-to-3D generation. We show that SDS is a special case of VSD and leads to poor samples with both small and large CFG weights. In comparison, VSD works well with various CFG weights as ancestral sampling from diffusion models and simultaneously improves the diversity and sample quality with a common CFG weight (i.e., $7.5$). We further present various improvements in the design space for text-to-3D such as distillation time schedule and density initialization, which are orthogonal to the distillation algorithm yet not well explored. Our overall approach, dubbed ProlificDreamer, can generate high rendering resolution (i.e., $512 imes512$) and high-fidelity NeRF with rich structure and complex effects (e.g., smoke and drops). Further, initialized from NeRF, meshes fine-tuned by VSD are meticulously detailed and photo-realistic. Project page and codes: https://ml.cs.tsinghua.edu.cn/prolificdreamer/

研究动机与目标

• 在不需要额外形状引导或辅助模型的前提下，推动并实现高保真、多样化的文本到3D生成。
• 解决 Score Distillation Sampling (SDS) 的局限性，如过度饱和、过度平滑和多样性不足。
• 提出一个有原则性的变分框架（VSD），解释 SDS 的局限性并在各种 CFG 设置下提升样本质量。
• 探索设计空间要素，如渲染分辨率、蒸馏时间表和场景初始化，以最大化3D质量。

提出的方法

• 将给定文本提示的三维内容定义为对三维表示的分布。通过对扩散时间 t 的有噪渲染图像与一个预训练扩散模型之间的 KL 散度来优化分布 mu（变分分数蒸馏）。
• 用粒子集 {theta_i} 表示 mu（n 最大为4），推导粒子的 Wasserstein 梯度流更新（Eq. 7）。
• 使用在渲染图像上训练的分数模型 epsilon_phi 来估计嘈杂渲染图像的得分，参数化为 LoRA 以提高效率。 通过反向传播 VSD 梯度（Eq. 9）并交替更新 theta_i 和 epsilon_phi 来更新粒子。
• 将 SDS 作为 VSD 的一个特例，使用 Dirac 变分分布，解释多样性和保真度降低的原因。
• 实现两阶段退火时间表和高分辨率训练（512x512）以提高视觉质量。

实验结果

研究问题

• RQ1 从文本生成的三维内容采用分布式（变分）形式是否能在多样性和保真度方面超过单点 SDS？
• RQ2 引入扩散时间退火、更高的渲染分辨率和场景初始化如何影响文本到3D的质量？
• RQ3 哪些 CFG 设置能在 VSD 中实现高质量样本，并且它们在不同提示和场景下与 SDS 的比较如何？
• RQ4 SDS 是否可作为 VSD 的一个特例，并且学习参数化得分函数是否有助于泛化？
• RQ5 在没有额外形状引导的情况下，VSD 能否从文本生成复杂的 360° 场景以及高保真 NeRFs 与纹理网格？

主要发现

• VSD 在保真度和多样性方面优于 SDS，在 2D 和 3D 测试中以通用 CFG（7.5）实现现实的样本。
• SDS 被证明是 VSD 的一个特例，解释了其在样本多样性和质量方面的局限性。
• ProlificDreamer 提供高分辨率结果（512×512） 的 NeRFs，具有丰富的结构和效果，并且能够从文本提示实现 360° 场景。
• 两阶段训练和场景初始化策略显著提升复杂场景和大环境的质量。
• 在 VSD 指导下的网格微调相比基于 SDS 的方法，产生更细致、照片级真实的纹理。