[论文解读] Understanding Pure CLIP Guidance for Voxel Grid NeRF Models

Han-Hung Lee, Anne Lynn S. Chang|arXiv (Cornell University)|Sep 30, 2022

Generative Adversarial Networks and Image Synthesis被引用 16

一句话总结

本文提出了一种纯CLIP引导的隐式体素网格NeRF模型，用于无需任何3D数据集监督的文本到3D生成。通过应用基于图像的增强方法并使用CLIP模型集成，该方法在几何一致性与细节清晰度方面优于先前工作，同时在仅依赖CLIP视觉-语言对齐的情况下，实现了更高的内存效率和更快的训练速度。

ABSTRACT

We explore the task of text to 3D object generation using CLIP. Specifically, we use CLIP for guidance without access to any datasets, a setting we refer to as pure CLIP guidance. While prior work has adopted this setting, there is no systematic study of mechanics for preventing adversarial generations within CLIP. We illustrate how different image-based augmentations prevent the adversarial generation problem, and how the generated results are impacted. We test different CLIP model architectures and show that ensembling different models for guidance can prevent adversarial generations within bigger models and generate sharper results. Furthermore, we implement an implicit voxel grid model to show how neural networks provide an additional layer of regularization, resulting in better geometrical structure and coherency of generated objects. Compared to prior work, we achieve more coherent results with higher memory efficiency and faster training speeds.

研究动机与目标

• 探究在无任何配对文本-3D数据的情况下，纯CLIP引导在文本到3D生成中的有效性。
• 系统评估基于图像的增强方法及其对防止CLIP引导3D生成中对抗性生成的影响。
• 从几何正则化与生成质量角度，对比显式与隐式体素网格表示的性能差异。
• 探索CLIP主干网络选择与模型集成在提升生成3D物体细节与一致性方面的作用。
• 在相比先前方法更低内存占用与更快速度的前提下，实现高分辨率、一致性的3D生成。

提出的方法

• 该方法使用隐式体素网格表示（VoxImp）来参数化3D辐射场，支持可微分神经渲染。
• 通过可微分渲染优化CLIP的图文对比损失，输入提示引导3D形状生成。
• 在渲染过程中应用基于图像的增强方法（如DiffAugment和色彩抖动），以正则化CLIP相似性优化并防止对抗性输出。
• 集成多个CLIP模型（如ViT-B/16、ViT-B/32、OpenCLIP）以提升特征鲁棒性与细节保真度。
• 采用多视角渲染目标进行端到端训练，优化不同视角下的CLIP嵌入相似性。
• 训练在224²分辨率下进行，通过消融实验分析分辨率与架构选择对效率与质量的影响。

实验结果

研究问题

• RQ1 不同的基于图像的增强方法如何影响CLIP引导3D生成的一致性与真实感？
• RQ2 集成多个CLIP模型在多大程度上能提升3D生成的几何细节并减少对抗性伪影？
• RQ3 隐式体素网格表示与显式体素网格在几何正则化与重建质量方面有何对比？
• RQ4 纯CLIP引导能否在无任何3D数据集监督的情况下生成高分辨率、一致性的3D物体？
• RQ5 在纯CLIP引导的3D生成中，模型复杂度、内存使用与训练速度之间存在何种权衡？

主要发现

• 隐式体素网格模型（VoxImp）在ViT-B/16与ViT-B/32 CLIP模型上的定量检索得分均达到最优，优于先前工作。
• 使用CLIP ViT-B/16训练的VoxImp模型在相同与不同CLIP模型上均取得高CLIP检索得分，表明其具备强鲁棒性与泛化能力。
• 在224²分辨率下训练可获得比低分辨率（如168²）更高质量的结果，几何结构与细节保留更佳。
• 当在ViT-B/32 CLIP模型上评估时，VoxExp模型显著优于Dream Fields，证明其泛化能力更强。
• 所提方法仅使用7GB内存，并在RTX 2080 Ti上约20分钟内完成训练，相比Dream Fields更具内存效率与训练速度优势。
• 图像增强（如DiffAugment）对于防止对抗性生成至关重要，而某些增强（如透视变换）可能因提示不同而损害纹理一致性。