[论文解读] ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields

Jiahua Dong, Yu-Xiong Wang|arXiv (Cornell University)|Feb 1, 2024

Advanced Neural Network Applications被引用 7

一句话总结

ViCA-NeRF 是首个将视图一致性纳入考虑的文本引导 NeRF 编辑方法，利用几何与学习正则化在视图间传播编辑并实现更快、更加一致的结果。

ABSTRACT

We introduce ViCA-NeRF, the first view-consistency-aware method for 3D editing with text instructions. In addition to the implicit neural radiance field (NeRF) modeling, our key insight is to exploit two sources of regularization that explicitly propagate the editing information across different views, thus ensuring multi-view consistency. For geometric regularization, we leverage the depth information derived from NeRF to establish image correspondences between different views. For learned regularization, we align the latent codes in the 2D diffusion model between edited and unedited images, enabling us to edit key views and propagate the update throughout the entire scene. Incorporating these two strategies, our ViCA-NeRF operates in two stages. In the initial stage, we blend edits from different views to create a preliminary 3D edit. This is followed by a second stage of NeRF training, dedicated to further refining the scene's appearance. Experimental results demonstrate that ViCA-NeRF provides more flexible, efficient (3 times faster) editing with higher levels of consistency and details, compared with the state of the art. Our code is publicly available.

研究动机与目标

• 以文本指令为驱动，推动并实现对 NeRF 的多视角一致性三维编辑。
• 利用深度引导的几何正则化在视图间传播编辑。
• 在扩散模型中对齐潜在编码以稳定并完善编辑。
• 两阶段编辑流程：先对关键视图进行混合与融合的初步编辑，再进行 NeRF 训练。
• 通过将 NeRF 优化与基于扩散的数据集更新解耦提升效率。

提出的方法

• 定义关键视图并使用 Instruct-Pix2Pix 对这些视图进行文本引导编辑。
• 通过深度引导投影和图像对应关系把编辑传播到其他视图。
• 引入混合细化模型，通过两次 Instruct-Pix2Pix 路径和平均潜在编码来清理混合伪影。
• 引入热身策略，在完全进行 NeRF 训练前高效扩展编辑规模。
• 可选在 NeRF 优化后应用后期细化步骤以提升一致性。

实验结果

研究问题

• RQ1 将对一部分关键视图所做的编辑是否能通过深度引导的对应关系在所有视图中得到一致传播到 NeRF？
• RQ2 在编辑和未编辑图像之间对齐 2D diffusion 模型中的潜在编码是否能提升 3D 一致性和细节？
• RQ3 几何正则化与学习正则化如何互相作用以提升编辑效率与一致性，相较于先前方法？
• RQ4 热身与后期细化策略对编辑效率和最终视觉质量有何影响？

主要发现

• ViCA-NeRF 在多视图一致性与细节方面达到比现有基线更高水平。
• 在所报告的设置中，该方法约快 Instruct-NeRF2NeRF 的 3x。
• 通过对关键视图的编辑并传播到整个场景来实现编辑控制。
• 深度引导投影加上混合细化能降低深度噪声与投影伪影。
• 热身和后期细化策略提升编辑效率和最终外观。