[论文解读] NeRF-Editing: Geometry Editing of Neural Radiance Fields

Yu-Jie Yuan, Yang-Tian Sun+4 more|arXiv (Cornell University)|May 10, 2022

Advanced Vision and Imaging被引用 5

一句话总结

本文提出 NeRF-Editing，一种无需微调即可实现用户可控几何形状变形的神经辐射场（NeRF）方法。该方法在显式三角网格与隐式 NeRF 表示之间建立对应关系，使用户可使用标准工具对网格进行形变；随后通过四面体网格将形变传播至相机光线，实现对编辑后场景的高保真度照片级真实感新视角合成。

ABSTRACT

Implicit neural rendering, especially Neural Radiance Field (NeRF), has shown great potential in novel view synthesis of a scene. However, current NeRF-based methods cannot enable users to perform user-controlled shape deformation in the scene. While existing works have proposed some approaches to modify the radiance field according to the user's constraints, the modification is limited to color editing or object translation and rotation. In this paper, we propose a method that allows users to perform controllable shape deformation on the implicit representation of the scene, and synthesizes the novel view images of the edited scene without re-training the network. Specifically, we establish a correspondence between the extracted explicit mesh representation and the implicit neural representation of the target scene. Users can first utilize well-developed mesh-based deformation methods to deform the mesh representation of the scene. Our method then utilizes user edits from the mesh representation to bend the camera rays by introducing a tetrahedra mesh as a proxy, obtaining the rendering results of the edited scene. Extensive experiments demonstrate that our framework can achieve ideal editing results not only on synthetic data, but also on real scenes captured by users.

研究动机与目标

• 实现对原本难以直接编辑的隐式 NeRF 表示中的用户可控几何形状变形。
• 弥合显式网格表示的直观编辑与隐式 NeRF 渲染的逼真效果之间的差距。
• 支持通用场景编辑，涵盖动物和人造物体等复杂形状，而不仅限于简单物体平移或颜色编辑。
• 仅使用原始 NeRF 实现编辑后场景的高质量新视角合成，无需重新训练。

提出的方法

• 从预训练的 NeRF 中提取显式三角网格，以支持直观的用户编辑。
• 使用成熟的网格形变技术（如尽可能刚性形变或自由形式形变）对三角网格进行形变。
• 构建一个包裹在形变后三角网格外部的四面体网格，作为空间形变代理。
• 将网格形变传播至四面体网格，生成编码局部几何变化的离散形变场。
• 通过四面体顶点插值，将离散形变场转换为连续形变场，用于光线弯曲。
• 在渲染过程中根据连续形变场弯曲相机光线，确保最终图像准确反映用户的几何编辑。

实验结果

研究问题

• RQ1 是否能有效将显式网格表示中的用户可控几何形状变形迁移至隐式 NeRF 表示？
• RQ2 如何准确地将三角网格的形变传播，以影响 NeRF 中的光线追踪过程？
• RQ3 网格质量和形变策略对最终渲染图像视觉保真度的影响如何？
• RQ4 该方法能否在不微调 NeRF 网络的前提下实现编辑后场景的照片级真实感新视角合成？

主要发现

• 在三角网格上进行编辑的效果显著优于在四面体网格上编辑，SSIM 达 0.975 对比 0.934，LPIPS 为 0.024 对比 0.049，PSNR 为 29.62 对比 24.37。
• 该方法在合成场景和真实世界场景中均实现了高质量编辑，展示了在人类、动物和人造物体等多种对象类型上的泛化能力。
• 网格质量对最终结果影响较小，无论是基于 NeRF 还是 NeuS 生成的网格，均能产生视觉可接受的结果，其中 NeuS 网格表现略优。
• 该方法成功实现了无需微调的可控几何编辑，同时保持了 NeRF 的照片级真实感渲染质量。
• 当光照和外观未随几何变化同步更新时会出现失败案例——例如，形变后阴影区域仍保持黑暗，表明需要集成重光照处理。