[论文解读] NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors

Hao-Kang Liu, I‐Chao Shen+1 more|arXiv (Cornell University)|Jun 10, 2022

Advanced Vision and Imaging被引用 14

一句话总结

本文提出 NeRF-In，这是首个用于自由形状 NeRF 修复的框架，可在不重新训练或使用类别特定数据的情况下，从由预训练 NeRF 表示的 3D 场景中移除不需要的物体。通过将用户绘制的掩码转移到多个视图，并利用 RGB-D 先验进行引导，该方法在多个视图间联合优化 NeRF 模型，以最少的用户操作实现视觉上可信且几何一致的结果。

ABSTRACT

Though Neural Radiance Field (NeRF) demonstrates compelling novel view synthesis results, it is still unintuitive to edit a pre-trained NeRF because the neural network's parameters and the scene geometry/appearance are often not explicitly associated. In this paper, we introduce the first framework that enables users to remove unwanted objects or retouch undesired regions in a 3D scene represented by a pre-trained NeRF without any category-specific data and training. The user first draws a free-form mask to specify a region containing unwanted objects over a rendered view from the pre-trained NeRF. Our framework first transfers the user-provided mask to other rendered views and estimates guiding color and depth images within these transferred masked regions. Next, we formulate an optimization problem that jointly inpaints the image content in all masked regions across multiple views by updating the NeRF model's parameters. We demonstrate our framework on diverse scenes and show it obtained visual plausible and structurally consistent results across multiple views using shorter time and less user manual efforts.

研究动机与目标

• 为解决编辑预训练 NeRF 的挑战，由于其隐式关联的参数-外观与几何关系，修改较为困难。
• 通过允许用户在单个渲染视图上绘制掩码，实现对 3D 场景的直观、自由形状编辑。
• 在不需额外训练或类别特定数据的情况下，实现跨多个视图的一致且视觉上可信的修复。
• 减少用户操作量，并避免因逐视图修复而引入的视觉不一致。
• 证明利用 RGB-D 引导优化预训练 NeRF 的可行性，用于场景润色与物体移除。

提出的方法

• 用户在单个渲染视图上绘制自由形状掩码，以指定预训练 NeRF 场景中的不需要区域。
• 该框架使用视频实例分割方法将用户提供的掩码转移到多个采样视图。
• 利用预训练的图像修复方法生成掩码区域内的引导彩色图像，并使用双边求解器生成深度图像。
• 制定联合优化问题以更新 NeRF 的神经网络参数，最小化所有掩码视图中的颜色和深度重建损失。
• 优化同时使用颜色引导损失（$L_{\text{color}}^{\text{all}}$）和深度引导损失（$L_{\text{depth}}$），以确保结构一致性和视觉可信度。
• 该方法避免使用其他视图的修复图像作为颜色引导，以防止引入视觉不一致。

实验结果

研究问题

• RQ1 能否在不重新训练或使用类别特定数据的情况下，对预训练 NeRF 进行编辑，以自由形状区域移除不需要的物体？
• RQ2 如何有效转移并利用用户提供的掩码，使其在多个视图中实现以确保 NeRF 编辑的 3D 一致性？
• RQ3 RGB-D 先验在实现准确且视觉一致的 NeRF 修复中起到什么作用？
• RQ4 颜色和深度引导损失如何协同提升优化后 NeRF 的几何与外观保真度？
• RQ5 该框架能否在最小化用户输入和计算成本的同时，保持跨视图的一致性？

主要发现

• 所提出的方法仅通过一个用户绘制的掩码，即可在多个视图中实现视觉可信且结构一致的修复结果。
• 同时使用颜色和深度引导损失显著改善了结果，消除了颜色噪声，并在平坦区域保持了外观一致性。
• 仅使用深度引导损失进行优化可获得正确的几何结构，但会在掩码区域外部引入颜色伪影。
• 仅使用用户选择的视图作为颜色引导，其结果比包含多个修复视图的引导更稳定，后者可能引入视觉不一致。
• 该框架成功在深度变化较大的区域移除物体，并在复杂场景中保持一致性。
• 在高反射率或细结构区域，该方法因初始引导材料中的伪影而失效，表明当前引导生成存在局限性。