[论文解读] Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

Xiangyu Wang, Jingsen Zhu+5 more|arXiv (Cornell University)|Jul 27, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

Seal-3D 提出了一种用于神经辐射场（NeRF）的交互式、像素级编辑系统，通过两阶段教师-学生蒸馏框架与代理函数，将用户编辑映射至原始 NeRF 空间，实现约 1 秒的即时预览与高保真编辑效果。该方法支持多种编辑类型——如涂抹、边界框操作与色彩编辑——同时在无需显式网格或复杂代理的情况下，保持阴影与几何一致性。

ABSTRACT

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models in the teacher model and a two-stage training strategy for the student model with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.

研究动机与目标

• 为隐式 3D 表示（如 NeRF）缺乏交互式、细粒度编辑工具的问题提供解决方案。
• 克服非局部隐式网络中局部编辑的挑战，避免参数更新引发的全局失真。
• 实现直接、用户友好的编辑操作，并提供即时视觉反馈，无需依赖中间代理（如网格）。
• 在编辑过程中保持视图一致的阴影与几何细节，尤其在复杂表面效果（如阴影与凹凸）中表现优异。
• 在一个统一、交互式的系统中，支持多种编辑操作——包括几何形变、色彩绘制与物体迁移——的并行处理。

提出的方法

• 代理函数将用户编辑指令（如涂抹轨迹或边界框）从编辑空间映射至原始 NeRF 的 3D 场景空间，建立编辑与底层神经场之间的对应关系。
• 采用两阶段训练策略：首先，通过固定 MLP 与更新的位置编码网格进行局部预训练，生成粗略的即时预览；其次，通过全局微调进一步优化结果。
• 采用教师-学生蒸馏机制，教师模型通过代理函数提供监督信号，指导学生模型的参数更新，并结合内容感知损失。
• 引入局部感知的位置编码网格，实现在不破坏全局网络结构的前提下实现局部编辑效果。
• 学生模型通过联合优化光度损失与局部几何损失进行训练，以确保视图一致性与表面细节的精确还原。
• 系统将多种编辑工具（边界框、涂抹、锚点、色彩）集成至基于 GUI 的界面中，支持实时交互与预览。

实验结果

研究问题

• RQ1 一个 NeRF 编辑系统能否在保持几何与阴影保真度的前提下，实现交互式、像素级编辑，并将预览延迟控制在亚秒级？
• RQ2 如何在不依赖显式 3D 几何（如网格）的前提下，有效将用户编辑指令映射至 NeRF 的隐式 3D 空间？
• RQ3 何种训练策略能够平衡局部与全局优化，实现快速收敛以支持即时预览，同时获得高质量结果？
• RQ4 在非局部隐式表示中，局部编辑能在多大程度上实现，而不会引发全局失真或伪影？
• RQ5 该方法能否同时且视图一致地支持多种编辑类型——如几何形变、色彩编辑与物体迁移？

主要发现

• Seal-3D 实现了约 1 秒的预览时间，显著快于现有方法所需数分钟甚至数小时的收敛时间。
• 两阶段训练策略（预训练 + 微调）可在数秒内生成粗略结果，同时在 2 分钟内完成高质量输出的进一步优化。
• 该方法成功保留了复杂阴影效果，如抬起表面的阴影与凹凸感，在视觉真实感与伪影减少方面优于基线方法（如 NeuMesh 与 Liu et al. [20]）。
• 学生网络的输出结果常优于教师模型，尤其在减少视图不一致伪影（如漂浮物体）方面表现优异，证明了蒸馏的有效性。
• 系统支持多种编辑操作（如物体迁移、几何形变、纹理绘制），且无需显式网格代理，显著提升了用户友好性与交互性。
• 消融实验证实，在预训练阶段固定 MLP 可防止全局退化，且两阶段策略能有效平衡局部拟合与全局一致性。