[论文解读] StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning

Yihua Huang, Yue He+3 more|arXiv (Cornell University)|May 24, 2022

Computer Graphics and Visualization Techniques被引用 7

一句话总结

StylizedNeRF 提出了一种互学习框架，将 2D 图像风格迁移网络与神经辐射场（NeRF）相结合，实现一致的 3D 场景风格迁移。通过从 NeRF 向 2D 风格化器蒸馏空间一致性，并使用基于风格的可学习潜在代码，该方法在视觉质量与长距离一致性方面均优于当前最先进方法。

ABSTRACT

3D scene stylization aims at generating stylized images of the scene from arbitrary novel views following a given set of style examples, while ensuring consistency when rendered from different views. Directly applying methods for image or video stylization to 3D scenes cannot achieve such consistency. Thanks to recently proposed neural radiance fields (NeRF), we are able to represent a 3D scene in a consistent way. Consistent 3D scene stylization can be effectively achieved by stylizing the corresponding NeRF. However, there is a significant domain gap between style examples which are 2D images and NeRF which is an implicit volumetric representation. To address this problem, we propose a novel mutual learning framework for 3D scene stylization that combines a 2D image stylization network and NeRF to fuse the stylization ability of 2D stylization network with the 3D consistency of NeRF. We first pre-train a standard NeRF of the 3D scene to be stylized and replace its color prediction module with a style network to obtain a stylized NeRF. It is followed by distilling the prior knowledge of spatial consistency from NeRF to the 2D stylization network through an introduced consistency loss. We also introduce a mimic loss to supervise the mutual learning of the NeRF style module and fine-tune the 2D stylization decoder. In order to further make our model handle ambiguities of 2D stylization results, we introduce learnable latent codes that obey the probability distributions conditioned on the style. They are attached to training samples as conditional inputs to better learn the style module in our novel stylized NeRF. Experimental results demonstrate that our method is superior to existing approaches in both visual quality and long-range consistency.

研究动机与目标

• 为解决现有 2D 风格迁移方法因缺乏 3D 几何感知能力，无法在新视角下保持一致 3D 场景风格迁移的问题。
• 弥合 2D 风格示例与 3D 隐式表示（NeRF）之间的领域差距，该差距阻碍了有效风格迁移。
• 通过 2D 风格化网络与风格化 NeRF 的联合训练实现互学习，以提升风格迁移的质量与一致性。
• 通过引入基于风格的可学习潜在代码，缓解 2D 风格化输出中的模糊性问题，从而减少 NeRF 渲染中的模糊与不一致。

提出的方法

• 在 3D 场景上预训练标准 NeRF，并将其颜色预测头替换为风格模块，形成风格化 NeRF。
• 在预训练过程中，通过一致性损失将 NeRF 的空间一致性先验蒸馏到 2D 风格化网络中。
• 引入模仿损失，对齐风格化 NeRF 与 2D 风格化网络的输出，实现知识共享。
• 将 2D 风格化结果参数化为基于风格条件概率分布的可学习潜在代码，提升对模糊性的鲁棒性。
• 使用分布损失 $L_d$ 对潜在代码进行正则化，使其聚集在预训练分布的均值附近，从而在推理过程中减少伪影。
• 由于体积渲染天然具备 3D 一致性，最终选择风格化 NeRF 的渲染输出作为最终结果。

实验结果

研究问题

• RQ1 2D 风格化网络与 NeRF 之间的互学习能否在保持高视觉质量的同时提升 3D 场景风格迁移的一致性？
• RQ2 如何有效弥合 2D 风格图像与 3D NeRF 表示之间的领域差距，以实现风格迁移？
• RQ3 基于风格的可学习潜在代码能否缓解 2D 风格化结果中的不一致性，并提升风格化 NeRF 的性能？
• RQ4 从 NeRF 向 2D 网络蒸馏空间一致性是否能增强风格化输出的 3D 一致性？
• RQ5 互学习与条件潜在代码的结合是否比独立的 2D 或 NeRF 风格化方法更有效？

主要发现

• 用户研究（50 名参与者，每项指标 1000 次投票）证实，我们的方法在风格迁移质量与一致性方面均优于当前最先进方法。
• 用户偏好箱线图显示，我们的方法在风格迁移质量与一致性上均显著胜出，中位数得分更高，四分位距更小。
• 消融实验证实，可学习潜在代码与 2D 解码器的联合训练至关重要：移除任一组件均会导致明显伪影与模糊。
• 分布损失 $L_d$ 有效使潜在代码聚集在均值附近，减少推理过程中的伪影，提升结果稳定性。
• 与 2D 方法相比，Stylized NeRF 输出在长距离上保持了更优的一致性，后者在远距离视角下易出现闪烁与不一致现象。
• 完整框架（包含互学习与条件潜在代码）生成的图像轮廓更清晰，风格化结果更合理，优于消融变体。