[论文解读] StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis

Jiatao Gu, Lingjie Liu+2 more|arXiv (Cornell University)|Oct 18, 2021

Advanced Vision and Imaging参考文献 45被引用 180

一句话总结

StyleNeRF 将一个以风格为条件的 NeRF 基生成器与渐进式 2D 上采样结合，在交互速率下渲染高分辨率、3D 一致的图像，具备相机控制和风格编辑能力。

ABSTRACT

We propose StyleNeRF, a 3D-aware generative model for photo-realistic high-resolution image synthesis with high multi-view consistency, which can be trained on unstructured 2D images. Existing approaches either cannot synthesize high-resolution images with fine details or yield noticeable 3D-inconsistent artifacts. In addition, many of them lack control over style attributes and explicit 3D camera poses. StyleNeRF integrates the neural radiance field (NeRF) into a style-based generator to tackle the aforementioned challenges, i.e., improving rendering efficiency and 3D consistency for high-resolution image generation. We perform volume rendering only to produce a low-resolution feature map and progressively apply upsampling in 2D to address the first issue. To mitigate the inconsistencies caused by 2D upsampling, we propose multiple designs, including a better upsampler and a new regularization loss. With these designs, StyleNeRF can synthesize high-resolution images at interactive rates while preserving 3D consistency at high quality. StyleNeRF also enables control of camera poses and different levels of styles, which can generalize to unseen views. It also supports challenging tasks, including zoom-in and-out, style mixing, inversion, and semantic editing.

研究动机与目标

• 激发/推动能够处理高分辨率输出且具备强多视角一致性的3D感知图像合成。
• 将基于风格的生成器与NeRF集成，以提高渲染效率和3D一致性。
• 实现对相机姿态和风格属性的明确控制，包括风格混合、插值、反演和语义编辑。

提出的方法

• 将3D场景建模为一个NeRF，其特征受来自映射网络的风格向量条件化。
• 使用风格条件化的MLP来预测密度和颜色，颜色预测不以视角方向为条件以提高一致性。
• 通过生成低分辨率的NeRF特征图并在2D上进行渐进式上采样到高分辨率，同时保持3D一致性来渲染。
• 使用将可学习组件与固定模糊相结合的专用上采样算子以降低伪影。
• 引入NeRF路径正则化以促使输出与NeRF渲染相匹配并抑制视角方向依赖和噪声注入。
• 从低分辨率到高分辨率进行分阶段训练，以稳定几何学习和多视图一致性。

实验结果

研究问题

• RQ1 基于风格条件的NeRF生成器是否能够在保持强多视角一致性的同时产生照片级真实感的高分辨率图像？
• RQ2 结合设计的上采样算子进行的渐进式2D上采样是否能在实现交互渲染速度的同时保持3D一致性？
• RQ3 去除颜色的视角方向条件化以及减小2D噪声对3D一致性和质量有何影响？
• RQ4 在一个3D感知生成模型中，可以实现的显式相机控制和风格操作（混合、插值、反演、编辑）的水平如何？

主要发现

• StyleNeRF 在交互速率下实现高质量的1024^2 图像合成，并具备强多视角一致性。
• 所提出的上采样设计和NeRF路径正则化相比简单上采样显著提高了3D一致性。
• 去除颜色预测的视角方向条件化可以提高跨视图的合成一致性。
• 该模型支持显式的相机控制和风格操作，包括风格混合、插值、反演和基于CLIP的编辑。
• 渐进式训练在高分辨率下相比从零开始训练，能提升稳定性和几何学习效果。