[论文解读] Neural Graphics Pipeline for Controllable Image Generation

Xuelin Chen, Daniel Cohen‐Or+2 more|arXiv (Cornell University)|Jun 18, 2020

Computer Graphics and Visualization Techniques参考文献 36被引用 4

一句话总结

Neural Graphics Pipeline (NGP) 是一种混合生成模型，结合了神经渲染与传统图像形成方法，实现了可控图像生成。它生成粗略的3D模型，通过神经渲染生成视图相关的2D特征图，并利用传统渲染方法进行图像合成，从而在无监督训练中无需显式图像对应关系的情况下，实现对光照、相机、形状和外观的直接控制，同时提升FID得分。

ABSTRACT

We present Neural Graphics Pipeline (NGP), a hybrid generative model that brings together neural and traditional image formation models. NGP generates coarse 3D models that are fed into neural rendering modules to produce view-specific interpretable 2D maps, which are then composited into the final output image using a traditional image formation model. Our approach offers control over image generation by providing direct handles controlling illumination and camera parameters, in addition to control over shape and appearance variations. The key challenge is to learn these controls through unsupervised training that links generated coarse 3D models with unpaired real images via neural and traditional (e.g., Blinn-Phong) rendering functions without establishing an explicit correspondence between them. We evaluate our hybrid modeling framework, compare with neural-only generation methods (namely, DCGAN, LSGAN, WGAN-GP, VON, and SRNs), report improvement in FID scores against real images, and demonstrate that NGP supports direct controls common in traditional forward rendering. Code, data, and trained models will be released on acceptance.

研究动机与目标

• 开发一种生成模型，实现对图像生成的细粒度控制，超越形状和外观的控制范围。
• 弥合神经渲染与传统图像形成模型之间的鸿沟，以提升可控性与真实感。
• 在无需生成3D形状与真实图像之间显式对应关系的前提下，实现无监督训练。
• 在图像生成过程中直接操控光照与相机参数，如同在传统渲染管线中一样。
• 在图像生成质量方面达到最先进水平，以FID得分衡量，优于纯神经方法。

提出的方法

• NGP将粗略的3D模型作为图像合成的初始潜在表征。
• 神经渲染模块基于3D几何结构和视图参数生成视图相关的2D特征图。
• 使用传统图像形成模型（如Blinn-Phong）将渲染后的2D特征图合成最终图像。
• 通过可微分的神经渲染与传统渲染函数，将生成图像与真实图像对齐，实现无监督训练。
• 将光照与相机参数的控制信号直接注入渲染管线，实现端到端的可控性。
• 通过可微分渲染与对抗性训练，避免生成3D形状与真实图像之间的显式对应关系。

实验结果

研究问题

• RQ1 混合神经-传统渲染管线是否能够实现对光照与相机参数的直接操控，从而实现可控图像生成？
• RQ2 在未显式建立生成3D形状与真实图像之间对应关系的情况下，该模型在图像生成任务中的表现如何，相较于纯神经方法？
• RQ3 结合神经渲染与传统渲染在多大程度上提升了生成模型的图像质量与可控性？
• RQ4 NGP框架是否能够支持与传统前向渲染管线相当的控制水平，同时保持生成模型的灵活性？
• RQ5 NGP相较于纯神经生成模型（如DCGAN、WGAN-GP和SRNs）在FID得分方面带来了多大的性能提升？

主要发现

• NGP在FID得分方面优于纯神经生成模型（如DCGAN、LSGAN、WGAN-GP、VON和SRNs）。
• 该模型支持对光照与相机参数的直接控制，实现与传统渲染管线相似的操控方式。
• 无监督训练方案成功将粗略3D模型与真实图像关联，而无需显式的2D-3D对应关系。
• 混合架构实现了更高的图像质量，并更好地解耦了形状、外观、光照与相机控制。
• 该框架表明，结合神经渲染与传统渲染可同时提升可控性与生成保真度。
• 代码、数据与训练好的模型将在论文被接收后公开发布，以支持可复现性与进一步研究。