[论文解读] StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions

Lukas Höllein, Justin C. Johnson+1 more|arXiv (Cornell University)|Dec 2, 2021

Computer Graphics and Visualization Techniques被引用 1

一句话总结

本文提出StyleMesh，一种通过利用多视角图像导出的深度和视角感知损失，对重建的室内3D网格进行3D一致风格迁移的方法。通过在优化过程中利用网格的深度和表面法线，该方法实现了无伪影的清晰、视角无关的风格化，支持传统图形渲染管线的实时渲染。

ABSTRACT

We apply style transfer on mesh reconstructions of indoor scenes. This enables VR applications like experiencing 3D environments painted in the style of a favorite artist. Style transfer typically operates on 2D images, making stylization of a mesh challenging. When optimized over a variety of poses, stylization patterns become stretched out and inconsistent in size. On the other hand, model-based 3D style transfer methods exist that allow stylization from a sparse set of images, but they require a network at inference time. To this end, we optimize an explicit texture for the reconstructed mesh of a scene and stylize it jointly from all available input images. Our depth- and angle-aware optimization leverages surface normal and depth data of the underlying mesh to create a uniform and consistent stylization for the whole scene. Our experiments show that our method creates sharp and detailed results for the complete scene without view-dependent artifacts. Through extensive ablation studies, we show that the proposed 3D awareness enables style transfer to be applied to the 3D domain of a mesh. Our method can be used to render a stylized mesh in real-time with traditional rendering pipelines.

研究动机与目标

• 利用神经风格迁移实现对重建3D室内场景的艺术化风格化，突破2D图像方法的限制。
• 解决2D方法在3D风格迁移中常见的视角依赖伪影（如拉伸或不一致的图案尺寸）问题。
• 利用3D几何信息（深度和表面法线）指导纹理优化，实现世界空间一致的风格化。
• 生成显式可渲染的纹理，可与标准图形渲染管线集成，实现实时VR渲染。
• 实现高质量风格化，保留深度感知能力，避免因透视畸变导致的噪声或失真。

提出的方法

• 通过可微分渲染管道，基于多视角相机的风格迁移损失，对3D网格的单个显式RGB纹理进行优化。
• 通过按深度划分的感知损失实现深度感知损失拆分，基于不同屏幕分辨率的图像块渲染，确保世界空间中风格化图案尺寸的一致性。
• 通过基于表面法线与视线方向夹角加权风格损失，实现视角感知风格化，提升良好视角下的细节表现。
• 在反向传播过程中，使用逐像素的深度和视角权重缩放梯度，减少离散化伪影并提升平滑度。
• 通过多分辨率风格图像计算Gram矩阵，实现粗到细的风格化，使掠射角度获得更粗糙的细节。
• 最小化包含内容、风格以及深度/视角感知正则化项的联合损失函数，以平衡保真度与艺术一致性。

实验结果

研究问题

• RQ1 能否将2D神经风格迁移方法适配为在重建的室内3D网格上实现3D一致风格化，且无视角依赖伪影？
• RQ2 如何利用深度和表面法线信息，确保不同视角下风格化图案在世界空间中保持一致的尺寸和形状？
• RQ3 与标准2D风格迁移相比，视角感知优化是否能提升3D网格上风格化纹理的视觉质量和一致性？
• RQ4 所生成的风格化纹理能否通过传统图形渲染管线实现高效实时渲染？
• RQ5 与现有3D风格迁移和视频风格迁移基线方法相比，所提方法在定性和定量指标上表现如何？

主要发现

• 所提出的深度感知优化成功在世界空间中生成尺寸一致的风格化图案，消除了由透视畸变引起的拉伸伪影。
• 视角感知风格化通过在掠射角度应用更粗糙的细节、在良好视角下精细处理，显著减少了视觉不一致性，提升了感知连贯性。
• 用户研究表明，85%的参与者更偏好本方法，认为其在减少可见拉伸和背景图案尺寸方面优于基线方法。
• 与应用于RGB纹理的视频风格迁移流水线相比，本方法实现了更锐利、更细致的风格化，避免了因帧间不一致导致的模糊和噪声。
• 在单张RTX 3090 GPU上经过3小时优化后，生成的纹理可使用标准图形渲染管线实现实时渲染，而基于模型的方法则需推理时的前向传播。
• 消融实验证实，深度感知和视角感知均为实现3D一致性的关键，任一组件的缺失均会导致明显伪影和感知质量下降。