[论文解读] Soft Rasterizer: Differentiable Rendering for Unsupervised Single-View Mesh Reconstruction

Shichen Liu, Weikai Chen+2 more|arXiv (Cornell University)|Jan 17, 2019

3D Shape Modeling and Analysis参考文献 57被引用 78

一句话总结

引入 Soft Rasterizer（SoftRas），一种可微分的基于轮廓的光栅化器，通过将渲染损失反向传播到网格生成器来实现无监督的单视图三维网格重建。

ABSTRACT

Rendering is the process of generating 2D images from 3D assets, simulated in a virtual environment, typically with a graphics pipeline. By inverting such renderer, one can think of a learning approach to predict a 3D shape from an input image. However, standard rendering pipelines involve a fundamental discretization step called rasterization, which prevents the rendering process to be differentiable, hence suitable for learning. We present the first non-parametric and truly differentiable rasterizer based on silhouettes. Our method enables unsupervised learning for high-quality 3D mesh reconstruction from a single image. We call our framework `soft rasterizer' as it provides an accurate soft approximation of the standard rasterizer. The key idea is to fuse the probabilistic contributions of all mesh triangles with respect to the rendered pixels. When combined with a mesh generator in a deep neural network, our soft rasterizer is able to generate an approximated silhouette of the generated polygon mesh in the forward pass. The rendering loss is back-propagated to supervise the mesh generation without the need of 3D training data. Experimental results demonstrate that our approach significantly outperforms the state-of-the-art unsupervised techniques, both quantitatively and qualitatively. We also show that our soft rasterizer can achieve comparable results to the cutting-edge supervised learning method and in various cases even better ones, especially for real-world data.

研究动机与目标

• 在没有三维 ground truth 的情况下，动机来自单图像的无监督三维重建。
• 提出一个真正可微分的光栅化器，适合端到端学习。
• 展示使用 SoftRas 的轮廓线监督能产生高质量的网格重建。
• 与最先进的无监督方法进行比较，并分析真实感与几何质量。

提出的方法

• 通过每个三角形距离相关的像素概率图 D_j 将光栅化形式化为一个概率性、可微分的过程。
• 定义 D_j^i = sigmoid(delta_ij * d(i,j)^2 / sigma) 其中 d(i,j) 是像素 i 到三角形 f_j 的距离，delta_ij 指示像素是否在 f_j 的内部还是外部。
• 使用可微的 OR 类算子 hat{S}^i = 1 - prod_j (1 - D_j^i) 将三角形贡献聚合起来以近似轮廓形成。
• 将 SoftRas 集成到端到端的网格重建网络中，该网络通过编码器-解码器来预测顶点位移以变形模板球。
• 使用渲染 hat{S} 与 ground-truth 轮廓 S 之间的 IoU 基于轮廓损失进行训练，并辅以拉普拉斯和扁平化正则化以获得平滑几何。
• 可选地通过对颜色损失进行反向传播，将颜色信息扩展到可微光栅化器中，从而实现颜色化网格重建。

实验结果

研究问题

• RQ1 一个真正可微分的光栅化器是否能够足够接近标准光栅化，以仅通过轮廓来监督三维网格生成？
• RQ2 在几何质量和 IoU 方面，基于 SoftRas 的轮廓线监督与现有的无监督和有监督的三维重建方法相比如何？
• RQ3 几何正则化（拉普拉斯、扁平化）和多视训练对重建精度有何影响？
• RQ4 该方法从合成轮廓到真实图像的泛化能力如何？

主要发现

• SoftRas 在与最先进无监督方法的 IoU 方面具有竞争力，在多个类别上甚至可以接近、在某些情况下超越有监督的结果。
• 概率性的、可微的光栅化带来平滑的高质量网格，较之前的可微渲染器减少了伪影（如自相交）。
• 使用更多的训练视图可提升重建精度，并可缓解具有大平面区域的对象上的轮廓盲点。
• 消融研究表明拉普拉斯和扁平化损失对于产生平滑且不相交的几何体很重要。
• 通过 SoftRas 层反向传播颜色损失，可以恢复颜色，从而实现有颜色的网格重建。
• 基于表格的结果表明 SoftRas 在 ShapeNet 类别上相对于若干基线获得了平均 IoU 的提升。