[论文解读] Unsupervised Learning of 3D Structure from Images

Danilo Jimenez Rezende, S. M. Ali Eslami+4 more|arXiv (Cornell University)|Jul 3, 2016

Advanced Vision and Imaging参考文献 32被引用 97

一句话总结

该论文提出了一种无监督深度生成模型，通过可微分渲染和端到端训练，从2D图像中学习3D结构，在ShapeNet和MNIST3D上实现了SOTA的对数似然分数，同时在无需任何3D监督的情况下，能够从单张或多张视角实现多模态3D重建。

ABSTRACT

A key goal of computer vision is to recover the underlying 3D structure from 2D observations of the world. In this paper we learn strong deep generative models of 3D structures, and recover these structures from 3D and 2D images via probabilistic inference. We demonstrate high-quality samples and report log-likelihoods on several datasets, including ShapeNet [2], and establish the first benchmarks in the literature. We also show how these models and their inference networks can be trained end-to-end from 2D images. This demonstrates for the first time the feasibility of learning to infer 3D representations of the world in a purely unsupervised manner.

研究动机与目标

• 直接从2D图像中学习物体的3D表征，而无需任何真实3D标注。
• 通过学习合理3D结构的统计模型，解决3D重建的病态性问题。
• 在给定2D观测的前提下，实现对3D结构的概率推理，捕捉多模态性和不确定性。
• 展示仅使用2D图像和可微分渲染，对3D生成模型和推理网络进行端到端训练。
• 在ShapeNet和MNIST3D上建立3D密度建模的首个定量基准，以对数似然作为评估指标。

提出的方法

• 基于DRAW及其他归一化流的潜在变量模型，学习体素网格和网格上的3D结构深度生成模型。
• 使用可微分神经渲染器（如基于OpenGL的）将3D表征映射到2D图像观测，实现通过渲染过程的反向传播。
• 采用条件训练方法，通过将模型条件化于图像观测并优化重建目标，实现从2D图像推断3D结构。
• 仅使用2D图像，无需任何3D监督，以端到端方式联合训练生成模型和推理网络。
• 同时支持体素和基于网格的3D表征，其中网格通过顶点参数化，其运动被约束在从中心出发的固定直线上。
• 集成现成的渲染引擎，以建模逼真的光照和材质交互，提升生成2D视图的保真度。

实验结果

研究问题

• RQ1 是否能完全无监督地从2D图像中推断3D结构，而无需任何3D真实标签？
• RQ2 深度生成模型在给定单张2D图像时，能否良好捕捉3D结构后验分布的多模态性？
• RQ3 该模型在ShapeNet和MNIST3D等标准3D基准数据集上的对数似然性能如何？
• RQ4 可微分渲染是否能够实现直接从2D图像端到端训练3D生成模型？
• RQ5 该模型在重建物体未见的3D视角时是否足够准确，从而证明其具备超越2D重建的真正3D理解能力？

主要发现

• 该模型在ShapeNet和MNIST3D上均实现了SOTA的对数似然分数，建立了3D密度建模的首个定量基准。
• 该模型生成了高质量且多样的3D样本，能够捕捉数据分布的多模态性，包括形状和姿态的合理变化。
• 重建的3D网格能泛化到未见的相机视角，准确推断出输入图像中不可见的物体范围，证明了真正的3D理解能力。
• 该模型以高保真度重建2D图像，并能从多张2D视图生成一致的3D表征，即使仅在2D数据上进行训练。
• 通过可微分渲染实现的端到端训练，可在单次前向传播中实现精确的3D推理，且模型能捕捉3D结构中的不确定性和模糊性。
• 该方法成功仅从2D图像中学习3D表征，证明了无任何3D监督下实现无监督3D结构推理的可行性。