[论文解读] Probabilistic Reconstruction Networks for 3D Shape Inference from a Single Image

Roman Klokov, Jakob Verbeek+1 more|arXiv (Cornell University)|Aug 20, 2019

3D Shape Modeling and Analysis参考文献 47被引用 4

一句话总结

该论文提出了概率重建网络（Probabilistic Reconstruction Networks, PRN），一种基于潜在变量模型的、用于从单张图像进行3D形状推理的系统性概率框架。通过将形状表征与推理过程解耦，并支持对条件化、训练策略和随机性的系统性消融分析，PRN仅使用体素网格就在ShapeNet数据集上实现了最先进性能，其IoU和EMD指标超越了基于点云和网格的方法。

ABSTRACT

We study end-to-end learning strategies for 3D shape inference from images, in particular from a single image. Several approaches in this direction have been investigated that explore different shape representations and suitable learning architectures. We focus instead on the underlying probabilistic mechanisms involved and contribute a more principled probabilistic inference-based reconstruction framework, which we coin Probabilistic Reconstruction Networks. This framework expresses image conditioned 3D shape inference through a family of latent variable models, and naturally decouples the choice of shape representations from the inference itself. Moreover, it suggests different options for the image conditioning and allows training in two regimes, using either Monte Carlo or variational approximation of the marginal likelihood. Using our Probabilistic Reconstruction Networks we obtain single image 3D reconstruction results that set a new state of the art on the ShapeNet dataset in terms of the intersection over union and earth mover's distance evaluation metrics. Interestingly, we obtain these results using a basic voxel grid representation, improving over recent work based on finer point cloud or mesh based representations.

研究动机与目标

• 通过解耦形状表征、条件化机制与推理方法，填补单图像3D重建中系统性比较的空白。
• 克服现有方法中形状表征、网络架构、损失函数与概率建模方式混杂所带来的局限性。
• 构建一个统一的、基于概率原理的框架，实现对3D形状重建中设计选择的公平且系统化的评估。
• 仅使用基础的体素网格表示，在ShapeNet基准上实现最先进性能，挑战了‘更精细的表示（如点云、网格）是实现高精度所必需’的假设。

提出的方法

• 将3D形状重建建模为潜在变量模型，其中图像条件化的形状生成通过 $p(\mathbf{v}|\mathbf{z})p(\mathbf{z}|\mathbf{i})$ 建模，实现图像条件化与形状表征的解耦。
• 采用FiLM层实现图像条件化，通过调制特征图实现2D图像与3D体素表示之间灵活且可学习的条件交互。
• 采用两种训练策略：使用蒙特卡洛采样近似边缘似然，以及使用识别网络 $q_\psi(\mathbf{z}|\mathbf{i}, \mathbf{v})$ 的变分推理。
• 通过移除潜在变量 $\mathbf{z}$ 构建确定性变体，评估随机性对重建质量的影响。
• 探索与共享相同潜在空间的生成形状模型联合训练，以提升解耦性与泛化能力。
• 以体素占据状态的二值交叉熵损失作为主要优化目标，未显式优化Chamfer或EMD指标。

实验结果

研究问题

• RQ1 图像、潜在形状与输出形状之间的依赖结构选择如何影响重建质量？
• RQ2 在3D形状重建中，变分推理是否优于蒙特卡洛采样以近似边缘似然？
• RQ3 移除潜在变量中的随机性对重建准确率与失败率有何影响？
• RQ4 与生成形状模型联合训练是否能提升单图像3D重建的性能？
• RQ5 在采用系统性概率框架的前提下，简单的体素网格表示能否超越更复杂的表示（如点云或网格）？

主要发现

• 基于变分推理的PRN模型在ShapeNet数据集上实现了最高的IoU（均值66.2，中位数69.9）与EMD性能，创下新SOTA纪录。
• 变分模型产生的失败重建更少，且输出更细节丰富；相比之下，蒙特卡洛训练虽平均性能相近，但产生更多低质量结果。
• PRN的确定性变体性能劣于两种随机变体，表明潜在空间中的随机性有助于提升鲁棒性与准确性。
• 尽管仅使用基础体素网格表示，PRN在IoU与EMD指标上仍优于近期基于点云与网格的方法。
• 采用变分推理训练的模型实现了最精确的重建，其处于高IoU区间（>70%）的形状数量最多，证实其在分布估计方面的优越性。
• PRN框架支持对设计选择的系统性消融分析，结果表明图像条件化与训练策略对性能的影响强于形状表征的选择。