[论文解读] MVPNet: Multi-View Point Regression Networks for 3D Object Reconstruction from A Single Image

Jinglu Wang, Bo Sun+1 more|arXiv (Cornell University)|Nov 23, 2018

3D Shape Modeling and Analysis参考文献 27被引用 6

一句话总结

MVPNet 提出了一种多视角点回归网络，通过在二维网格中嵌入视图相关的三维点云，从单张图像重建密集的三维物体表面，从而实现高效的卷积神经网络处理和网格重建。它通过一种新颖的几何损失实现最先进性能，该损失通过三角化网格在三维表面上直接测量差异，显著提升了先前方法的准确性。

ABSTRACT

In this paper, we address the problem of reconstructing an object's surface from a single image using generative networks. First, we represent a 3D surface with an aggregation of dense point clouds from multiple views. Each point cloud is embedded in a regular 2D grid aligned on an image plane of a viewpoint, making the point cloud convolution-favored and ordered so as to fit into deep network architectures. The point clouds can be easily triangulated by exploiting connectivities of the 2D grids to form mesh-based surfaces. Second, we propose an encoder-decoder network that generates such kind of multiple view-dependent point clouds from a single image by regressing their 3D coordinates and visibilities. We also introduce a novel geometric loss that is able to interpret discrepancy over 3D surfaces as opposed to 2D projective planes, resorting to the surface discretization on the constructed meshes. We demonstrate that the multi-view point regression network outperforms state-of-the-art methods with a significant improvement on challenging datasets.

研究动机与目标

• 通过利用深度学习解决从单张 RGB 图像进行三维物体重建的病态问题。
• 通过引入一种结构化、基于视角的点云表示，克服基于体素和无序点云表示的局限性。
• 通过将三维点云嵌入与图像平面对齐的规则二维网格，实现使用卷积神经网络进行高效训练和推理。
• 通过设计一种在三维表面变化上操作而非二维投影上的几何损失，提升重建精度。
• 实现高保真、密集的三维重建，尤其在凹面和复杂形状上具有更好的细节恢复能力。

提出的方法

• 该方法将三维表面表示为多视角点云（MVPC），其中每个视角的点云存储在与图像平面对齐的二维网格中，嵌入每个像素的三维坐标和可见性信息。
• 采用编码器-解码器网络结构，解码器分支共享权重，从单张输入图像回归多个视角的三维坐标和可见性。
• 将单视角点云（1-VPC）通过二维网格连接性进行三角化，形成基于网格的表面，支持几何表面分析。
• 引入一种新颖的几何损失，该损失在重建的三角形网格上计算表面变化积分，直接在三维空间中测量差异，而非在二维投影平面上。
• 该损失整合了体积变化、预测置信度和多视角一致性，以提升空间一致性与遮挡处理能力。
• 网络通过端到端反向传播和几何损失进行训练，实现对三维表面保真度的直接优化。

实验结果

研究问题

• RQ1 基于视角的三维表示结合规则二维网格嵌入，能否实现使用卷积神经网络的高效且准确的三维重建？
• RQ2 直接回归三维坐标而非深度，是否能提升重建质量和稳定性？
• RQ3 一种在三维表面变化上操作而非二维投影上的几何损失，能否带来显著的性能提升？
• RQ4 该方法在复杂形状（包括凹面结构和精细细节）上的泛化能力如何？
• RQ5 学习到的特征空间是否能支持三维形状的有意义插值和生成建模？

主要发现

• 在 ShapeNet-Chair 数据集上，MVPNet 达到 SOTA 性能，IoU 为 0.667，显著优于次佳方法（0.57）。
• 在 ShapeNet-13 数据集上，MVPNet 在 13 个类别中的 12 个类别上 IoU 表现优于所有先前方法，6 个视角在 10 个类别上取得最佳结果。
• 与基线方法（如 1024 个点）相比，该方法生成了更密集的点云（约 15,000 个点），显著提升了对细粒度细节（如椅子靠背、飞机尾部、汽车车轮）的恢复能力。
• 几何损失通过在三维空间中建模表面变化，显著提升了重建精度，尤其在凹面区域（如汽车尾箱、多层机翼）表现更优。
• 直接回归三维坐标相比深度回归在 IoU 上提升了约 4%，因为它允许在三维空间中实现更灵活且稳定的优化。
• 定性结果表明，潜在特征的线性插值呈现出平滑渐变，表明特征空间平滑且具有代表性，适用于生成建模。