[论文解读] RealPoint3D: Point Cloud Generation from a Single Image with Complex Background

Yan Xia, Yang Zhang+4 more|arXiv (Cornell University)|Sep 8, 2018

3D Shape Modeling and Analysis参考文献 19被引用 4

一句话总结

RealPoint3D 提出了一种新颖的框架，通过从预检索的3D形状模型中整合先验3D形状知识，实现从具有复杂背景和任意视角的单张真实图像生成3D点云。通过将2D图像与预构建数据库中最近邻的3D形状相结合，该方法在细粒度3D重建任务中实现了最先进性能，在合成数据和真实世界数据上均优于现有的体素化和基于点的方法。

ABSTRACT

3D point cloud generation by the deep neural network from a single image has been attracting more and more researchers' attention. However, recently-proposed methods require the objects be captured with relatively clean backgrounds, fixed viewpoint, while this highly limits its application in the real environment. To overcome these drawbacks, we proposed to integrate the prior 3D shape knowledge into the network to guide the 3D generation. By taking additional 3D information, the proposed network can handle the 3D object generation from a single real image captured from any viewpoint and complex background. Specifically, giving a query image, we retrieve the nearest shape model from a pre-prepared 3D model database. Then, the image together with the retrieved shape model is fed into the proposed network to generate the fine-grained 3D point cloud. The effectiveness of our proposed framework has been verified on different kinds of datasets. Experimental results show that the proposed framework achieves state-of-the-art accuracy compared to other volumetric-based and point set generation methods. Furthermore, the proposed framework works well for real images in complex backgrounds with various view angles.

研究动机与目标

• 解决现有3D生成方法在具有复杂背景和可变视角的真实图像上表现不佳的局限性。
• 通过从预存在的3D模型数据库中引入先验3D形状知识，提升3D重建的保真度。
• 实现在无需对象掩码或干净背景的情况下，从单张图像端到端生成3D点云。
• 在ObjectNet3D等真实世界数据集上实现3D重建的最先进性能。

提出的方法

• 该框架首先利用从输入图像中提取的图像特征，从预构建的3D模型数据库中检索最接近的3D形状。
• 将图像特征与在多个视角下存储的3D模型2D渲染图像的特征进行比较，以找到最相似的形状。
• 将检索到的3D形状与输入图像联合输入一个深度神经网络，以生成完整且细节丰富的3D点云。
• 网络架构包含一个3D编码器分支用于处理检索到的形状，以及一个2D图像编码器用于处理输入图像，通过特征融合实现生成。
• 通过将检索到的形状作为归纳偏置，该方法端到端训练以重建包括被遮挡部分在内的详细3D几何结构。
• 该框架通过依赖稀疏且具有区分性的特征进行检索，从而对视角变化、遮挡和复杂背景具有鲁棒性。

实验结果

研究问题

• RQ1 先验3D形状知识是否能提升从具有复杂背景的单张真实图像生成3D点云的性能？
• RQ2 与无需掩码或依赖掩码的方法相比，从数据库中检索3D形状的集成方式如何影响重建质量？
• RQ3 基于检索的方法在真实世界图像上相较于现有体素化和基于点的生成模型，其性能优势在多大程度上体现？
• RQ4 在遮挡和视角变化条件下，该方法对具有复杂结构的物体（如沙发、椅子）的性能表现如何？
• RQ5 该框架能否在无需对象分割掩码的情况下泛化到真实世界图像？

主要发现

• RealPoint3D 在合成数据集和真实世界数据集上均实现了最先进性能，其在沙发类别上的IoU得分为0.63，优于PSGN和OGN。
• 在ObjectNet3D数据集上，RealPoint3D 成功重建了PSGN即使在使用对象掩码的情况下也遗漏的细粒度细节（如长凳的腿）。
• 该方法在复杂背景和视角变化下表现出鲁棒性，在具有挑战性的案例中显著优于基线方法。
• 消融实验证明，包含3D编码器分支的完整模型（RP3D-v2）优于不包含该分支的变体（RP3D-v1），证实了先验形状知识的有效性。
• 在CPU上，推理时间约为每张图像0.1秒，显著快于OGN（1.6秒），且与PSGN相当。
• 检索阶段被发现对遮挡和视角变化具有鲁棒性，即使在输入图像存在噪声或杂乱时也能实现可靠的形状匹配。