[论文解读] $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction

Luke Melas-Kyriazi, Christian Rupprecht+1 more|arXiv (Cornell University)|Feb 21, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出 $Δ}^2$，一种基于扩散模型的单图像3D重建方法，通过在输入视角的图像特征投影至随机3D点的基础上，迭代去噪生成高分辨率稀疏点云。其关键创新——投影条件化——确保了与输入图像的几何一致性，从而在合成数据和真实世界数据上均实现了高保真度、多样化且色彩准确的重建结果。

ABSTRACT

Reconstructing the 3D shape of an object from a single RGB image is a long-standing and highly challenging problem in computer vision. In this paper, we propose a novel method for single-image 3D reconstruction which generates a sparse point cloud via a conditional denoising diffusion process. Our method takes as input a single RGB image along with its camera pose and gradually denoises a set of 3D points, whose positions are initially sampled randomly from a three-dimensional Gaussian distribution, into the shape of an object. The key to our method is a geometrically-consistent conditioning process which we call projection conditioning: at each step in the diffusion process, we project local image features onto the partially-denoised point cloud from the given camera pose. This projection conditioning process enables us to generate high-resolution sparse geometries that are well-aligned with the input image, and can additionally be used to predict point colors after shape reconstruction. Moreover, due to the probabilistic nature of the diffusion process, our method is naturally capable of generating multiple different shapes consistent with a single input image. In contrast to prior work, our approach not only performs well on synthetic benchmarks, but also gives large qualitative improvements on complex real-world data.

研究动机与目标

• 解决单图像3D重建这一长期挑战，该问题因2D输入信息有限且需合理3D形状先验而具有病态性。
• 克服先前方法在几何分辨率低、难以捕捉细节或重建结果缺乏多样性方面的局限。
• 利用扩散模型的概率特性，从单张输入图像生成多个合理的3D形状，实现不确定性感知的重建。
• 开发一种条件化机制，确保在整个扩散过程中重建的3D形状与输入图像保持几何一致性。
• 将方法扩展至在形状重建后使用相同的投影条件化机制预测点云颜色。

提出的方法

• 将3D形状表示为无结构的稀疏点云，初始点云由从3D高斯分布中采样的随机3D点构成。
• 应用条件去噪扩散过程，逐步将点云优化为与输入RGB图像和相机位姿一致的形状。
• 引入投影条件化：在每个去噪步骤中，利用已知的相机位姿将图像特征（来自CNN主干网络）投影到当前部分去噪的点云上。
• 利用投影特征指导去噪网络优化点位置，确保与输入图像的几何对齐。
• 在形状重建完成后，复用相同的投影机制，通过将图像特征投影到最终的3D点云上，预测每个点的颜色。
• 通过从扩散模型中多次采样实现多样化生成，并基于掩码IoU执行筛选步骤以选择最佳重建结果。

Figure 2 : $\textbf{PC}^{2}$ reconstructs a colored point cloud from a single input image along with its camera pose. The method contains two sub-parts, both of which utilize our model projection conditioning method. First, we gradually denoise a set of points into the shape of an object. At each st

实验结果

研究问题

• RQ1 基于投影到3D点云上的图像特征条件化的扩散模型，能否从单张RGB图像生成高保真度、几何一致的3D重建？
• RQ2 与3D扩散模型中其他条件化机制相比，投影条件化在几何对齐和重建质量方面有何改进？
• RQ3 能否利用扩散模型的概率特性从单张输入图像生成多样化且合理的3D形状？如何有效筛选这些多样性以提升性能？
• RQ4 该投影条件化机制在形状重建后预测准确点云颜色方面，其适用程度如何？
• RQ5 该方法在超越ShapeNet等合成基准的复杂真实世界图像上的泛化能力如何？

主要发现

• 经筛选后，$\mathbf{PC}^2$-FM在ShapeNet-R2N2基准上达到最先进性能，平均性能及多数类别上均优于先前方法，尤其在细粒度物体（如步枪和飞机）上表现更优。
• 在真实世界Co3D数据集上，该方法生成了细节丰富、视角一致的3D形状，且在新视角下不模糊、不模棱两可，结果质量显著优于基线。
• 基于掩码IoU的筛选显著提升性能：$\mathbf{PC}^2$-FM使用10次采样时，在ShapeNet上的平均F-score达到0.786，部分类别甚至超过理想模型（oracle）。
• 仅使用两次图像进行筛选即可获得显著性能增益，随着采样数增加，性能增益逐渐减小。
• 对于模糊输入（如缺少靠背的椅子），模型能生成多样化且合理的3D形状，展现出对重建不确定性建模的能力。
• 该方法对噪声较大的真实点云（如多视角重建中因不完整导致的孔洞）具有鲁棒性，表明其在真实世界数据上的实际可行性。

Figure 3 : Examples of $\textbf{PC}^{2}$ on real-world images from Co3D [ 34 ] , along with intermediate steps in the diffusion process. The first column shows input images, while the subsequent five columns show the evolution of the point cloud from a randomly sampled Gaussian to a final shape over