[论文解读] Point-Cloud Completion with Pretrained Text-to-image Diffusion Models

Yoni Kasten, Ohad Rahamim+1 more|arXiv (Cornell University)|Jun 18, 2023

3D Shape Modeling and Analysis被引用 5

一句话总结

本文提出 SDS-Complete，一种测试时优化方法，利用预训练的文本到图像扩散模型，结合文本描述和符号距离函数（SDF）约束，完成不完整的3D点云。通过优化新视角渲染结果，使其同时与输入点云和文本提示对齐，利用 SDS 损失，该方法在分布外（OOD）物体上实现了最先进性能，平均将 Chamfer 损失降低了 50%。

ABSTRACT

Point-cloud data collected in real-world applications are often incomplete. Data is typically missing due to objects being observed from partial viewpoints, which only capture a specific perspective or angle. Additionally, data can be incomplete due to occlusion and low-resolution sampling. Existing completion approaches rely on datasets of predefined objects to guide the completion of noisy and incomplete, point clouds. However, these approaches perform poorly when tested on Out-Of-Distribution (OOD) objects, that are poorly represented in the training dataset. Here we leverage recent advances in text-guided image generation, which lead to major breakthroughs in text-guided shape generation. We describe an approach called SDS-Complete that uses a pre-trained text-to-image diffusion model and leverages the text semantics of a given incomplete point cloud of an object, to obtain a complete surface representation. SDS-Complete can complete a variety of objects using test-time optimization without expensive collection of 3D information. We evaluate SDS Complete on incomplete scanned objects, captured by real-world depth sensors and LiDAR scanners. We find that it effectively reconstructs objects that are absent from common datasets, reducing Chamfer loss by 50% on average compared with current methods. Project page: https://sds-complete.github.io/

研究动机与目标

• 解决现有点云补全方法在处理训练数据中未充分表示的分布外（OOD）物体时的局限性。
• 通过利用预训练的 2D 扩散模型，实现在不收集大规模 3D 数据集的情况下完成高质量 3D 形状补全。
• 将文本到图像扩散模型的语义先验与部分点云的几何约束相结合，实现精确的表面重建。
• 开发一个统一框架，适用于多种真实世界传感器，包括深度相机和 LiDAR。
• 证明利用 SDS 损失和 SDF 表示的测试时优化，能够实现对未见物体类别的一致且逼真的补全。

提出的方法

• 该方法使用预训练的文本到图像扩散模型，为 3D 形状补全生成图像先验。
• 将补全问题形式化为测试时优化问题，避免微调或使用大规模 3D 数据集。
• 采用符号距离函数（SDF）表面表示，以确保零水平集通过输入点云，从而保证几何保真度。
• 在从新视角、有策略地采样的相机视图渲染的图像上应用 SDS 损失，使其与文本提示和扩散模型的先验对齐。
• 提出一种基于课程的相机采样策略，以提高补全形状与观测到的部分几何之间的一致性。
• 通过迭代更新 SDF 以最小化 SDS 损失，同时满足点云约束。

实验结果

研究问题

• RQ1 能否在不微调的情况下有效利用预训练的文本到图像扩散模型完成 3D 点云补全？
• RQ2 如何将 2D 扩散模型的语义先验与部分点云的 3D 几何约束相结合？
• RQ3 使用 SDS 损失和 SDF 表示的测试时优化是否在分布外（OOD）物体上优于现有方法？
• RQ4 相机采样策略的选择如何影响补全 3D 形状的一致性和质量？
• RQ5 该方法是否能在不重新训练的情况下泛化到来自深度相机和 LiDAR 等多样化传感器的真实扫描数据？

主要发现

• 与最先进方法相比，SDS-Complete 在 OOD 物体上的平均 Chamfer 损失降低了 50%，证明了其卓越的泛化能力。
• 在 Redwood 数据集上，SDS-Complete 的平均 Chamfer 损失为 30.5，显著优于 PoinTr（59.0）和 ShapeFormer（59.0）在 OOD 物体上的表现。
• 该方法在分布内物体上的性能与最先进方法相当，表明在熟悉类别上无性能下降。
• 消融研究显示，若移除 SDS 损失，将导致形状理解能力差（例如椅子缺失腿或椅背），凸显其关键作用。
• SDF 表示对于强制执行点云约束至关重要，而替代方案如密度函数会降低性能。
• 基于课程的相机采样策略优于随机采样，能更好地确保与观测几何的一致性，从而提升补全质量。