[论文解读] SRPCN: Structure Retrieval based Point Completion Network

Kaiyi Zhang, Ximing J. Yang+2 more|arXiv (Cornell University)|Feb 6, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

SRPCN 提出了一种基于结构检索的点云补全网络，通过使用 k-means 聚类和 KL 散度从数据库中检索合理的完整形状，提升了补全结果的真实性。通过将结构点建模为高斯分布并利用基于检索的重建方法，该方法在多种缺失模式下实现了比现有方法更真实的结果和更优的泛化能力。

ABSTRACT

Given partial objects and some complete ones as references, point cloud completion aims to recover authentic shapes. However, existing methods pay little attention to general shapes, which leads to the poor authenticity of completion results. Besides, the missing patterns are diverse in reality, but existing methods can only handle fixed ones, which means a poor generalization ability. Considering that a partial point cloud is a subset of the corresponding complete one, we regard them as different samples of the same distribution and propose Structure Retrieval based Point Completion Network (SRPCN). It first uses k-means clustering to extract structure points and disperses them into distributions, and then KL Divergence is used as a metric to find the complete structure point cloud that best matches the input in a database. Finally, a PCN-like decoder network is adopted to generate the final results based on the retrieved structure point clouds. As structure plays an important role in describing the general shape of an object and the proposed structure retrieval method is robust to missing patterns, experiments show that our method can generate more authentic results and has a stronger generalization ability.

研究动机与目标

• 为解决现有点云补全方法真实性较差的问题，这些方法常产生模糊或不合理的结构。
• 克服当前方法泛化能力有限的问题，这些方法在训练时假设缺失模式是固定的。
• 提出一种新表征——结构分布，以更少的点保留整体形状特征。
• 开发一种基于 KL 散度的稳健检索机制，用于将部分输入匹配到结构相似的完整形状。
• 在标准基准之外的真实世界缺失模式上，展示性能的提升。

提出的方法

• 对输入部分点云和参考完整点云均应用 k-means 聚类，以提取关键结构点。
• 每个结构点被建模为椭球形高斯分布，形成物体整体形状的分布表征。
• 通过合并各个高斯分量构建整体结构分布，实现分布层面的比较。
• 使用 KL 散度作为度量，从参考形状数据库中检索最相似的完整结构点云。
• 采用类似 PCN 的解码器网络对检索到的结构点云进行上采样，生成最终的完整点云。
• 检索过程对缺失模式具有不变性，从而在多种输入退化情况下实现稳健的泛化。

实验结果

研究问题

• RQ1 基于结构的检索机制是否能超越端到端学习，在点云补全中实现更高的真实性？
• RQ2 结构分布表征在多样化且任意的缺失模式下，其泛化能力如何？
• RQ3 使用 KL 散度进行分布匹配是否在结构保真度方面优于直接的形状重建？
• RQ4 即使检索到的形状与真实标签不同，基于检索的补全是否仍能生成合理结果？
• RQ5 所提方法在多大程度上减少了补全输出中的视觉伪影和结构模糊性？

主要发现

• SRPCN 在真实性方面表现更优，定性结果表明其输出比 PCN、TopNet 和 GRNet 更为合理且结构一致。
• 尽管在 Chamfer Distance（对点对齐敏感的指标）上表现较差，SRPCN 仍生成了更具视觉真实感的结果，表明标准指标可能无法反映感知质量。
• 该方法在未见过的缺失模式下泛化良好，包括训练期间未出现的模式，如基于视角的点移除和深度图像反投影。
• 即使检索到的形状与真实标签不同，补全结果依然合理且结构稳固，证明了对检索错误的鲁棒性。
• 结构分布表征有效保留了整体形状，同时减少了稀疏结构点带来的不稳定性，可视化结果验证了分布密度的稳定性。
• 泛化实验表明，SRPCN 在两种新缺失模式下仍能保持高质量输出，其中一种模式会导致 PF-Net 等基线模型失效。