[论文解读] ProxyFormer: Proxy Alignment Assisted Point Cloud Completion with Missing Part Sensitive Transformer

Shanshan Li, Pan Gao+2 more|arXiv (Cornell University)|Feb 28, 2023

3D Shape Modeling and Analysis被引用 5

一句话总结

ProxyFormer 提出了一种新颖的点云补全方法，通过基于代理的特征与位置编码，结合缺失部分敏感的 Transformer，提升缺失几何结构的重建效果。通过保留原始不完整输入，并利用真实缺失部分与代理对齐来优化预测结果，该方法在参数量更少、推理速度更快的前提下，实现了当前最优的性能表现。

ABSTRACT

Problems such as equipment defects or limited viewpoints will lead the captured point clouds to be incomplete. Therefore, recovering the complete point clouds from the partial ones plays an vital role in many practical tasks, and one of the keys lies in the prediction of the missing part. In this paper, we propose a novel point cloud completion approach namely ProxyFormer that divides point clouds into existing (input) and missing (to be predicted) parts and each part communicates information through its proxies. Specifically, we fuse information into point proxy via feature and position extractor, and generate features for missing point proxies from the features of existing point proxies. Then, in order to better perceive the position of missing points, we design a missing part sensitive transformer, which converts random normal distribution into reasonable position information, and uses proxy alignment to refine the missing proxies. It makes the predicted point proxies more sensitive to the features and positions of the missing part, and thus make these proxies more suitable for subsequent coarse-to-fine processes. Experimental results show that our method outperforms state-of-the-art completion networks on several benchmark datasets and has the fastest inference speed. Code is available at https://github.com/I2-Multimedia-Lab/ProxyFormer.

研究动机与目标

• 解决现有点云补全方法在重建过程中丢失细粒度细节或扭曲原始几何结构的局限性。
• 改进缺失区域的特征表示与位置编码，尤其在复杂或遮挡区域表现更优。
• 通过代理对齐，将真实缺失部分作为先验知识引入训练过程，提升模型泛化能力。
• 在保持或提升性能的前提下，降低模型复杂度与推理成本，相较于基于 Transformer 的基线方法更具优势。
• 通过显式建模现有部分与缺失部分之间的关系（基于代理交互），实现更精确、更细致的补全效果。

提出的方法

• 提出一种基于代理的表征方式：通过特征与位置提取器，将每个点编码为代理，聚合局部几何与特征信息。
• 设计了一种缺失部分敏感的 Transformer，通过将随机噪声转换为结构化的空间布局，生成缺失代理的位置感知特征，其过程受现有代理特征的引导。
• 训练阶段采用代理对齐机制：将真实缺失部分转换为代理，并用于优化预测的缺失代理，从而提升特征一致性与重建精度。
• 模型避免使用解码器头，直接将代理映射回点云空间，实现端到端训练，同时 100% 保留原始输入点。
• 位置编码结合三维坐标与邻近特征信息，提升空间感知能力，无需依赖固定的位置编码。
• 框架通过重建损失与代理对齐损失联合训练，增强泛化能力与细节恢复效果。

实验结果

研究问题

• RQ1 基于代理的表征是否能提升点云补全中缺失部分的特征与位置编码效果？
• RQ2 缺失部分敏感的 Transformer 如何增强对不完整区域几何细节的建模能力？
• RQ3 在训练过程中，通过真实缺失部分与代理对齐，能否提升先验知识利用与预测准确性？
• RQ4 在基于 Transformer 的模型中，移除解码器头是否能降低参数量与推理时间，同时保持或提升性能？
• RQ5 在多样化的 3D 形状上，该方法与 SOTA 方法相比，在重建精度与效率方面表现如何？

主要发现

• ProxyFormer 在 ShapeNet-34 与 ShapeNet-13 基准上均达到 SOTA 性能，优于 GRNet、PoinTr 与 SeedFormer，各项 DCD 与 Chamfer 距离指标表现更优。
• 在 ShapeNet-34 数据集上，ProxyFormer 的平均 DCD 达到 0.538，显著低于 GRNet（0.583）、PoinTr（0.558）与 SeedFormer（0.541）。
• 该模型在 SOTA 方法中推理速度最快，GFLOPs 最低，展现出极高的效率。
• ProxyFormer 将 ShapeNet-13 数据集上的平均 Chamfer 距离降低至 2.54，优于 GRNet（4.95）、PoinTr（3.45）与 SeedFormer（3.45）。
• 可视化结果表明，该方法在细节恢复方面表现更优，例如能正确重建弯曲边缘与精细结构（如灯罩边缘），避免了 PoinTr 与 GRNet 中常见的失真现象。
• 消融实验表明，代理对齐与缺失部分敏感的 Transformer 对性能提升具有显著贡献，尤其在困难与中等类别中表现突出。