[论文解读] SeedFormer: Patch Seeds based Point Cloud Completion with Upsample Transformer

Haoran Zhou, Yun Cao+5 more|arXiv (Cornell University)|Jul 21, 2022

3D Shape Modeling and Analysis被引用 9

一句话总结

SeedFormer 提出了一种新颖的点云补全框架，通过引入局部区域特征表示 Patch Seeds 和一种增强型上采样 Transformer，提升了细节保留能力。该方法通过注意力机制实现邻域聚合，显著增强了点云生成能力，从而在基准数据集上优于当前最先进模型，有效从部分输入中恢复出细粒度几何结构。

ABSTRACT

Point cloud completion has become increasingly popular among generation tasks of 3D point clouds, as it is a challenging yet indispensable problem to recover the complete shape of a 3D object from its partial observation. In this paper, we propose a novel SeedFormer to improve the ability of detail preservation and recovery in point cloud completion. Unlike previous methods based on a global feature vector, we introduce a new shape representation, namely Patch Seeds, which not only captures general structures from partial inputs but also preserves regional information of local patterns. Then, by integrating seed features into the generation process, we can recover faithful details for complete point clouds in a coarse-to-fine manner. Moreover, we devise an Upsample Transformer by extending the transformer structure into basic operations of point generators, which effectively incorporates spatial and semantic relationships between neighboring points. Qualitative and quantitative evaluations demonstrate that our method outperforms state-of-the-art completion networks on several benchmark datasets. Our code is available at https://github.com/hrzhou2/seedformer.

研究动机与目标

• 解决点云补全中全局特征表示的局限性，该表示在编码过程中会丢失细粒度细节。
• 克服现有点生成器在处理点云时独立对待各点，导致局部几何细节恢复能力差的问题。
• 提出一种新型形状表征方式，在保留区域信息的同时捕捉全局结构，以提升补全效果。
• 设计一种利用邻近点之间空间与语义关系的点生成器，以增强生成质量。

提出的方法

• 引入 Patch Seeds 作为潜在表征：将输入中的局部区域块编码为学习得到的种子特征，以保留区域几何信息。
• 采用基于上采样 Transformer 的种子生成器，从 Patch Seeds 生成完整点云，替代传统的全局特征编码。
• 设计上采样 Transformer，通过在局部邻域内进行自注意力计算实现点云生成，聚合空间与语义关系。
• 在上采样 Transformer 中同时集成空间位置编码与基于种子特征的区域编码，以增强对局部上下文的理解。
• 在种子生成器中采用修改后的自注意力机制，不使用 softmax，以避免注意力权重受限，提升生成灵活性。
• 采用粗到细的生成策略：先从种子生成完整形状，再通过额外的上采样 Transformer 层进行细化。

实验结果

研究问题

• RQ1 如何在点云补全过程期间保留局部区域信息，以提升细节恢复能力？
• RQ2 用基于补丁的种子表征替代全局特征编码，对补全质量有何影响？
• RQ3 在 3D 补全中，整合邻域空间与语义关系如何改善点云生成？
• RQ4 基于 Transformer 的生成器若能关注局部邻域，是否能优于传统逐点或折叠式生成器？
• RQ5 在注意力机制中移除 softmax 是否能提升完整且细节丰富的点云生成性能？

主要发现

• SeedFormer 在多个基准数据集上达到最先进性能，展现出卓越的细节保留与结构准确性。
• 所提出的 Patch Seeds 表征显著提升了对细粒度几何细节的恢复能力，尤其在对称或不完整区域表现更优。
• 上采样 Transformer 在局部特征聚合方面优于标准点生成器及类似设计（包括图卷积与普通 Transformer）。
• 在种子生成器的注意力机制中移除 softmax 后性能提升（消融实验中为 6.83 vs. 6.78），表明降低注意力约束有助于提升生成质量。
• 在上采样 Transformer 中结合空间位置编码与基于种子的编码可获得最佳结果，证实多层级上下文融合的重要性。
• 可视化结果表明，Patch Seeds 能够追踪输入补丁之间的结构路径，通过基于种子的分组与对称性推理，实现对缺失部分的准确预测。