[论文解读] ShapeFormer: Transformer-based Shape Completion via Sparse Representation

Xingguang Yan, Liqiang Lin+4 more|arXiv (Cornell University)|Jan 25, 2022

3D Shape Modeling and Analysis被引用 8

一句话总结

ShapeFormer 提出了一种基于 Transformer 的生成模型，用于从不完整或噪声点云中生成多样且高质量的 3D 形状补全。它采用了一种新颖的稀疏离散表示方法——向量量化深度隐式函数（VQDIF），将 3D 形状压缩为短序列，从而实现高效的自回归生成，在完成质量和多样性方面优于先前方法。

ABSTRACT

We present ShapeFormer, a transformer-based network that produces a distribution of object completions, conditioned on incomplete, and possibly noisy, point clouds. The resultant distribution can then be sampled to generate likely completions, each exhibiting plausible shape details while being faithful to the input. To facilitate the use of transformers for 3D, we introduce a compact 3D representation, vector quantized deep implicit function, that utilizes spatial sparsity to represent a close approximation of a 3D shape by a short sequence of discrete variables. Experiments demonstrate that ShapeFormer outperforms prior art for shape completion from ambiguous partial inputs in terms of both completion quality and diversity. We also show that our approach effectively handles a variety of shape types, incomplete patterns, and real-world scans.

研究动机与目标

• 解决从模糊、不完整或噪声点云中生成多个合理 3D 形状补全的挑战。
• 开发一种紧凑且结构化的 3D 表示方法，以实现 Transformer 在 3D 形状生成中的高效应用。
• 建模可能补全结果的分布，而非回归到单一均值形状，从而同时提升质量与多样性。
• 在保持几何保真度的前提下，从稀疏离散特征序列中实现忠实且高分辨率的表面重建。

提出的方法

• 提出向量量化深度隐式函数（VQDIF），一种利用空间稀疏性和向量量化将形状编码为短序列的稀疏离散 3D 表示方法，每条序列由 (位置, 内容) 二元组构成。
• 使用 VQDIF 编码器将部分输入点云转换为紧凑的离散标记序列，将序列长度从分辨率的立方级降低至平方级。
• 采用基于 Transformer 的自回归模型，基于部分输入序列预测序列中的下一个标记，从而实现多样化的补全生成。
• 通过在完整补全序列前添加部分序列，适配自回归训练目标，实现从不完整输入的条件生成。
• 将生成的离散序列解码回深度隐式函数，再通过移动立方体算法提取高质量 3D 表面。
• 采用掩码语言建模风格的目标端到端训练模型，以预测序列中的未来标记，同时在生成合理补全的同时保持输入保真度。

实验结果

研究问题

• RQ1 基于 Transformer 的模型能否有效从模糊的部分输入中生成多样且高质量的 3D 形状补全？
• RQ2 如何使 3D 形状表示更加紧凑和离散，以支持使用 Transformer 进行高效的自回归建模？
• RQ3 所提出的 VQDIF 表示在减小表示尺寸的同时，能在多大程度上保持几何精度？
• RQ4 在不同形状类别和扫描类型下，ShapeFormer 在补全质量和多样性方面与先前方法相比表现如何？

主要发现

• 在 PartNet 数据集上，ShapeFormer 达到当前最先进性能，相比先前的多模态方法 cGAN，FPD 分数最高提升 1.7 分。
• VQDIF 表示在重建精度上与 IF-Net 和 ConvONet 相当，但使用字节数显著更少——例如在 16³ 分辨率下平均仅使用 217 个标记。
• 在 D-FAUST 数据集上，ShapeFormer 即使面对未见过的人体类型，也能成功生成多样且姿态一致的完整人体扫描补全。
• 该方法具有良好的泛化能力：尽管从未在这些类别上进行过训练，仍能为杯子和茶壶生成合理的补全结果。
• 视觉对比显示，生成形状与输入点云高度对齐，表明模型对输入部分扫描保持了高保真度。
• 推理速度仍是瓶颈，每幅形状的生成时间约为 20 秒，提示未来工作需进一步优化。