[论文解读] PointGrow: Autoregressively Learned Point Cloud Generation with Self-Attention

Yongbin Sun, Yue Wang+3 more|arXiv (Cornell University)|Oct 12, 2018

3D Shape Modeling and Analysis参考文献 67被引用 21

一句话总结

PointGrow 提出了一种用于 3D 点云的自回归生成模型，通过基于条件概率分布的顺序采样方式生成点，利用自注意力机制捕捉长距离依赖关系并建模点与点之间的相关性。该模型在无条件和有条件生成任务中均达到最先进性能，能够实现可解释性、多样化且逼真的 3D 形状生成，适用于形状补全和算术运算等应用。

ABSTRACT

Generating 3D point clouds is challenging yet highly desired. This work presents a novel autoregressive model, PointGrow, which can generate diverse and realistic point cloud samples from scratch or conditioned on semantic contexts. This model operates recurrently, with each point sampled according to a conditional distribution given its previously-generated points, allowing inter-point correlations to be well-exploited and 3D shape generative processes to be better interpreted. Since point cloud object shapes are typically encoded by long-range dependencies, we augment our model with dedicated self-attention modules to capture such relations. Extensive evaluations show that PointGrow achieves satisfying performance on both unconditional and conditional point cloud generation tasks, with respect to realism and diversity. Several important applications, such as unsupervised feature learning and shape arithmetic operations, are also demonstrated.

研究动机与目标

• 开发一种 3D 点云生成模型，显式建模生成过程中的点与点之间相关性，从而实现形状生成过程的可解释性。
• 通过将自注意力机制整合到自回归框架中，解决点云数据的不规则性与长距离依赖问题。
• 实现从零开始或基于语义输入（如 2D 图像）生成多样化且逼真的 3D 形状。
• 支持下游应用，如无监督特征学习、形状补全和形状算术运算。
• 提供一种比现有基于集合的损失函数（如 Chamfer 距离）更具可解释性的替代方案，后者会掩盖生成过程。

提出的方法

• PointGrow 采用自回归方法，基于先前采样的点按顺序生成每个点，通过条件概率的链式法则建模联合点分布。
• 模型使用条件概率分布 p(z_i | s_{≤i−1})，在已生成点集 s_{≤i−1} 的条件下采样每个点 z_i。
• 引入两种新型基于点云的自注意力模块，以动态聚合长距离依赖关系，并捕捉点云中远距离点之间的语义相关性。
• 自注意力模块通过基于空间相似性和特征相似性的注意力分数，直接在不规则点集上运行，实现非局部点之间的有效信息流动。
• 模型采用端到端的似然目标进行训练，优化完整点云序列的对数似然。
• 在条件生成中，通过可学习的图像编码器获取图像条件嵌入，并将其与自回归解码器融合，以引导 3D 形状生成。

实验结果

研究问题

• RQ1 通过显式建模点与点之间相关性的自回归框架，是否能比基于集合的损失函数生成更具可解释性与真实感的 3D 点云？
• RQ2 自注意力机制在不规则点云数据中捕捉长距离依赖关系的效率如何，能否有效提升生成质量？
• RQ3 该模型能否在真实场景下，基于 2D 图像输入生成多样化且合理的 3D 形状？
• RQ4 所学习的潜在空间在支持下游任务（如形状算术与无监督特征学习）方面的能力有多强？
• RQ5 自回归生成过程是否支持有意义的中间形状插值与组合式形状生成？

主要发现

• PointGrow 在无条件与有条件 3D 点云生成任务中均达到最先进性能，在 ShapeNet 基准测试中，Chamfer 距离（CD）与 Earth Mover’s Distance（EMD）得分均优于先前方法。
• 在 ShapeNet-1000 数据集上，PointGrow 在单视图设置下取得 CD 为 0.615 和 EMD 为 1.401 的成绩，优于 3D-R2N2 和 MRTNet 等模型。
• 在五视图设置下，PointGrow 取得 CD 为 0.914 和 EMD 为 1.413 的成绩，展现出在多张图像视图下的强大泛化能力。
• 通过线性插值图像条件嵌入的潜在向量，模型可实现有意义的形状算术操作，并生成合理的中间形状。
• 通过图像嵌入的插值，成功生成了中间 3D 形状，表明模型能够学习到解耦且连续的形状表征。
• 模型在无监督特征学习方面表现强劲，其学习到的特征在下游分类与检索任务中具有良好的泛化能力。