[论文解读] Progressive Point Cloud Deconvolution Generation Network

Le Hui, Rui Xu+3 more|arXiv (Cornell University)|Jul 10, 2020

3D Shape Modeling and Analysis参考文献 47被引用 8

一句话总结

该论文提出了一种基于学习型双边插值的渐进式去卷积网络，以端到端的方式从单一潜在向量生成多分辨率点云。通过利用空间和特征空间感知的插值方法以及形状保持的对抗性损失，该方法确保了在不同分辨率下的一致性局部与全局几何结构，在ShapeNet和ModelNet基准测试中实现了最先进性能。

ABSTRACT

In this paper, we propose an effective point cloud generation method, which can generate multi-resolution point clouds of the same shape from a latent vector. Specifically, we develop a novel progressive deconvolution network with the learning-based bilateral interpolation. The learning-based bilateral interpolation is performed in the spatial and feature spaces of point clouds so that local geometric structure information of point clouds can be exploited. Starting from the low-resolution point clouds, with the bilateral interpolation and max-pooling operations, the deconvolution network can progressively output high-resolution local and global feature maps. By concatenating different resolutions of local and global feature maps, we employ the multi-layer perceptron as the generation network to generate multi-resolution point clouds. In order to keep the shapes of different resolutions of point clouds consistent, we propose a shape-preserving adversarial loss to train the point cloud deconvolution generation network. Experimental results demonstrate the effectiveness of our proposed method.

研究动机与目标

• 为解决在无监督、端到端方式下生成高质量多分辨率点云的挑战。
• 确保从同一潜在代码生成的不同分辨率点云之间保持几何一致性。
• 克服现有3D GAN和自编码器在处理不规则点云结构方面存在的局限性，且缺乏分辨率一致性。
• 开发一种高效渐进式生成框架，通过去卷积和插值逐步构建从粗到细的特征。
• 提出一种新型形状保持损失，通过在不同分辨率间匹配邻域统计特性来强制结构一致性。

提出的方法

• 设计了一种渐进式去卷积网络，通过堆叠的去卷积模块从低分辨率输入生成高分辨率特征图。
• 引入基于学习的双边插值，通过联合建模点云数据中的空间接近度和特征相似性来上采样特征图。
• 该插值方法从邻近点的3D坐标和特征嵌入中学习权重，在上采样过程中保留局部几何结构。
• 使用多层感知机（MLPs）将连接后的多分辨率特征图拼接，以预测点云的最终3D坐标。
• 提出一种形状保持的对抗性损失，通过匹配局部邻域的均值和协方差，强制相邻分辨率之间的结构一致性。
• 在生成对抗网络（GAN）框架下端到端训练网络，使用所提出的形状保持损失替代标准GAN或基于距离的损失。

实验结果

研究问题

• RQ1 基于学习型插值的渐进式去卷积网络能否从单一潜在向量生成高质量的多分辨率点云？
• RQ2 在训练过程中，如何强制不同分辨率生成点云之间的几何一致性？
• RQ3 基于学习的双边插值是否在保留局部点云结构方面优于标准上采样方法？
• RQ4 与标准GAN、EMD或Chamfer距离损失相比，所提出的形状保持对抗性损失在保持结构保真度方面表现如何？
• RQ5 在双边插值中，最优邻居数（k）是多少，才能在生成质量与计算成本之间取得最佳平衡？

主要发现

• 所提方法在ShapeNet和ModelNet数据集上实现了最先进性能，多个分辨率下CD、EMD和1-NNA指标均表现最佳。
• 使用形状保持对抗性损失后，PDGN在2048个点的'Chair'类别上实现了1.71的Chamfer Distance（CD），优于使用经典GAN、EMD或CD损失的方法。
• 消融实验表明，在双边插值中将邻居数（k）设为20时，质量与计算成本之间达到了最佳平衡。
• 可视化结果证实，形状保持损失能有效维持所有分辨率下的一致性局部与全局几何结构。
• 渐进式框架成功生成了分辨率逐步提高的更精细点云，从256到2048个点的局部结构保真度明显提升。
• 定量结果表明，PDGN在所有评估指标上均优于基线方法，尤其在1-NNA和COV指标上表现更优，表明其具有更好的邻域保持能力和覆盖度。