[论文解读] PU-Net: Point Cloud Upsampling Network

Lequan Yu, Xianzhi Li+3 more|arXiv (Cornell University)|Jan 21, 2018

3D Shape Modeling and Analysis参考文献 49被引用 76

一句话总结

PU-Net 提出了一种数据驱动、基于补丁的网络，通过学习多级点特征，在特征空间中扩展，并用联合重建与斥力损失来重建更密集的点集。

ABSTRACT

Learning and analyzing 3D point clouds with deep networks is challenging due to the sparseness and irregularity of the data. In this paper, we present a data-driven point cloud upsampling technique. The key idea is to learn multi-level features per point and expand the point set via a multi-branch convolution unit implicitly in feature space. The expanded feature is then split to a multitude of features, which are then reconstructed to an upsampled point set. Our network is applied at a patch-level, with a joint loss function that encourages the upsampled points to remain on the underlying surface with a uniform distribution. We conduct various experiments using synthesis and scan data to evaluate our method and demonstrate its superiority over some baseline methods and an optimization-based method. Results show that our upsampled points have better uniformity and are located closer to the underlying surfaces.

研究动机与目标

• 将点云上采样动机化为一个数据驱动的问题，与简单插值不同。
• 开发一个基于补丁的网络，通过多级特征聚合学习局部与全局几何特征。
• 在特征空间提出一种特征扩展机制，以每个输入点生成多个输出点。
• 通过联合损失（结合重建（EMD）和斥力损失）来强制表面贴合和均匀分布。

提出的方法

• 从先前的 3D 模型在多个尺度上提取局部补丁，以学习几何语义。
• 使用分层学习和受 PointNet++ 启发的多级特征聚合对点特征进行嵌入。
• 使用受子像素卷积启发的扩展，将特征扩展以增加点的数量，并采用分离卷积以减少冗余。
• 通过对每个点特征使用全连接层来重建输出点的三维坐标。
• 端到端训练，使用重建的 Earth Mover’s Distance (EMD) 与斥力损失的联合损失以促进均匀分布。

实验结果

研究问题

• RQ1 一个数据驱动的网络是否能学习比基于优化的方法更好的局部几何模式来对点云进行上采样？
• RQ2 多级特征聚合是否比单尺度特征提高上采样质量？
• RQ3 特征空间扩展策略如何影响输出点的均匀性和表面贴合？

主要发现

• PU-Net 在合成数据和真实扫描数据上实现了比基线方法和基于优化的方法更好的表面贴合。
• 该方法在所测试的补丁上获得了更均匀的点分布，凭借定量指标和可视化比较得以体现。
• 联合使用 EMD 重建损失和斥力损失同时提高了对表面的准确性和输出点的均匀性。
• 基于补丁的、非有序的点处理方法无需固定点序即可产生高质量上采样。
• 迭代上采样在输入数量变化和噪声输入情况下表现出鲁棒性，能够保留表面细节。