[论文解读] PF-Net: Point Fractal Network for 3D Point Cloud Completion

Zitian Huang, Yikuan Yu+3 more|arXiv (Cornell University)|Mar 1, 2020

3D Shape Modeling and Analysis参考文献 33被引用 38

一句话总结

PF-Net 保留输入的部分点云并分层预测缺失区域，采用多尺度、分形状的解码器和对抗性损失，在高保真度的 3D 点云补全方面达到良好效果。

ABSTRACT

In this paper, we propose a Point Fractal Network (PF-Net), a novel learning-based approach for precise and high-fidelity point cloud completion. Unlike existing point cloud completion networks, which generate the overall shape of the point cloud from the incomplete point cloud and always change existing points and encounter noise and geometrical loss, PF-Net preserves the spatial arrangements of the incomplete point cloud and can figure out the detailed geometrical structure of the missing region(s) in the prediction. To succeed at this task, PF-Net estimates the missing point cloud hierarchically by utilizing a feature-points-based multi-scale generating network. Further, we add up multi-stage completion loss and adversarial loss to generate more realistic missing region(s). The adversarial loss can better tackle multiple modes in the prediction. Our experiments demonstrate the effectiveness of our method for several challenging point cloud completion tasks.

研究动机与目标

• 旨在鲁棒地修复不完整的 3D 点云，而不改变现有点。
• 开发一个分层、多尺度的生成器，在推断缺失几何的同时保持空间排列。
• 使用新颖的多分辨率编码器从部分输入中提取丰富的多尺度特征。
• 通过 Points Pyramid 解码器生成缺失区域，以减少 genus-失真并保留细节。
• 结合多阶段补全损失和对抗损失，以提高真实感并处理多模态输出问题。

提出的方法

• 引入 Multi-Resolution Encoder (MRE) 与 Combined Multi-Layer Perception (CMLP)，在三个尺度上从部分点云提取多尺度特征。
• 使用 Iterative Farthest Point Sampling (IFPS) 在编码器的多个分辨率上获取特征点。
• 设计分层的 Point Pyramid Decoder (PPD)，通过主点层、次要点层和细节点层在三个尺度输出缺失区域的点，受特征点引导。
• 采用多阶段补全损失，将在多分辨率下对缺失区域的预测与缺失区域的真值子样本进行比较。
• 在对抗损失下进行训练，其中判别器引导 PF-Net 生成更真实的缺失区域点云。
• 将补全损失和对抗损失结合为联合目标，以在几何保真度和真实感之间取得平衡。

实验结果

研究问题

• RQ1 部分点云是否可以通过仅预测缺失区域来修复，同时保持现有结构？
• RQ2 多分辨率、基于特征点的编码-解码器是否能够充分利用局部和全局几何信息来提升预测区域的细节？
• RQ3 分层、分形状的解码器是否能够减少 genus-wise 失真并提高缺失区域的细节保留？
• RQ4 对抗性训练是否提高真实感并减少点云补全中的多模态预测问题？

主要发现

类别	LGAN-AE	PCN	3D-Capsule	PF-Net(vanilla)	PF-Net
Airplane	0.856 / 0.722	0.800 / 0.800	0.826 / 0.881	0.284 / 0.231	0.263 / 0.238
Bag	3.102 / 2.994	2.954 / 3.063	3.228 / 2.722	0.927 / 0.934	0.926 / 0.772
Cap	3.530 / 2.823	3.466 / 2.674	3.439 / 2.844	1.308 / 1.027	1.226 / 1.169
Car	2.232 / 1.687	2.324 / 1.738	2.503 / 1.913	0.616 / 0.431	0.599 / 0.424
Chair	1.541 / 1.473	1.592 / 1.538	1.678 / 1.563	0.472 / 0.420	0.487 / 0.427
Guitar	0.394 / 0.354	0.367 / 0.406	0.298 / 0.461	0.097 / 0.094	0.108 / 0.091
Lamp	3.181 / 1.918	2.757 / 2.003	3.271 / 1.912	1.041 / 0.616	1.037 / 0.640
Laptop	1.206 / 1.030	1.191 / 1.155	1.276 / 1.254	0.309 / 0.244	0.301 / 0.245
Motorbike	1.828 / 1.455	1.699 / 1.459	1.591 / 1.664	0.524 / 0.414	0.522 / 0.389
Mug	2.732 / 2.946	2.893 / 2.821	3.086 / 2.961	0.793 / 0.776	0.745 / 0.739
Pistol	1.113 / 0.967	0.968 / 0.958	1.089 / 1.086	0.270 / 0.237	0.252 / 0.244
Skateboard	0.887 / 1.020	0.816 / 1.206	0.897 / 1.262	0.289 / 0.288	0.225 / 0.172
Table	1.694 / 1.601	1.604 / 1.790	1.870 / 1.749	0.505 / 0.417	0.525 / 0.404
Mean	1.869 / 1.615	1.802 / 1.662	1.927 / 1.713	0.572 / 0.471	0.555 / 0.458

• PF-Net 在整体补全质量和缺失区域质量方面在大多数类别上优于基线方法。
• 判别器的加入在大多数类别中提高了预测质量。
• CMLP 与 MR-CMLP 提升了特征提取性能，PF-Net 通过 PPD 解码器进一步增强了对细节的保留。
• 模型对不同程度的不完整输入（25%、50%、75%）具有鲁棒性，且能处理多块缺失区域。
• 定量结果显示 PF-Net 和 PF-Net (vanilla) 在大多数类别和 13 类的均值上实现了更低的 Pred→GT 和 GT→Pred 误差。