[论文解读] Unpaired Point Cloud Completion on Real Scans using Adversarial Training
本文提出一个基于点的 GAN 框架，通过学习真实部分点云的潜在空间与清洁完整形状的映射，无需成对的部分-完整数据即可完成真实世界的部分扫描。
As 3D scanning solutions become increasingly popular, several deep learning setups have been developed geared towards that task of scan completion, i.e., plausibly filling in regions there were missed in the raw scans. These methods, however, largely rely on supervision in the form of paired training data, i.e., partial scans with corresponding desired completed scans. While these methods have been successfully demonstrated on synthetic data, the approaches cannot be directly used on real scans in absence of suitable paired training data. We develop a first approach that works directly on input point clouds, does not require paired training data, and hence can directly be applied to real scans for scan completion. We evaluate the approach qualitatively on several real-world datasets (ScanNet, Matterport, KITTI), quantitatively on 3D-EPN shape completion benchmark dataset, and demonstrate realistic completions under varying levels of incompleteness.
研究动机与目标
- 解决真实世界扫描完成缺乏配对监督的问题。
- 开发一个可直接在原始扫描上操作的非配对点基完成方法。
- 利用潜在空间流形在不同数据分布之间对完成进行正则化。
- 展示对多种对象类别的真实和合成数据集的鲁棒性与泛化能力。
提出的方法
- 训练自编码器以学习清洁完整点集和嘈杂部分扫描的潜在空间。
- 学习一个生成器 G，将部分空间 X_r 的潜在编码映射到完整空间 X_c。
- 使用判别器在潜在空间中形成一个 GAN，促使映射后的部分更像真实的完整潜在编码。
- 结合基于 Hausdorff 距离的重构损失，以确保输入与完成之间的一致性。
- 采用最小二乘 GAN 目标以稳定训练。
- 直接在点云上运行，使用类似 PointNet 的编码器/解码器，而不是体素网格或 SDF。
实验结果
研究问题
- RQ1在没有真实对应关系的情况下，非配对训练是否能实现对真实世界部分扫描的高质量完成？
- RQ2在潜在空间之间学习翻译是否对真实与合成数据分布的泛化有效？
- RQ3在完成结果中包含 Hausdorff 距离重构项对保持输入-输出一致性有何影响？
- RQ4在真实与合成数据上，非配对方法与有监督基线（3D-EPN、PCN）相比如何？
- RQ5在有限的配对数据下，该方法能否适应多种对象类别？
主要发现
- 该方法可直接对真实部分扫描进行完成，无需配对数据，并且在 ScanNet、Matterport3D 和 KITTI 上具有泛化能力。
- 在真实世界数据上，非配对方法比像 3D-EPN 和 PCN 这样的有监督基线产生更可信的完成结果。
- 在合成数据（3D-EPN 数据集）上，无监督方法优于 3D-EPN，并且与 PCN 相当；在有监督适配下，接近 PCN 的性能。
- 消融研究表明 GAN 组件和 Hausdorff 重构项对实现最佳结果很重要。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。