[论文解读] Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning

Pedro Hermosilla, Tobias Ritschel+1 more|arXiv (Cornell University)|Apr 16, 2019

Optical measurement and interference techniques参考文献 29被引用 26

一句话总结

本文提出了一种无需干净数据或成对的噪声-干净样本的无监督深度学习方法，用于3D点云去噪。通过在自监督去噪网络中引入基于空间邻近性和外观一致性的先验，该方法在仅使用相同量训练数据的情况下，性能可与监督方法相媲美，且在真实世界和模拟数据上均优于无监督基线方法以及部分监督方法。

ABSTRACT

We show that denoising of 3D point clouds can be learned unsupervised, directly from noisy 3D point cloud data only. This is achieved by extending recent ideas from learning of unsupervised image denoisers to unstructured 3D point clouds. Unsupervised image denoisers operate under the assumption that a noisy pixel observation is a random realization of a distribution around a clean pixel value, which allows appropriate learning on this distribution to eventually converge to the correct value. Regrettably, this assumption is not valid for unstructured points: 3D point clouds are subject to total noise, i. e., deviations in all coordinates, with no reliable pixel grid. Thus, an observation can be the realization of an entire manifold of clean 3D points, which makes a naïve extension of unsupervised image denoisers to 3D point clouds impractical. Overcoming this, we introduce a spatial prior term, that steers converges to the unique closest out of the many possible modes on a manifold. Our results demonstrate unsupervised denoising performance similar to that of supervised learning with clean data when given enough training examples - whereby we do not need any pairs of noisy and clean training data.

研究动机与目标

• 实现无需干净真实标签数据或成对的噪声-干净样本的3D点云去噪。
• 解决3D点云中‘全噪声’问题，即空间坐标与外观信息同时受损，与2D图像不同。
• 开发一种利用点云固有结构的空间与外观先验的自监督学习框架。
• 证明当训练数据足够时，无监督去噪可达到甚至超越监督方法的性能。
• 通过数据重采样策略，实现对现有监督去噪器的即插即用式无监督升级。

提出的方法

• 该方法通过端到端训练深度神经网络，从噪声输入点云中回归预测自身干净坐标，采用类似图像中Noise2Void的‘盲区’架构。
• 引入空间邻近性先验，引导网络聚焦于潜在表面流形上最近的有效点，以解决全噪声带来的模糊性。
• 利用基于外观的先验（可选地结合颜色信息），通过局部强度或颜色一致性进一步优化预测结果。
• 网络通过最小化预测点与输入点之间L2距离的重建损失进行端到端训练，且将先验嵌入损失函数中。
• 该方法与网络架构无关，可通过将输入重采样为看似干净的数据，适用于任意监督去噪器，实现无监督微调。
• 该方法可扩展且高效，可在单次前向传播中处理大规模点云，无需迭代优化。

实验结果

研究问题

• RQ1 能否仅使用噪声点云，在无监督设置下有效学习3D点云去噪？
• RQ2 在自监督学习中，如何解决全噪声（所有坐标均被破坏）带来的模糊性问题？
• RQ3 空间与外观先验在提升无监督去噪性能中起到何种作用？
• RQ4 当使用相同量的训练数据时，无监督去噪方法能否超越监督方法？
• RQ5 是否可能在不修改网络架构或监督机制的前提下，将监督去噪器升级为无监督版本？

主要发现

• 在模拟的高斯噪声下，所提方法平均误差为0.329，优于使用相同数据量（1200万点）的监督基线方法。
• 在高级模拟扫描噪声下，完整方法（同时包含空间与外观先验）的平均误差为0.329，显著优于无监督基线方法（如均值滤波：0.393，双边滤波：0.362）。
• 消融研究显示，若移除空间先验，性能接近简单滤波器，表明其在解决流形模糊性方面具有关键作用。
• 引入外观先验在各类噪声类型、数据量和噪声水平下均能持续提升性能，使结果接近或超越监督方法。
• 在真实世界移动激光扫描数据（Paris-rue-Madame）上，该方法成功去除了噪声，同时保留了锐利边缘与均匀采样，尽管缺乏真实标签。
• 该方法可将现有监督去噪器（如PointCleanNet）无修改地升级为无监督版本，性能略优（误差1.34 vs. 1.36），无需改变架构。