[论文解读] Quantifying point cloud realism through adversarially learned latent representations

Larissa T. Triess, David Peter+2 more|arXiv (Cornell University)|Sep 24, 2021

3D Shape Modeling and Analysis参考文献 21被引用 2

一句话总结

本文提出一种新颖的、无需标注的度量方法，通过对抗性学习的潜在表示来量化激光雷达点云中的局部真实感。通过在代理分类任务上进行训练，结合分层特征学习与对抗正则化，该方法可为局部区域分配真实、合成或其它类别的分数，从而实现真实感水平的可靠插值，并在无需真实标签或特定下游任务标签的情况下实现有效的异常检测。

ABSTRACT

Judging the quality of samples synthesized by generative models can be tedious and time consuming, especially for complex data structures, such as point clouds. This paper presents a novel approach to quantify the realism of local regions in LiDAR point clouds. Relevant features are learned from real-world and synthetic point clouds by training on a proxy classification task. Inspired by fair networks, we use an adversarial technique to discourage the encoding of dataset-specific information. The resulting metric can assign a quality score to samples without requiring any task specific annotations. In a series of experiments, we confirm the soundness of our metric by applying it in controllable task setups and on unseen data. Additional experiments show reliable interpolation capabilities of the metric between data with varying degree of realism. As one important application, we demonstrate how the local realism score can be used for anomaly detection in point clouds.

研究动机与目标

• 为解决自动驾驶中使用的合成激光雷达点云真实感缺乏定量、可扩展的评估方法的问题。
• 开发一种无需真实标签或下游任务性能要求的度量方法，以分配真实感分数。
• 通过局部、空间受限的特征学习，实现对点云中异常和传感器伪影的定位。
• 通过抑制数据集特定的特征编码，确保对未见数据分布的鲁棒性。
• 提供一种与人类判断相关联、支持从合成到真实数据连续插值的可靠、连续真实感度量。

提出的方法

• 该方法使用代理分类任务，从真实点云、合成点云（CARLA）以及GAN生成的点云中学习相关特征。
• 分层特征集学习将表示限制在局部空间区域，从而实现局部真实感评估。
• 对抗性训练组件可防止网络编码数据集特定特征，促进泛化能力。
• 模型为每个查询点输出三个类别概率——真实、合成或其它类，形成局部真实感分数。
• 该架构采用类似Siamese的网络结构，包含共享编码器分支和判别器，以强制学习解耦的、聚焦于真实感的特征。
• 该度量在点云块上端到端训练，并通过滑动窗口推理应用于完整场景的评估。

实验结果

研究问题

• RQ1 一种自监督度量能否在无需标注或真实标签的情况下，可靠地量化激光雷达点云的局部真实感？
• RQ2 该度量在不同真实感水平的数据（如真实、合成及噪声数据）之间插值效果如何，例如在真实与合成数据之间？
• RQ3 该度量能否在已见和未见数据集中检测到异常和传感器伪影？
• RQ4 对抗正则化是否能有效抑制数据集特定偏差，同时保留与真实感相关的关键特征？
• RQ5 与基于重建的度量（如EMD或CD）相比，该度量在捕捉感知真实感方面表现如何？

主要发现

• 该度量在真实感水平之间实现了可靠的插值，当CARLA点云的噪声水平增加时，分数平滑过渡。
• 在低噪声水平（几厘米）时，合成CARLA数据的真实感评分高于真实数据，表明噪声对真实感是必要的。
• 在高噪声水平（σ > 10 cm）时，真实分数显著下降，而其它类分数上升，表明结构丧失，无法被分类为真实或合成。
• 该方法成功定位了未见数据集（如PandaSet）中的异常，包括人工添加的高斯噪声区域和极端高程变化区域。
• 该度量在与人类对真实感的感知相关性方面，优于基于重建的度量（如EMD和CD）。
• 对抗训练有效抑制了数据集特定特征，实现了对未见数据分布的稳健泛化。