[论文解读] Tranquil Clouds: Neural Networks for Learning Temporally Coherent Features in Point Clouds

Lukas Prantl, Nuttapong Chentanez+2 more|arXiv (Cornell University)|Jul 3, 2019

3D Shape Modeling and Analysis参考文献 36被引用 12

一句话总结

本文提出了一种新颖的深度学习框架，通过引入包含高阶时间导数的时序损失函数，实现对动态点云中时间一致特征的学习，从而抑制闪烁和伪影。通过结合孪生网络架构、基于局部块的排列不变超分辨率方法以及动态截断机制，该方法在包含数百万个点的大规模形变数据集上实现了稳定且高质量的点云超分辨率。

ABSTRACT

Point clouds, as a form of Lagrangian representation, allow for powerful and flexible applications in a large number of computational disciplines. We propose a novel deep-learning method to learn stable and temporally coherent feature spaces for points clouds that change over time. We identify a set of inherent problems with these approaches: without knowledge of the time dimension, the inferred solutions can exhibit strong flickering, and easy solutions to suppress this flickering can result in undesirable local minima that manifest themselves as halo structures. We propose a novel temporal loss function that takes into account higher time derivatives of the point positions, and encourages mingling, i.e., to prevent the aforementioned halos. We combine these techniques in a super-resolution method with a truncation approach to flexibly adapt the size of the generated positions. We show that our method works for large, deforming point sets from different sources to demonstrate the flexibility of our approach.

研究动机与目标

• 解决动态点云深度学习中缺乏时间一致性的缺陷，该缺陷会导致生成结果出现闪烁和伪影。
• 克服在随时间变化的大小与拓扑结构下学习稳定、排列不变的点集表示的挑战。
• 开发一种可灵活、自适应输出分辨率的超分辨率方法，无需固定输出尺寸。
• 识别并缓解时间点云网络中特有的新形式模式崩溃——环形伪影（hollow structures）。
• 在多种数据类型上实现泛化能力，包括物理模拟与真实扫描生成的基于表面和体素的点云。

提出的方法

• 提出一种新颖的时序损失函数，引入点位置的二阶时间导数，以增强运动平滑性并减少闪烁。
• 设计一种孪生网络架构，通过使用地球移动距离（EMD）进行排列不变操作，处理局部点块以学习特征。
• 实现一种截断机制，可动态调整每块的输出点数，从而实现灵活高效的分辨率缩放。
• 提出一种“混合”损失项，通过鼓励空间多样性并避免特征空间中的局部极小值，防止静态局部模式（如环形伪影）的出现。
• 采用基于局部块的推理策略，以处理可变的输入与输出尺寸，提升内存效率，并支持大规模形变点云的处理。
• 在时间上已知对应关系的条件下进行网络训练，实现在保持几何保真度的同时对时间一致性进行监督。

实验结果

研究问题

• RQ1 深度神经网络如何学习随时间变形且基数变化的点云的时间一致特征表示？
• RQ2 哪些损失函数在抑制动态点云生成中的闪烁与环形伪影方面是有效的？
• RQ3 能否使点云超分辨率方法在保持几何与时间保真度的同时，实现输出尺寸的灵活性？
• RQ4 时间点云网络的失效模式是什么？如何通过损失设计加以缓解？
• RQ5 在物理模拟数据上训练的模型，其泛化能力在真实世界或基于表面的点云序列上能达到何种程度？

主要发现

• 与先前工作相比，本方法在3D空间损失平均降低至0.04（低于0.05），2D空间损失降低至0.08（低于0.1），表明几何精度显著提升。
• 时间一致性损失被降低至接近零水平，收敛图显示训练过程稳定，动画序列中闪烁现象极少。
• 该方法显著减少了冗余点的生成：在蜘蛛动画中，本方法生成251,146个点，而先前工作生成306万点，分别实现31.79倍与387.81倍的效率提升，表明覆盖更高效。
• 混合损失有效抑制了环形伪影，视觉对比显示本方法保持了更均匀的点分布与更少的异常点。
• 模型在训练数据之外也表现出良好泛化能力，对基于表面与体素的点云（包括液体与移动人物）均生成高质量结果。
• 动态截断机制实现了每块输出尺度的灵活调整，在保持形状保真度的同时减少了总点数，尤其在密度变化区域表现更优。