[论文解读] PU-EVA: An Edge Vector based Approximation Solution for Flexible-scale Point Cloud Upsampling

Luqing Luo, Lulu Tang+3 more|arXiv (Cornell University)|Apr 22, 2022

3D Shape Modeling and Analysis被引用 5

一句话总结

PU-EVA 提出了一种基于边向量的仿射组合方法，用于灵活尺度的点云上采样，实现了上采样率与网络架构的解耦。通过利用边向量建模局部几何结构，并将近似误差约束在二阶泰勒展开范围内，该方法在最先进方法中实现了更优的表面保真度、均匀性以及细节保留效果。

ABSTRACT

High-quality point clouds have practical significance for point-based rendering, semantic understanding, and surface reconstruction. Upsampling sparse, noisy and nonuniform point clouds for a denser and more regular approximation of target objects is a desirable but challenging task. Most existing methods duplicate point features for upsampling, constraining the upsampling scales at a fixed rate. In this work, the flexible upsampling rates are achieved via edge vector based affine combinations, and a novel design of Edge Vector based Approximation for Flexible-scale Point clouds Upsampling (PU-EVA) is proposed. The edge vector based approximation encodes the neighboring connectivity via affine combinations based on edge vectors, and restricts the approximation error within the second-order term of Taylor's Expansion. The EVA upsampling decouples the upsampling scales with network architecture, achieving the flexible upsampling rates in one-time training. Qualitative and quantitative evaluations demonstrate that the proposed PU-EVA outperforms the state-of-the-art in terms of proximity-to-surface, distribution uniformity, and geometric details preservation.

研究动机与目标

• 解决现有深度学习方法在点云上采样中上采样率固定的局限性。
• 提升在稀疏或含噪点云上采样时的表面保真度、均匀性以及几何细节保留效果。
• 实现上采样尺度与网络架构的解耦，实现一次训练适用于多种尺度。
• 通过边向量引入局部几何结构，以指导更精确的点位置生成。

提出的方法

• 利用边向量构建相似性矩阵，以编码三维点云中局部邻域的连通性。
• 采用基于边向量的仿射组合生成新点，利用邻近点的几何上下文信息。
• 应用线性近似定理，将近似误差限制在二阶泰勒展开项范围内。
• 设计可学习的上采样单元，无需架构更改即可动态适应多种上采样尺度。
• 将 EVA 上采样单元集成到端到端深度学习框架中，实现特征学习与点生成的联合优化。
• 使用 NodeShuffle 和直接特征复制作为消融实验与对比的基线方法。

实验结果

研究问题

• RQ1 基于边向量的仿射组合是否能在不重新训练的情况下实现灵活的上采样率？
• RQ2 通过边向量引入几何结构是否能提升表面近似效果与细节保留？
• RQ3 近似误差是否可被解析地界定，以确保网络收敛？
• RQ4 该方法在不同输入噪声与稀疏度水平下的表现如何？
• RQ5 该方法是否能泛化到具有非均匀采样特性的真实世界 LiDAR 扫描数据？

主要发现

• PU-EVA 在所有输入分辨率下均实现了最低的 Chamfer 距离（CD）与 Hausdorff 距离（HD），表明其具有更优的表面近似能力。
• 在 4× 上采样下，该方法在稀疏输入上相比 PU-GAN 将 CD 降低最多 15%，相比 PU-Net 降低最多 10%。
• 消融实验证实，EVA 上采样单元在 CD、HD 和 F-Score 三项指标上均优于直接特征复制与 NodeShuffle。
• 即使不使用二阶泰勒误差项，PU-EVA 仍保持强劲性能，证明了边向量机制的鲁棒性。
• 该方法对输入噪声具有鲁棒性，在高斯噪声水平逐渐增加的情况下表现出一致的性能退化。
• 来自 Kitti 数据集的真实世界 LiDAR 扫描显示，PU-EVA 能有效增强稀疏且非均匀的街景数据，生成更清晰、更精确的物体形状。