[论文解读] TearingNet: Point Cloud Autoencoder to Learn Topology-Friendly Representations

Jiahao Pang, Duanshun Li+1 more|arXiv (Cornell University)|Jun 17, 2020

3D Shape Modeling and Analysis参考文献 43被引用 8

一句话总结

TearingNet 是一种用于 3D 点云重建的新型自编码器，通过迭代地将二维原始图撕裂成带孔洞的补丁并折叠成 3D 形状，学习拓扑友好的表征。在具有不同拓扑结构的复杂场景中，其在平均绝对误差（MAE）上相比 FoldingNet 和 AtlasNet 等基准方法性能提升高达 40%，展现出卓越的重建能力与拓扑感知特征学习能力。

ABSTRACT

Topology matters. Despite the recent success of point cloud processing with geometric deep learning, it remains arduous to capture the complex topologies of point cloud data with a learning model. Given a point cloud dataset containing objects with various genera, or scenes with multiple objects, we propose an autoencoder, TearingNet, which tackles the challenging task of representing the point clouds using a fixed-length descriptor. Unlike existing works directly deforming predefined primitives of genus zero (e.g., a 2D square patch) to an object-level point cloud, our TearingNet is characterized by a proposed Tearing network module and a Folding network module interacting with each other iteratively. Particularly, the Tearing network module learns the point cloud topology explicitly. By breaking the edges of a primitive graph, it tears the graph into patches or with holes to emulate the topology of a target point cloud, leading to faithful reconstructions. Experimentation shows the superiority of our proposal in terms of reconstructing point clouds as well as generating more topology-friendly representations than benchmarks.

研究动机与目标

• 为解决学习具有复杂拓扑结构（如孔洞或多物体）的 3D 点云的拓扑感知表征的挑战。
• 在超越假设为亏格为零或简单拓扑结构的现有自编码器的基础上，提升点云重建性能。
• 开发一种在表征学习过程中显式建模拓扑结构（如孔洞、连通分量）的方法。
• 在对拓扑敏感的下游任务（如物体计数与检测）中实现稳健性能。
• 通过可视化与距离分析，分析学习到的特征空间如何反映拓扑结构。

提出的方法

• TearingNet 采用撕裂网络（T-Net）与折叠网络（F-Net）之间的反馈循环，交替进行以优化重建结果。
• T-Net 通过撕裂二维原始图的边，显式学习拓扑结构，创建孔洞或分离的补丁以匹配目标点云的拓扑。
• F-Net 通过从潜在码学习坐标预测，将撕裂后的二维图变形为 3D 点云。
• 该架构被展开为图条件自编码器（GCAE），使方法可推广至点云之外的场景。
• T-Net 使用基于图的操作，根据当前重建与真实值之间的拓扑差异，识别并撕裂边。
• 反馈循环实现迭代优化：初始折叠结果指导撕裂，撕裂结果又进一步改善下一次折叠步骤。

实验结果

研究问题

• RQ1 自编码器能否学习具有复杂拓扑结构（如孔洞或多物体）的 3D 点云的拓扑感知表征？
• RQ2 与标准自编码器相比，迭代撕裂与折叠机制在多大程度上提升了重建质量？
• RQ3 学习到的潜在码在多大程度上反映了拓扑结构（如亏格或贝蒂数）？
• RQ4 拓扑感知表征能否泛化至下游任务（如物体计数与检测）？
• RQ5 学习到的特征空间中哪些结构特性表明其具有拓扑友好性？

主要发现

• 在 KIMO-4 数据集上，TearingNet 相较于 FoldingNet 和 AtlasNet 将平均绝对误差（MAE）降低超过 40%，证明其具有卓越的重建性能。
• 在 KIMO-3 数据集上，TearingNet 在物体计数任务中取得 0.121×10⁻¹ 的 MAE，优于所有基准方法，包括 LatentGAN 和 FoldingNet。
• TearingNet 的码字 t-SNE 可视化显示，其呈现树状层级聚类模式，与物体数量一一对应，表明其具有拓扑感知的特征组织结构。
• 从码字 k 到计数 9 的均值的平均欧氏距离随 k 减小而线性增加，证实了分层的、对拓扑敏感的特征分布。
• 在物体检测任务中，TearingNet 在 KIMO-6 上达到 86.52% 的准确率，超过 FoldingNet（82.92%）与 AtlasNet（83.53%）超过 3%，显示出向高级任务的可迁移性。
• 特征空间分析表明，码字按拓扑复杂度组织，高计数物体形成中心聚集的簇，周围环绕着低计数簇。