[论文解读] Simplicial Complex Representation Learning

Mustafa Hajij, Ghada Zamzmi+3 more|arXiv (Cornell University)|Mar 6, 2021

Topological and Geometric Data Analysis参考文献 35被引用 8

一句话总结

该论文提出了一种基于新型几何消息传递机制的单纯形复形自编码器（SCA）的端到端方法，首次实现了对整个单纯形复形的通用表示学习。该方法在学习到的嵌入空间中保持了复形之间的接近性，并在公开的60个网格数据集上，通过2D可视化成功实现了网格类别的聚类，包括未见过的类别，标志着高维拓扑表示学习的一个基础性进展。

ABSTRACT

Simplicial complexes form an important class of topological spaces that are frequently used in many application areas such as computer-aided design, computer graphics, and simulation. Representation learning on graphs, which are just 1-d simplicial complexes, has witnessed a great attention in recent years. However, there has not been enough effort to extend representation learning to higher dimensional simplicial objects due to the additional complexity these objects hold, especially when it comes to entire-simplicial complex representation learning. In this work, we propose a method for simplicial complex-level representation learning that embeds a simplicial complex to a universal embedding space in a way that complex-to-complex proximity is preserved. Our method uses our novel geometric message passing schemes to learn an entire simplicial complex representation in an end-to-end fashion. We demonstrate the proposed model on publicly available mesh dataset. To the best of our knowledge, this work presents the first method for learning simplicial complex-level representation.

研究动机与目标

• 解决缺乏针对整个单纯形复形的表示学习方法的问题，单纯形复形是图的高维推广。
• 通过为整个复形学习一个通用嵌入，克服现有单纯形级别嵌入技术的局限性。
• 在共享的嵌入空间中保持单纯形复形之间的结构和拓扑接近性。
• 支持分类和相似性排序等下游任务，应用于拓扑数据结构。
• 通过可视化和定量验证，在真实世界的网格数据集上证明所提方法的可行性和有效性。

提出的方法

• 提出一种单纯形复形自编码器（SCA），通过跨单纯形的几何消息传递学习整个复形的嵌入。
• 使用单层AMPS（自适应消息传递方案）结合最终的全连接层，生成最终的复形级别嵌入向量 $\mathbf{h}_X$。
• 采用对比损失目标 $\mathcal{L} = \sum_{i,j} (\|h_{X_i} - h_{X_j}\| - d_{ij})^2$ 进行训练，以保留复形之间成对距离 $d_{ij}$。
• 使用Hausdorff距离或基于持久同调的度量等方法计算距离矩阵 $D$，用于三角剖分网格。
• 在PyTorch实现中，使用批量大小为1的SGD优化器进行100个周期的端到端训练。
• 探索替代训练策略，如三元组损失，以避免预先计算完整的距离矩阵，从而实现在有标签数据下的端到端度量学习。

实验结果

研究问题

• RQ1 我们能否为整个单纯形复形学习一个通用的、低维的嵌入，以保持其拓扑和结构关系？
• RQ2 几何消息传递在捕捉不同拓扑结构之间复形到复形的接近性方面有多有效？
• RQ3 该模型能否泛化到未见过的单纯形复形（例如，测试集中未出现在训练集中的网格）并基于形状相似性进行聚类？
• RQ4 使用预计算的距离矩阵与通过三元组损失进行端到端度量学习之间存在哪些权衡？
• RQ5 所学嵌入在支持分类和相似性排序等下游任务方面，其有效程度如何？

主要发现

• 该模型成功地将同一类别的网格（如人脸、头部和马）在2D嵌入空间中聚类为空间上连贯的组。
• 即使未在猫、大象或骆驼网格上进行训练，该模型仍能将这些未见过的动物正确嵌入到其结构相似的对应物附近，表明具有强大的泛化能力。
• 结构相关的动物（如四足动物）被嵌入在相近位置，证明了模型捕捉基于形状相似性的能力。
• 使用2D嵌入维度使得可视化成为可能，并证实所学表示保留了有意义的拓扑关系。
• 该方法在无需显式标签的情况下实现了有效的无监督表示学习，仅依赖于通过持久同调或Hausdorff度量计算的距离矩阵。
• 该模型在使用三元组损失进行未来端到端训练方面展现出潜力，这可以消除对预计算距离矩阵的需求，同时保持性能。