[论文解读] PersLay: A Neural Network Layer for Persistence Diagrams and New Graph Topological Signatures

Mathieu Carrière, Frédéric Chazal+4 more|arXiv (Cornell University)|Apr 20, 2019

Topological and Geometric Data Analysis参考文献 41被引用 75

一句话总结

PersLay 引入了一种可微分的神经网络层，用于学习从图构建的持久性图的向量化，能够端到端地对图进行分类，结果具有竞争力且具备可扩展性。

ABSTRACT

Persistence diagrams, the most common descriptors of Topological Data Analysis, encode topological properties of data and have already proved pivotal in many different applications of data science. However, since the (metric) space of persistence diagrams is not Hilbert, they end up being difficult inputs for most Machine Learning techniques. To address this concern, several vectorization methods have been put forward that embed persistence diagrams into either finite-dimensional Euclidean space or (implicit) infinite dimensional Hilbert space with kernels. In this work, we focus on persistence diagrams built on top of graphs. Relying on extended persistence theory and the so-called heat kernel signature, we show how graphs can be encoded by (extended) persistence diagrams in a provably stable way. We then propose a general and versatile framework for learning vectorizations of persistence diagrams, which encompasses most of the vectorization techniques used in the literature. We finally showcase the experimental strength of our setup by achieving competitive scores on classification tasks on real-life graph datasets.

研究动机与目标

• 在图上引入基于 Heat Kernel Signatures (HKS) 的扩展持久性图，并证明它们的稳定性。
• 开发 PersLay，一种在置换不变框架内学习持久性图向量化的神经网络层。
• 证明 PersLay 能泛化常见的图形向量化，并且具备端到端学习所需的可微性。
• 展示在合成动力系统数据集和真实世界图数据集上的可扩展性和具有竞争力的性能。

提出的方法

• 将 PersLay 定义为一个置换不变层：PersLay(Dg) = op({w(p) * phi(p) for p in Dg}).
• 提供三种点变换函数 phi：三角形 (Lambda)、高斯 (Gamma) 和直线 (L)，将图点映射到特征向量。
• 将 PersLay 与现有向量化（landscapes、silhouettes、surfaces、kernels）作为特例联系起来。
• 允许可训练的权重函数 w 和表示 phi，使得通过反向传播实现连续学习。
• 证明与 PersLay 一起使用的持久性图在图距离 dB 和参数 t（扩散参数）下可稳定。
• 将 PersLay 集成到简单的图分类器（两层网络）并在标准图基准数据集上进行评估。

实验结果

研究问题

• RQ1 如何将从图中导出的持久性图有效地并入可训练的神经网络？
• RQ2 单一的可微分层（PersLay）是否能够泛化并恢复现有的持久性图向量化？
• RQ3 基于 Heat Kernel Signatures 构建的扩展持久性图在图分类任务中是否稳定且有效？
• RQ4 在大规模图数据集上，PersLay 相对于核方法和标准图神经网络的表现如何？

主要发现

• PersLay 在各类图分类基准上的准确率具有竞争力，常常与最先进的方法相当。
• 在 ORBIT5K 和 ORBIT100K 动力系统数据集上，PersLay 超越了若干基于核的方法，并可扩展到非常大的数据集（ORBIT100K）。
• 该框架把常见向量化作为特例包含在内，使得对图的拓扑特征学习更加灵活。
• 基于 Heat Kernel Signatures 的扩展持久性图在图扰动和扩散参数 t 下具有稳定性。
• 使用 PersLay 的简单两层架构就能实现强健的结果，而不需要复杂的图神经网络。