[论文解读] Universal Function Approximation on Graphs

Rickard Brüel‐Gabrielsson|arXiv (Cornell University)|Mar 14, 2020

Topological and Geometric Data Analysis被引用 7

一句话总结

本文提出了一种新颖的框架，用于在图同构类上进行通用函数逼近，采用具有单射性质的多值函数，实现了在四个基准数据集上的图分类任务最先进性能。该方法利用持久同调和受树-LSTM启发的架构，实现同构不变表示，时间复杂度为 O(|edges| × |nodes|)，在区分非同构图方面优于现有方法。

ABSTRACT

In this work we produce a framework for constructing universal function approximators on graph isomorphism classes. We prove how this framework comes with a collection of theoretically desirable properties and enables novel analysis. We show how this allows us to achieve state-of-the-art performance on four different well-known datasets in graph classification and separate classes of graphs that other graph-learning methods cannot. Our approach is inspired by persistent homology, dependency parsing for NLP, and multivalued functions. The complexity of the underlying algorithm is O(#edges x #nodes) and code is publicly available (https://github.com/bruel-gabrielsson/universal-function-approximation-on-graphs).

研究动机与目标

• 开发一个理论基础坚实的图同构类上通用函数逼近框架。
• 通过使用冗余受控的多值函数，克服单射图表示的局限性。
• 在保持理论保证的前提下，实现图分类任务的最先进性能。
• 提供一种可扩展且可学习的表示方法，能够区分先前方法失效的非同构图。

提出的方法

• 在图同构类上使用具有同构单射性质的多值函数，确保非同构图具有不同的表示。
• 对图进行分层子图分解，随后采用基于排序的编码方式以减少冗余。
• 应用树-LSTM和门控循环单元，对子图表示进行编码，利用可学习的记忆状态。
• 提出一种新颖的算法流水线，结合边与节点排序、子图分解以及神经网络读出，实现通用逼近。
• 采用带有残差连接和批量归一化的神经网络读出层，将子图特征聚合为全局图嵌入。
• 应用类别冗余界以分析并控制每个同构类的等价表示数量。

实验结果

研究问题

• RQ1 具有同构单射性质的多值函数能否作为图上通用函数逼近的基础？
• RQ2 图同构、规范表示与通用函数逼近之间存在何种理论关系？
• RQ3 一种可扩展且可学习的图表示能否在有界图上实现通用逼近？
• RQ4 所提出的方法在图分类任务中如何优于现有的图神经网络和持久同调方法？
• RQ5 类别冗余与排序顺序对模型泛化能力和训练稳定性有何影响？

主要发现

• 所提框架在四个基准图分类数据集（MUTAG、PTC、PROTEINS 和 NCI1）上实现了最先进性能。
• 该方法成功区分了其他图学习框架无法分离的非同构图。
• 该算法的时间复杂度为 O(|edges| × |nodes|)，使其在实际图学习应用中具有可行性。
• 类别冗余受 O((t1,1!)...(t1,l1!)(t2,1!)...(tk,lk!)(2p)) 限制，通过子图绑定打破策略可获得更紧的界。
• 该框架通过将图表示视为具有受控单射性的多值函数，实现了新颖的分析能力。
• 实验表明，由于采用基于排序的编码方式，模型对节点顺序具有鲁棒性，从而在训练过程中减少了过拟合。