[论文解读] PiNet: A Permutation Invariant Graph Neural Network for Graph Classification

Peter C. Meltzer, Marcelo Daniel Gutierrez Mallea+1 more|arXiv (Cornell University)|May 8, 2019

Advanced Graph Neural Networks参考文献 10被引用 9

一句话总结

PiNet 是一种排列不变的图神经网络，采用可微的节点注意力池化机制，学习对节点顺序不变的固定大小图表示。它在分子分类基准上达到最先进性能，并在极少训练数据下对同构性检测表现出统计上显著的准确率提升。

ABSTRACT

We propose an end-to-end deep learning learning model for graph classification and representation learning that is invariant to permutation of the nodes of the input graphs. We address the challenge of learning a fixed size graph representation for graphs of varying dimensions through a differentiable node attention pooling mechanism. In addition to a theoretical proof of its invariance to permutation, we provide empirical evidence demonstrating the statistically significant gain in accuracy when faced with an isomorphic graph classification task given only a small number of training examples. We analyse the effect of four different matrices to facilitate the local message passing mechanism by which graph convolutions are performed vs. a matrix parametrised by a learned parameter pair able to transition smoothly between the former. Finally, we show that our model achieves competitive classification performance with existing techniques on a set of molecule datasets.

研究动机与目标

• 解决图分类中节点顺序任意且同构图必须视为等价的挑战。
• 开发一种端到端的深度学习模型，保证输入图中节点排列不变性。
• 通过实现无论节点顺序如何都一致的图级表示，克服标准图神经网络在图级任务中的局限性。
• 设计一种可微注意力机制，将节点表示聚合为固定大小的图嵌入。
• 在具有不同结构复杂度的多样化分子图数据集上，评估模型的鲁棒性与泛化能力。

提出的方法

• 提出一种图神经网络架构，包含可学习注意力池化层，将节点表示聚合为固定大小的图级嵌入。
• 引入由可学习参数 $p$ 和 $q$ 参数化的消息传递机制，实现不同消息传递矩阵之间的平滑过渡。
• 注意力机制基于节点表示计算节点权重，实现可微且排列不变的聚合。
• 使用交叉熵损失和标准反向传播进行端到端训练。
• 消息传递矩阵被定义为四个基矩阵的凸组合，$p$ 和 $q$ 控制其在基矩阵间的过渡。
• 提供了理论证明，表明模型输出对输入图节点的任意排列均保持不变。

实验结果

研究问题

• RQ1 图分类的深度学习模型能否在保持高准确率的同时，保证对节点排列的确定不变性？
• RQ2 所提出的可微注意力池化机制在学习鲁棒且排列不变的图表示方面有多有效？
• RQ3 该模型能否在不同图类型上动态学习最优消息传递矩阵，优于人工设计的选择？
• RQ4 在有限训练数据下，该模型是否在同构性检测任务中实现统计上显著的性能提升？
• RQ5 该模型在标准分子基准数据集上与现有图分类器相比表现如何？

主要发现

• PiNet 在同构性分类任务中实现统计上显著的准确率提升，尤其在小规模训练集下，优于 GCN、PATCHY-SAN 和 WLKernel。
• 采用学习得到的 $p$ 和 $q$ 参数的模型在 MUTAG 上达到 $88\pm0.7\%$ 准确率，在 PROTEINS 上达到 $74\pm0.2\%$，优于人工超参数搜索。
• 在 NCI-1 数据集上，PiNet 达到 $75\pm0.6\%$ 准确率，与 PATCHY-SAN 和 GCN 等最先进模型相当。
• 模型学习到的 $p$ 和 $q$ 值在 MUTAG 和 PROTEINS 上优于人工搜索，尽管并非在所有数据集上均表现更优，表明可能部分收敛至局部最优。
• PiNet 在多样化分子数据集上表现出鲁棒性，在所测试的五个基准数据集上均取得具有竞争力的性能。
• 理论证明确认 PiNet 的输出对节点索引的任意排列均保持不变，确保无论输入顺序如何，表示结果一致。