[论文解读] On Filter Size in Graph Convolutional Networks

Tran Van Dinh, Nicolò Navarin+1 more|arXiv (Cornell University)|Nov 23, 2018

Advanced Graph Neural Networks参考文献 19被引用 9

一句话总结

本文提出了一种广义图卷积滤波器，引入了一个可学习的超参数以控制感受野大小（邻域距离 r），使模型能够捕捉超出直接邻居的更丰富的局部图结构。实验表明，与 DGCNN 及当前最先进图核相比，该参数化图卷积（PGC-DGCNN）在多个基准数据集上显著提升了预测性能，在 PROTEINS 数据集上最高实现 17% 的提升，其余数据集则保持 1%–3% 的一致增益。

ABSTRACT

Recently, many researchers have been focusing on the definition of neural networks for graphs. The basic component for many of these approaches remains the graph convolution idea proposed almost a decade ago. In this paper, we extend this basic component, following an intuition derived from the well-known convolutional filters over multi-dimensional tensors. In particular, we derive a simple, efficient and effective way to introduce a hyper-parameter on graph convolutions that influences the filter size, i.e. its receptive field over the considered graph. We show with experimental results on real-world graph datasets that the proposed graph convolutional filter improves the predictive performance of Deep Graph Convolutional Networks.

研究动机与目标

• 为解决现有图卷积网络中感受野固定且浅层的问题，这些网络通常仅考虑直接邻居（r=1）。
• 通过引入可调节的超参数 r 来泛化标准图卷积算子，该参数控制特征聚合的邻域距离。
• 通过使模型能够捕捉更具信息量的局部图结构，提升图分类任务中的预测性能。
• 证明灵活的感受野大小可提升在多样化真实世界图数据集上的泛化能力和鲁棒性。

提出的方法

• 提出一种参数化图卷积滤波器，通过允许感受野扩展至直接邻居之外，包含最短路径距离为 r 的节点，从而泛化标准 GCN。
• 该滤波器通过可学习的聚合函数，聚合每个节点周围半径 r 内所有节点的特征，计算隐藏表示。
• 该方法被正式定义为 DGCNN 架构的泛化形式，其中 r=1 对应原始 DGCNN，而 r>1 可实现对更丰富局部结构的捕捉。
• 初始实验中使用固定 r=2，但该框架允许在一系列值中调节 r 以获得最佳性能。
• 该架构保留了与 DGCNN 相同的整体设计，包括 1D 卷积和 ReLU/LeakyReLU 激活函数，但将固定的邻域聚合替换为基于参数 r 的滤波器。
• 该方法可兼容任意基于 GCN 的模型，并可应用于堆叠多层以实现递增的感受野。

实验结果

研究问题

• RQ1 在图卷积中改变感受野大小（r）如何影响图分类任务中的模型性能？
• RQ2 具有可调 r 参数的广义图卷积是否能超越仅考虑直接邻居（r=1）的标准 GCN？
• RQ3 与当前最先进图核及深度学习基线相比，所提出的参数化滤波器是否能提升泛化能力和预测准确率？
• RQ4 r 对模型捕捉多样化真实世界数据集中有意义的局部图结构的能力有何影响？
• RQ5 通过调节 r 和层数，该方法是否可有效扩展至更深的架构？

主要发现

• 所提出的 PGC-DGCNN 方法在八项图分类基准中的六项上优于 DGCNN，性能提升稳定在 1% 至 2% 之间。
• 在 MUTAG 和 PROTEINS 数据集上，该方法分别相对于表现最佳的图核（RW 核）实现了 8% 和 17% 的相对提升。
• 在 NCI1 数据集上，尽管 DGCNN 和 PGC-DGCNN 的性能略低于 DCNN，但后者仍相对于基线深度学习模型实现了显著的 14%–21% 提升。
• PGC-DGCNN 与 DGCNN 之间的性能差距可归因于 PGC-DGCNN 能够通过 r=2 捕捉更丰富的局部结构，而 DGCNN 仅使用 r=1。
• 结果表明，若在一系列 r 值上进行调优，性能还可进一步提升，因为当前评估使用的是固定 r=2。
• 作者得出结论：所提出的滤波器泛化了 DGCNN，并为控制 GCN 中的感受野大小提供了一种灵活且高效的方法。