[论文解读] Rewiring with Positional Encodings for Graph Neural Networks

Rickard Brüel‐Gabrielsson, Mikhail Yurochkin+1 more|arXiv (Cornell University)|Jan 29, 2022

Advanced Graph Neural Networks被引用 12

一句话总结

本文提出了一种模型无关的方法，通过在 $r$-跳邻域内重连图结构，并将位置编码作为节点/边特征引入，显著提升了图神经网络（GNNs）的性能，同时以极低的计算成本缓解了过压缩问题。该方法在使用较小的 $r$ 值和虚拟 CLS 节点时表现优异，优于标准 GNN 和 Transformer 在多个基准测试中的表现。

ABSTRACT

Several recent works use positional encodings to extend the receptive fields of graph neural network (GNN) layers equipped with attention mechanisms. These techniques, however, extend receptive fields to the complete graph, at substantial computational cost and risking a change in the inductive biases of conventional GNNs, or require complex architecture adjustments. As a conservative alternative, we use positional encodings to expand receptive fields to $r$-hop neighborhoods. More specifically, our method augments the input graph with additional nodes/edges and uses positional encodings as node and/or edge features. We thus modify graphs before inputting them to a downstream GNN model, instead of modifying the model itself. This makes our method model-agnostic, i.e., compatible with any of the existing GNN architectures. We also provide examples of positional encodings that are lossless with a one-to-one map between the original and the modified graphs. We demonstrate that extending receptive fields via positional encodings and a virtual fully-connected node significantly improves GNN performance and alleviates over-squashing using small $r$. We obtain improvements on a variety of models and datasets and reach competitive performance using traditional GNNs or graph Transformers.

研究动机与目标

• 通过将感受野扩展至超过 1 跳邻域，解决 GNN 中的过压缩与信息遗漏问题，且无需修改 GNN 架构。
• 探索全图注意力机制的高效替代方案，避免其随节点数量呈平方级增长的计算开销。
• 证明通过适当的位置编码，仅小幅增加感受野大小（$r$）即可带来显著的性能提升。
• 系统分析在使用不同位置编码方案时，感受野扩展带来的计算-性能权衡。
• 展示该方法可兼容标准 GNN 与图 Transformer，具备更广泛的应用潜力。

提出的方法

• 通过在原始图拓扑中添加所有 $r$-跳距离内的节点之间的边，对输入图进行增强。
• 在增强后的图上，将位置编码（如最短路径长度、谱特征、邻接矩阵的幂）作为节点和边的特征。
• 添加一个虚拟 CLS 节点（全局源与汇），以改善长距离信息传递并缓解过压缩问题。
• 将修改后的图输入任意现有的 GNN 或基于 Transformer 的 GNN 模型，无需架构更改，实现方法的模型无关性。
• 该方法在小 $r$ 值下保持原始图的稀疏性，避免全图注意力带来的平方级计算开销。
• 通过调节 $r$ 值并选择不同位置编码方案，实现计算成本与性能之间的可控权衡。

实验结果

研究问题

• RQ1 通过图重连将感受野扩展至 $r$-跳邻域，是否能在保持计算效率的同时提升 GNN 性能？
• RQ2 在 $r$-跳重连下，不同位置编码方案（最短路径、谱特征、邻接矩阵）在性能与效率上的表现如何比较？
• RQ3 添加 CLS 节点在多大程度上能提升性能并缓解感受场受限的 GNN 中的过压缩问题？
• RQ4 在不同图数据集上，平衡性能增益与计算成本的最优 $r$ 值是多少？
• RQ5 增加 $r$ 是否能降低 GNN 对同质性作为归纳偏置的依赖？

主要发现

• 使用 $r=2$ 或 $r=3$ 搭配邻接或谱位置编码，并引入 CLS 节点，在 Cora、PubMed 和 ZINC 等多个基准测试中显著提升了 GNN 性能。
• CLS 节点在性能上可达到 $r=2$ 或 $r=3$ 时 $r=1$ 的水平，证明其以极低代价有效增强了长距离连通性。
• 运行时间近似与图密度成正比；即使在低密度图中，增加 $r$ 也能带来显著的性能提升，且当平均密度超过 0.5 时通常可达到最优性能。
• 谱位置编码在 ZINC 上表现不如邻接编码，但在其他数据集上表现具有竞争力，表明其对数据集具有敏感性。
• 该方法降低了对同质性作为归纳偏置的依赖，表明扩展的感受野可补偿现实图中低同质性带来的影响。
• 该方法在标准 GNN 和图 Transformer 上均实现了具有竞争力的性能，证明其在多种架构中具备广泛的兼容性与有效性。