[论文解读] Size Transferability of Graph Transformers with Convolutional Positional Encodings

Javier Porras-Valenzuela, Zhiyang Wang+1 more|arXiv (Cornell University)|Feb 16, 2026

Advanced Graph Neural Networks被引用 0

一句话总结

该论文证明具备可迁移的基于 GNN 的位置编码的图变换可以在不同规模的图之间继承尺寸可迁移性，并引入具有 RPEARL 编码的 Sparse Graph Transformer (SGT)，并通过大图上的理论与实验予以支持。

ABSTRACT

Transformers have achieved remarkable success across domains, motivating the rise of Graph Transformers (GTs) as attention-based architectures for graph-structured data. A key design choice in GTs is the use of Graph Neural Network (GNN)-based positional encodings to incorporate structural information. In this work, we study GTs through the lens of manifold limit models for graph sequences and establish a theoretical connection between GTs with GNN positional encodings and Manifold Neural Networks (MNNs). Building on transferability results for GNNs under manifold convergence, we show that GTs inherit transferability guarantees from their positional encodings. In particular, GTs trained on small graphs provably generalize to larger graphs under mild assumptions. We complement our theory with extensive experiments on standard graph benchmarks, demonstrating that GTs exhibit scalable behavior on par with GNNs. To further show the efficiency in a real-world scenario, we implement GTs for shortest path distance estimation over terrains to better illustrate the efficiency of the transferable GTs. Our results provide new insights into the understanding of GTs and suggest practical directions for efficient training of GTs in large-scale settings.

研究动机与目标

• 通过 GNN 基于位置编码分析 Graph Transformers（GTs）如何在图大小之间实现泛化的动机与分析。
• 通过极限模型建立 GTs 与流形神经网络（MNNs）之间的理论联系。
• 提出带有 RPEARL 编码和注意力屏蔽的可迁移、实用的稀疏 GT。
• 通过在标准图基准数据集和地形 SPD 估计任务上的大量实验验证迁移性。

提出的方法

• 用 GNN 基于位置编码（RPEARL）驱动的 GTs，后接自注意力骨干网络建模。
• 使用流形极限框架来证明可迁移编码引发对 GT 的迁移性。
• 在假设条件下确保线性界、有界算子，以及可迁移的编码以保证收敛到流形变换器（MT）。
• 通过将注意力限制在 k 路径邻域来定义稀疏 GT，并给出与密集 GT 相当的迁移界。
• 提出带有 RPEARL 编码和屏蔽的实用实现，并在经验上分析训练效率与迁移性。

Figure 1 : Diagram of Graph Transformer (GT) with RPEARL Positional Encodings. The graph ${\mathbf{G}}$ is sampled from manifold ${\mathcal{M}}$ . The graph structure is processed by RPEARL using a graph neural network. The positional encodings are added to the node features and passed to the graph

实验结果

研究问题

• RQ1 具备可迁移 GNN 位置编码的 GT 是否可在训练时未见的大图上实现泛化？
• RQ2 是否可通过流形极限框架建立 GT 的迁移性，并将其从 GNN 编码迁移到 GT 的注意力机制？
• RQ3 通过 k 路径屏蔽的稀疏性如何影响 GT 的迁移性与计算？
• RQ4 RPEARL 编码是否提升 GT 超越标准 GNN/SAN 变体的表达力与迁移性？
• RQ5 所提出的 Sparse GT 与 RPEARL 方法在大规模真实世界图和地形 SPD 任务上是否具有竞争力？

主要发现

• 具备可迁移编码的 GT 具备尺寸迁移性，可以在小图训练并在大图上部署而无需重新训练。
• GT 与流形变换器之间的点对点差异随图规模的扩大而衰减，速率为 O((log N / N)^(1/d))。
• 带 RPEARL 的稀疏 GT 维持迁移性，在与密集 GT 相当的性能下实现显著的训练加速（最高可达 100x 的训练加速）。
• 在消融实验中，RPEARL + Masking 提供最强的迁移性增益，在 SNAP-patents 数据集上测试精度比不含 PE 的 GT 提升约 ~58.6%。
• 在标准基准（ArXiv-year、MAG、Reddit、SNAP）上的 GT 显示出迁移性模式，在大图上性能接近或超过 GNNs 与密集 GT。

Figure 2 : Transferability plots. For each dataset, the $x$ axis represents the train graph sizes as a proportion of the largest graph $(\alpha)$ , and the $y$ axis is the test accuracy at the full-sized graph. The titles show dataset name and largest graph size.