[论文解读] Relational Graph Attention Networks

Dan Busbridge, Dane Sherburn+2 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Graph Neural Networks参考文献 38被引用 127

一句话总结

本文研究关系图注意网络（RGATs），将图注意力扩展到关系图，并在传导任务和归纳任务中将 WIRGAT 与 ARGAT 等变体与 RGCN 及其他基线进行对比。RGAT 在某些归纳图分类任务上呈现混合结果且增益有限，但在某些任务和设置下通常不及谱方法 RGCN 的表现。

ABSTRACT

We investigate Relational Graph Attention Networks, a class of models that extends non-relational graph attention mechanisms to incorporate relational information, opening up these methods to a wider variety of problems. A thorough evaluation of these models is performed, and comparisons are made against established benchmarks. To provide a meaningful comparison, we retrain Relational Graph Convolutional Networks, the spectral counterpart of Relational Graph Attention Networks, and evaluate them under the same conditions. We find that Relational Graph Attention Networks perform worse than anticipated, although some configurations are marginally beneficial for modelling molecular properties. We provide insights as to why this may be, and suggest both modifications to evaluation strategies, as well as directions to investigate for future work.

研究动机与目标

• 探索关系图注意力是否能在带有关系数据的节点分类和图分类任务上提升性能。
• 在加性和乘性 logits 下评估两种 RGAT 变体（Within-Relation Graph Attention 与 Across-Relation Graph Attention）。
• 在相同条件和基线下将 RGAT 与 Relational Graph Convolutional Networks (RGCN) 进行比较。
• 提供实现和公平评估及未来工作在关系图模型中的指南。

提出的方法

• 用中间的关系特定表示 g_i^(r) = H W^(r) 定义 RGAT 层。
• 使用基于 g_i^(r) 和 g_j^(r) 的加性或乘性注意力计算 logits E_{i,j}^{(r)}。
• 支持两种 Softmax 方案：Within-Relation（按关系）和 Across-Relation（跨关系）。
• 聚合带权注意力的邻居表示以更新节点特征；支持多头注意力。
• 引入基分解以减少跨关系和头部的参数量。
• 在传导节点分类（AIFB、MUTAG）和归纳图分类（Tox21）上进行评估，基线包括 FEAT、WL、RDF2Vec、RGCN。

实验结果

研究问题

• RQ1 RGATs 是否在传导节点分类任务上优于或与 RGCN 竞争？
• RQ2 RGAT 变体（WIRGAT 与 ARGAT）及 logits 类型（加性与乘性）在传导任务中是否带来增益？
• RQ3 RGAT 在如分子性质预测的归纳图分类任务（Tox21）是否具备优势？
• RQ4 不同的 softmax 方案（Within-Relation 与 Across-Relation）在实际中如何影响关系注意力？
• RQ5 哪些基线能揭示 RGAT 在关系数据集上的优势与局限？

主要发现

• RGAT 的表现取决于任务与配置，可能具备竞争力也可能落后于 RGCN。
• 在 AIFB（传导）上，RGAT 变体中加性 WIRGAT 表现最好，较常数注意力有一定提升；在 MUTAG 上，RGCN 常常优于 RGAT。
• 在 Tox21（归纳）上，乘性 ARGAT 与乘性 WIRGAT 相对 RGCN 提供适度提升，对某些比较有显著得分。
• 通常建议在不同任务类型使用 WIRGAT 的加性 logits 与 ARGAT 的乘性 logits，但没有哪一个 RGAT 变体能对所有任务都优于 RGCN。
• 传导任务可能偏好谱方法如 RGCN 或传统图核（WL），而某些归纳任务可能从 RGAT 变体受益，尤其是乘性 ARGAT。
• 研究提供了严格的超参数搜索、CDF 与统计检验以支持结论。