[论文解读] r-GAT: Relational Graph Attention Network for Multi-Relational Graphs

Chen Mei-qi, Yuan Zhang+3 more|arXiv (Cornell University)|Sep 13, 2021

Advanced Graph Neural Networks参考文献 30被引用 16

一句话总结

该论文提出r-GAT，一种关系图注意力网络，通过利用关系特定语义，为多关系图学习解耦的多通道实体表示。通过引入查询感知注意力机制，r-GAT在推理过程中动态选择相关语义方面，从而在链接预测和实体分类任务上提升性能，同时增强模型可解释性。

ABSTRACT

Graph Attention Network (GAT) focuses on modelling simple undirected and single relational graph data only. This limits its ability to deal with more general and complex multi-relational graphs that contain entities with directed links of different labels (e.g., knowledge graphs). Therefore, directly applying GAT on multi-relational graphs leads to sub-optimal solutions. To tackle this issue, we propose r-GAT, a relational graph attention network to learn multi-channel entity representations. Specifically, each channel corresponds to a latent semantic aspect of an entity. This enables us to aggregate neighborhood information for the current aspect using relation features. We further propose a query-aware attention mechanism for subsequent tasks to select useful aspects. Extensive experiments on link prediction and entity classification tasks show that our r-GAT can model multi-relational graphs effectively. Also, we show the interpretability of our approach by case study.

研究动机与目标

• 为解决标准GAT在建模具有有向、带标签边的多关系图时的局限性。
• 将实体表示解耦为多个语义通道，每个通道对应一个独立方面（例如，位置、工作、家庭）。
• 为下游任务实现动态的、基于查询的语义通道选择。
• 通过将注意力权重与关系语义方面关联，提升可解释性。
• 在多关系图基准测试中，相比现有GNN，实现更优性能与参数效率。

提出的方法

• r-GAT将实体和关系投影到多个独立的语义通道中，每个通道学习关系感知的邻域聚合。
• 每个通道利用关系特征计算注意力权重，实现对特定语义方面相关的邻居的选择性聚合。
• 查询感知注意力机制基于查询关系在通道上计算动态注意力，实现表示的自适应选择。
• 模型在通道间使用多头注意力机制，关系特定注意力头具有可学习参数。
• 通过避免为每种关系类型引入专用参数，防止模型过参数化，转而依赖关系类型间共享的注意力机制。
• 最终的实体表示是基于查询感知注意力机制确定权重的各通道特定表示的加权和。

实验结果

研究问题

• RQ1 图神经网络能否通过解耦实体的语义方面，有效建模多关系图？
• RQ2 如何将关系特定语义整合到邻域聚合中，以提升表示学习？
• RQ3 查询感知注意力机制能否为不同下游任务动态选择相关语义通道？
• RQ4 解耦表示是否能提升链接预测与实体分类任务中的可解释性？
• RQ5 在多关系图基准测试中，r-GAT相较于现有GNN在性能与参数效率方面表现如何？

主要发现

• r-GAT在FB15k-237与WN18RR数据集上的链接预测与实体分类任务中均达到最先进性能。
• 模型在Hits@10与Hits@20指标上表现显著提升，尤其在需要语义解耦的复杂关系上。
• 案例研究显示，不同关系（如'live_in'与'place_of_birth'）聚焦于不同的语义通道，与人类可解释预期一致。
• 查询感知注意力机制实现对已知事实的动态注意力：例如，'profession'关系优先关注与职业相关的通道，而'live_in'则聚焦于与位置相关的事实。
• 当K=8个通道时，r-GAT优于单通道基线（K=1），证明了解耦表示的优势。
• 通道间注意力分布具有语义一致性——语义相似的关系（如'award_nominee'与'influence_by'）表现出相似的注意力模式。