[论文解读] Understanding attention in graph neural networks.

B. A. Knyazev, Graham W. Taylor+1 more|arXiv (Cornell University)|May 8, 2019

Advanced Graph Neural Networks被引用 10

一句话总结

本文通过受控的图推理任务研究图神经网络（GNN）中的注意力机制，发现在典型设置下，注意力通常仅带来可忽略或有害的性能提升。然而，在特定条件下——如最优初始化或有监督训练——注意力可使性能提升超过60%。作者提出一种弱监督训练方法，在合成图和真实图上显著优于无监督基线，且性能接近有监督模型。

ABSTRACT

We aim to better understand attention over nodes in graph neural networks (GNNs) and identify factors influencing its effectiveness. We particularly focus on the ability of attention GNNs to generalize to larger, more complex or noisy graphs. Motivated by insights from the work on Graph Isomorphism Networks, we design simple graph reasoning tasks that allow us to study attention in a controlled environment. We find that under typical conditions the effect of attention is negligible or even harmful, but under certain conditions it provides an exceptional gain in performance of more than 60% in some of our classification tasks. Satisfying these conditions in practice is challenging and often requires optimal initialization or supervised training of attention. We propose an alternative recipe and train attention in a weakly-supervised fashion that approaches the performance of supervised models, and, compared to unsupervised models, improves results on several synthetic as well as real datasets. Source code and datasets are available at this https URL.

研究动机与目标

• 理解注意力机制在不同图复杂度和噪声水平下的有效性。
• 识别注意力在更大或更嘈杂图上提升GNN泛化能力的条件。
• 解决在无完整监督下训练有效注意力的挑战。
• 提出一种弱监督训练方法，其性能接近有监督模型，同时显著优于无监督基线。

提出的方法

• 设计简单、受控的图推理任务，灵感来自图同构网络的洞察，以隔离注意力行为。
• 在标准、无监督和有监督训练范式下评估注意力性能。
• 提出一种弱监督训练方法，利用有限监督指导注意力学习。
• 在不同训练范式下，对比合成图和真实图数据集上的性能表现。
• 通过消融研究隔离注意力对其他GNN组件的影响。
• 分析注意力分布和节点重要性，以理解受控环境中注意力的动力学行为。

实验结果

研究问题

• RQ1 在何种条件下，GNN中的注意力能带来显著的性能提升，而非性能下降？
• RQ2 在复杂或嘈杂图上，无监督、有监督和弱监督注意力训练的性能如何比较？
• RQ3 弱监督训练方法能否在无需完整监督的情况下，实现接近完全有监督注意力的性能？
• RQ4 为何在标准GNN训练设置中，注意力常无法提升性能？
• RQ5 哪些结构或初始化因素能使注意力在更大或更复杂图上有效泛化？

主要发现

• 在标准训练条件下，GNN中的注意力机制通常仅带来可忽略甚至有害的性能提升。
• 在最优条件下——如合适的初始化或完全有监督——注意力在某些分类任务上可使性能提升超过60%。
• 所提出的弱监督训练方法在多个合成图和真实图数据集上实现了与完全有监督模型相当的性能。
• 与无监督注意力相比，弱监督方法在所有评估数据集中均一致地提升了性能。
• 注意力的有效性对训练范式和初始化极为敏感，在标准训练设置中几乎无法获益。
• 当训练条件得到仔细控制时，注意力在复杂或嘈杂图设置下的性能增益最为显著。