[论文解读] Sparse Graph Attention Networks

Ye Yang, Shihao Ji|arXiv (Cornell University)|Dec 2, 2019

Advanced Graph Neural Networks参考文献 26被引用 6

一句话总结

本文提出稀疏图注意力网络（SGATs），通过L₀-范数正则化学习稀疏注意力系数，以识别并移除图中的噪声或无关边。通过在所有层和头之间共享单一注意力系数，SGATs在非同配图上实现性能提升，同时在同配图上保持准确率，且剪枝了50%-80%的边。

ABSTRACT

Graph Neural Networks (GNNs) have proved to be an effective representation learning framework for graph-structured data, and have achieved state-of-the-art performance on many practical predictive tasks, such as node classification, link prediction and graph classification. Among the variants of GNNs, Graph Attention Networks (GATs) learn to assign dense attention coefficients over all neighbors of a node for feature aggregation, and improve the performance of many graph learning tasks. However, real-world graphs are often very large and noisy, and GATs are prone to overfitting if not regularized properly. Even worse, the local aggregation mechanism of GATs may fail on disassortative graphs, where nodes within local neighborhood provide more noise than useful information for feature aggregation. In this paper, we propose Sparse Graph Attention Networks (SGATs) that learn sparse attention coefficients under an $L_0$-norm regularization, and the learned sparse attentions are then used for all GNN layers, resulting in an edge-sparsified graph. By doing so, we can identify noisy/task-irrelevant edges, and thus perform feature aggregation on most informative neighbors. Extensive experiments on synthetic and real-world graph learning benchmarks demonstrate the superior performance of SGATs. In particular, SGATs can remove about 50\%-80\% edges from large assortative graphs, while retaining similar classification accuracies. On disassortative graphs, SGATs prune majority of noisy edges and outperform GATs in classification accuracies by significant margins. Furthermore, the removed edges can be interpreted intuitively and quantitatively. To the best of our knowledge, this is the first graph learning algorithm that shows significant redundancies in graphs and edge-sparsified graphs can achieve similar or sometimes higher predictive performances than original graphs.

研究动机与目标

• 解决图注意力网络（GATs）在大规模、噪声较多的真实世界图上的过拟合和噪声敏感问题。
• 减少 GATs 中的冗余，其中多个注意力头产生高度相似的注意力分布。
• 开发一种图学习方法，可自动识别并移除与任务无关或含噪声的边。
• 提升在非同配图上的性能，因为在这些图中，GAT 的局部聚合因邻域噪声而失效。
• 证明剪枝后的边稀疏图可实现与原始图相当或更优的性能。

提出的方法

• 对注意力系数应用 L₀-范数正则化，以在所有 GNN 层中促进边选择的稀疏性。
• 在所有注意力头和所有层之间共享一组单一的注意力系数，简化 GAT 架构。
• 为每条边学习单一的注意力权重，并在整个网络中复用，以减少冗余。
• 通过混凝土松弛（concrete relaxation）对 L₀ 范数进行可微分近似，以支持端到端训练。
• 使用随机梯度下降优化模型，并引入一个控制边剪枝的稀疏性诱导超参数 λ。
• 将稀疏注意力机制集成到仅对信息性邻居执行特征聚合的 GNN 框架中。

实验结果

研究问题

• RQ1 L₀-范数正则化能否有效识别并移除图结构数据中的噪声或无关边？
• RQ2 与标准 GATs 相比，在所有头和层之间共享单一注意力系数是否能提升泛化能力并减少过拟合？
• RQ3 剪枝后的边稀疏图是否能在同配图和非同配图上保持或提升分类准确率？
• RQ4 稀疏度水平（由 λ 控制）如何影响模型性能和边移除率？
• RQ5 SGAT 是否能在局部聚合具有破坏性的非同配图上超越 GAT、GCN 和 GraphSAGE？

主要发现

• SGATs 在非同配图（如 Texas 和 Cora）上的分类准确率与 GATs 相当或更高，表明其对邻域噪声具有鲁棒性。
• 在同配图（如 PPI 和 Reddit）上，SGATs 剪枝了 50%-80% 的边，同时保持了相当的分类准确率。
• PPI 的最优正则化参数 λ 为 2e-6，Texas 的最优 λ 为 5e-3，该参数在稀疏性与性能之间实现了良好平衡。
• 在 PPI 和 Texas 上，注意力头数量 K=2 时性能最佳，表明更高的 K 会增加过拟合风险。
• t-SNE 可视化显示，SGAT 在噪声较多的非同配图（如 Texas）上学习到了比 GAT 更具类可分性的表征。
• 尽管剪枝了大量边，SGAT 的运行时间或内存使用量与 GAT 相比并未显著降低，原因在于特征存储占主导内存开销。