[论文解读] UniGNN: a Unified Framework for Graph and Hypergraph Neural Networks

Jing Huang, Jie Yang|arXiv (Cornell University)|May 3, 2021

Advanced Graph Neural Networks参考文献 6被引用 11

一句话总结

UniGNN 提出了一种统一框架，通过极少的架构修改，将图神经网络（GNN）如 GCN、GAT、GIN 和 GraphSAGE 通用化至超图。它通过 UniGCNII 实现深层超图学习，缓解了过平滑问题，并在半监督超节点分类任务中将 DBLP 数据集上的准确率从 77.4% 提升至 88.8%，达到最先进性能。

ABSTRACT

Hypergraph, an expressive structure with flexibility to model the higher-order correlations among entities, has recently attracted increasing attention from various research domains. Despite the success of Graph Neural Networks (GNNs) for graph representation learning, how to adapt the powerful GNN-variants directly into hypergraphs remains a challenging problem. In this paper, we propose UniGNN, a unified framework for interpreting the message passing process in graph and hypergraph neural networks, which can generalize general GNN models into hypergraphs. In this framework, meticulously-designed architectures aiming to deepen GNNs can also be incorporated into hypergraphs with the least effort. Extensive experiments have been conducted to demonstrate the effectiveness of UniGNN on multiple real-world datasets, which outperform the state-of-the-art approaches with a large margin. Especially for the DBLP dataset, we increase the accuracy from 77.4\% to 88.8\% in the semi-supervised hypernode classification task. We further prove that the proposed message-passing based UniGNN models are at most as powerful as the 1-dimensional Generalized Weisfeiler-Leman (1-GWL) algorithm in terms of distinguishing non-isomorphic hypergraphs. Our code is available at \url{https://github.com/OneForward/UniGNN}.

研究动机与目标

• 将成熟的 GNN 架构以最小修改推广至超图神经网络。
• 通过先进的训练策略解决深层超图神经网络中的过平滑问题。
• 评估基于消息传递的超图神经网络在区分非同构超图方面的表达能力。
• 通过捕捉全局结构信息，实现对未见节点的归纳式超图学习。

提出的方法

• 提出一种统一的消息传递框架，通过重新定义基于超边关联的邻域聚合，将 GNN 通用化至超图。
• 采用自环增强策略以稳定训练并提升性能，尤其在浅层模型中效果显著。
• 提出 UniGCNII 作为首个深层超图网络，结合残差连接与恒等快捷连接，有效缓解过平滑问题。
• 采用广义消息传递机制，节点表示基于关联节点特征的超边级别聚合进行更新。
• 在 UniGAT 中引入可学习注意力机制，在 UniGIN 中使用多层感知机，以增强超图设置下的特征聚合。
• 采用早停法、L2 正则化和 Adam 优化器，以有效训练深层模型。

实验结果

研究问题

• RQ1 能否以极少的架构改动，将 GCN、GAT、GIN 和 GraphSAGE 等经典 GNN 架构有效推广至超图？
• RQ2 能否成功将残差连接和归一化等先进 GNN 训练策略适配至超图学习，以防止过平滑？
• RQ3 与已知的图同构性测试相比，基于消息传递的超图神经网络表达能力如何？
• RQ4 统一框架能否支持对未见节点的归纳式超图学习，并实现高泛化性能？

主要发现

• UniGNN 模型在所有基准数据集上持续优于最先进方法，在 DBLP 数据集的半监督超节点分类任务中，准确率显著提升 11.4 个百分点（从 77.4% 提升至 88.8%）。
• 在输入超图中引入自环可带来显著的性能提升，证实了自连接在消息聚合中的重要性。
• UniGCNII 作为首个深层超图神经网络，有效缓解了过平滑问题，随着深度增加性能持续提升，而浅层基线模型则出现性能下降。
• 所提出的框架实现了强大的归纳学习性能，在 DBLP 数据集中，对已见节点的准确率从 78.1% 提升至 89.6%，对未见节点的准确率从 73.2% 提升至 83.4%。
• UniGNN 模型的表达能力受 1 维广义 Weisfeiler-Leman（1-GWL）算法的限制，表明其在理论上与已知同构性测试的极限保持一致。
• 该框架表现出高度稳定性，实验中标准差更低，表明预测结果具有更强鲁棒性与更低方差。