[论文解读] Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing

Yunchong Song, Chenghu Zhou+2 more|arXiv (Cornell University)|Feb 3, 2023

Advanced Graph Neural Networks被引用 18

一句话总结

有序 GNN 引入了一种有序闸门机制，使根树邻域层级与节点嵌入对齐，从而实现有序消息传递，以缓解异质性和过平滑，并在多样数据集上达到最先进的结果。

ABSTRACT

Most graph neural networks follow the message passing mechanism. However, it faces the over-smoothing problem when multiple times of message passing is applied to a graph, causing indistinguishable node representations and prevents the model to effectively learn dependencies between farther-away nodes. On the other hand, features of neighboring nodes with different labels are likely to be falsely mixed, resulting in the heterophily problem. In this work, we propose to order the messages passing into the node representation, with specific blocks of neurons targeted for message passing within specific hops. This is achieved by aligning the hierarchy of the rooted-tree of a central node with the ordered neurons in its node representation. Experimental results on an extensive set of datasets show that our model can simultaneously achieve the state-of-the-art in both homophily and heterophily settings, without any targeted design. Moreover, its performance maintains pretty well while the model becomes really deep, effectively preventing the over-smoothing problem. Finally, visualizing the gating vectors shows that our model learns to behave differently between homophily and heterophily settings, providing an explainable graph neural model.

研究动机与目标

• 动机并解决图神经网络中异质性与过平滑这两大挑战。
• 提出一种有序消息传递方案，在不过度混合特征的情况下编码多跳信息。
• 引入一种基于闸门的机制，将神经元块分配给来自不同跳层级的信息。
• 在同质和异质数据集上展示出色的性能，并显示对深层结构的可扩展性。

提出的方法

• 通过使用均值池化的聚合阶段表示邻居信息。
• 通过将嵌入分割为与跳对应的有序块来将根树层级与节点嵌入对齐。
• 用可微分的闸门向量 g_v^(k) 预测分割点 P_v^(k)，以控制信息流。
• 使用可微分的 OR (SOFTOR) 以在各层之间强制分割点的单调性。
• 按照有序组合规则更新节点嵌入，在每个闸门块中有选择地使用自我上下文与聚合上下文。
• 应用分块技巧以在不牺牲性能的情况下减少闸门参数。

实验结果

研究问题

• RQ1 按跳距对消息传递过程进行排序是否能够在不进行显式邻居类型设计的情况下提高对异质性的鲁棒性？
• RQ2 将根树层级与有序神经元块对齐是否有助于缓解深层 GNN 的过平滑？
• RQ3 所提出的闸门和 soft-OR 机制是否可解释并且能在不同的图 regime（同质性 vs 异质性）中适应？

主要发现

• 该模型在同质和异质数据集上均实现了最先进的结果，无需针对异质性设计的定向策略。
• 有序闸门防止同跳内特征混合，并实现对不同阶信息的建模。
• 闸门可视化在同质与异质设置下显示出不同的行为，提供可解释性。
• 随着深度增加，该方法仍然有效，表明缓解了过平滑。
• 扩展到大规模数据集时，在大图上与强基线相比仍具有竞争力。