[论文解读] Tree Decomposed Graph Neural Network

Yu Wang, Tyler Derr|arXiv (Cornell University)|Aug 25, 2021

Advanced Graph Neural Networks参考文献 44被引用 4

一句话总结

该论文提出树分解图神经网络（TDGNN），一种新颖的图神经网络架构，通过利用树分解解耦多层邻域信息，缓解了不同层之间的特征平滑问题。通过在树结构内建模多跳依赖关系，TDGNN 实现了更深层次、更灵活的表征学习，并在多个节点分类基准上，在同质性与异质性网络中均取得了最先进性能。

ABSTRACT

Graph Neural Networks (GNNs) have achieved significant success in learning better representations by performing feature propagation and transformation iteratively to leverage neighborhood information. Nevertheless, iterative propagation restricts the information of higher-layer neighborhoods to be transported through and fused with the lower-layer neighborhoods', which unavoidably results in feature smoothing between neighborhoods in different layers and can thus compromise the performance, especially on heterophily networks. Furthermore, most deep GNNs only recognize the importance of higher-layer neighborhoods while yet to fully explore the importance of multi-hop dependency within the context of different layer neighborhoods in learning better representations. In this work, we first theoretically analyze the feature smoothing between neighborhoods in different layers and empirically demonstrate the variance of the homophily level across neighborhoods at different layers. Motivated by these analyses, we further propose a tree decomposition method to disentangle neighborhoods in different layers to alleviate feature smoothing among these layers. Moreover, we characterize the multi-hop dependency via graph diffusion within our tree decomposition formulation to construct Tree Decomposed Graph Neural Network (TDGNN), which can flexibly incorporate information from large receptive fields and aggregate this information utilizing the multi-hop dependency. Comprehensive experiments demonstrate the superior performance of TDGNN on both homophily and heterophily networks under a variety of node classification settings. Extensive parameter analysis highlights the ability of TDGNN to prevent over-smoothing and incorporate features from shallow layers with deeper multi-hop dependencies, which provides new insights towards deeper graph neural networks. Code of TDGNN: http://github.com/YuWVandy/TDGNN

研究动机与目标

• 为解决深度图神经网络中因层间迭代特征传播而导致的过平滑问题。
• 分析并缓解不同层之间邻域区域的特征平滑问题，该问题会损害模型性能，尤其是在异质性图中。
• 探究多跳依赖在节点表征学习中的重要性及其与图扩散之间的关联。
• 设计一种灵活的深层图神经网络架构，解耦层间邻域聚合过程，实现选择性、深度优化的信息融合。
• 在多样化的真实世界图数据上展示优越性能，包括具有挑战性的异质性网络。

提出的方法

• 提出一种树分解方法，以解耦不同层的邻域结构，使每层的感受野可独立处理。
• 在树分解框架内利用图扩散建模多跳依赖关系，以保留长程结构信息。
• 提出两种变体：TDGNN-s（单路径）与 TDGNN-w（宽路径），支持灵活地聚合来自不同层的表征。
• 采用解耦架构，将特征变换与信息传播过程分离，降低由纠缠导致的特征平滑。
• 使用基于个性化 PageRank 的扩散方法计算节点重要性，并沿树状路径传播信息。
• 应用自适应聚合策略，融合浅层与深层的表征，增强特征丰富性，同时避免过平滑。

实验结果

研究问题

• RQ1 不同层之间邻域区域的特征平滑如何影响图神经网络性能，尤其是在异质性图中？
• RQ2 树分解在多大程度上可减少深层图神经网络中的层间特征平滑？
• RQ3 多跳依赖在提升节点表征学习中的作用是什么？如何有效建模？
• RQ4 基于树的分解框架能否实现更灵活、更深的图神经网络架构，并超越现有最先进模型？
• RQ5 在树分解中集成图扩散如何增强多样化图类型中的表征学习？

主要发现

• TDGNN 在多个节点分类基准上显著优于现有最先进基线模型（包括 GCNII 和 DAGNN），在同质性与异质性网络中均表现优异。
• 该模型在引文网络（PubMed、Cora、Citeseer）和异质性数据集（Amazon Photo、Computers、Reddit）上均达到最先进性能，展现出对不同图类型的强鲁棒性。
• 大量消融实验表明，树分解能有效减少层间特征平滑，保留判别性信息。
• 通过图扩散引入多跳依赖显著提升了性能，尤其在深层架构中，验证了其理论与实证意义。
• TDGNN-w（宽路径变体）在异质性数据集上表现出更大的性能增益，表明更宽、多层的信息融合具有优势。
• 参数分析显示，TDGNN 即使在增加深度时仍保持低过平滑水平，而标准 GNN 在 2–3 层后性能即开始下降。