[论文解读] Structure-Preserving Graph Representation Learning

Ruiyi Fang, Liangjian Wen+2 more|arXiv (Cornell University)|Sep 2, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出结构保持图表示学习（SPGRL），一种新颖方法，通过最大化原始图拓扑与特征嵌入之间的互信息（MI），提升图表示学习性能。通过构建基于k-NN的特征图用于对比学习，并通过互信息最大化实现自重建，SPGRL在半监督节点分类任务中达到最先进性能，并在特征和结构噪声扰动下表现出更优的鲁棒性。

ABSTRACT

Though graph representation learning (GRL) has made significant progress, it is still a challenge to extract and embed the rich topological structure and feature information in an adequate way. Most existing methods focus on local structure and fail to fully incorporate the global topological structure. To this end, we propose a novel Structure-Preserving Graph Representation Learning (SPGRL) method, to fully capture the structure information of graphs. Specifically, to reduce the uncertainty and misinformation of the original graph, we construct a feature graph as a complementary view via k-Nearest Neighbor method. The feature graph can be used to contrast at node-level to capture the local relation. Besides, we retain the global topological structure information by maximizing the mutual information (MI) of the whole graph and feature embeddings, which is theoretically reduced to exchanging the feature embeddings of the feature and the original graphs to reconstruct themselves. Extensive experiments show that our method has quite superior performance on semi-supervised node classification task and excellent robustness under noise perturbation on graph structure or node features.

研究动机与目标

• 解决现有图表示学习方法在捕捉局部与全局拓扑结构方面的局限性。
• 克服多层设置下深层GCN导致的过平滑与特征判别能力退化问题。
• 通过互信息最大化减少对数据增强和领域特定工程的依赖。
• 通过结构保持的表示学习提升对节点特征和图结构噪声的鲁棒性。
• 开发一种自监督框架，有效融合拓扑与特征信息，且无需大量超参数调优。

提出的方法

• 构建基于k-最近邻（k-NN）的特征图作为补充视图，以增强特征传播并降低原始图中的不确定性。
• 在原始图与特征图之间进行节点级别的对比学习，以捕捉局部结构与特征关系。
• 最大化全局图嵌入与全局特征嵌入之间的互信息（MI），以保留全局拓扑结构。
• 从理论上将MI最大化重构为自重建任务，其中原始图与特征图的嵌入相互交换并被重建。
• 端到端训练模型，结合对比学习目标与互信息最大化目标，联合优化局部与全局结构保持。
• 将方法集成到基于GCN的编码器框架中，生成低维、判别性强的节点表示。

实验结果

研究问题

• RQ1 最大化图拓扑与特征表示之间的互信息是否能提升学习到的节点嵌入质量？
• RQ2 在低标签率下，SPGRL相较于最先进方法在半监督节点分类中的表现如何？
• RQ3 SPGRL在节点特征或图结构受到噪声扰动时，性能下降程度如何？
• RQ4 SPGRL对超参数（如k-NN构建中的k）的敏感性如何？
• RQ5 基于自重建的MI最大化策略是否能在不依赖数据增强的前提下有效保留全局结构信息？

主要发现

• SPGRL在半监督节点分类任务中达到最先进性能，在引文网络上平均优于AMGCN、SCRL和GCA 5.87%、1.91%和4.40%。
• 在仅0.5%标签率的Citeseer数据集上，SPGRL在60个标签/聚类时仍保持高准确率（66.2%），显著优于GCN、ChebNet和GAT，后三者在低监督下性能严重下降。
• 在高斯噪声扰动（σ=1.0）下，SPGRL在ACM数据集上20个标签/聚类时达到73.2%准确率，超过SCRL（62.8%）和GFNN（52.6%），展现出强大鲁棒性。
• 该方法在广泛的k值范围内均表现稳定，性能在中等k值时达到峰值，极高k值时仅轻微下降，表明对超参数选择具有鲁棒性。
• SPGRL在多个数据集（ACM、BlogCatalog、UAI2010、Flickr、Citeseer）上均保持优异性能，无论在干净还是噪声环境下均表现出一致的优越性。
• 消融实验确认，拓扑与特征嵌入之间的MI最大化是关键组件，其使模型能够保留全局结构并提升泛化能力。