[论文解读] Topology and Content Co-Alignment Graph Convolutional Learning

Min Shi, Yufei Tang+1 more|arXiv (Cornell University)|Mar 28, 2020

Advanced Graph Neural Networks参考文献 29被引用 6

一句话总结

本文提出 CoGL，一种协同对齐图卷积学习框架，通过联合优化拓扑网络与内容网络，提升在链接不一致或不完整图中的节点表征学习效果。通过从特征中重建内容网络，并利用统一损失函数结合内容、分类与对抗目标，将内容网络与原始拓扑网络进行协同对齐，CoGL 在六个基准数据集上实现最先进性能，优于 GCN、GAT 及其他最先进模型。

ABSTRACT

In traditional Graph Neural Networks (GNN), graph convolutional learning is carried out through topology-driven recursive node content aggregation for network representation learning. In reality, network topology and node content are not always consistent because of irrelevant or missing links between nodes. A pure topology-driven feature aggregation approach between unaligned neighborhoods deteriorates learning for nodes with poor structure-content consistency, and incorrect messages could propagate over the whole network as a result. In this paper, we advocate co-alignment graph convolutional learning (CoGL), by aligning the topology and content networks to maximize consistency. Our theme is to force the topology network to respect underlying content network while simultaneously optimizing the content network to respect the topology for optimized representation learning. Given a network, CoGL first reconstructs a content network from node features then co-aligns the content network and the original network though a unified optimization goal with (1) minimized content loss, (2) minimized classification loss, and (3) minimized adversarial loss. Experiments on six benchmarks demonstrate that CoGL significantly outperforms existing state-of-the-art GNN models.

研究动机与目标

• 为解决现实网络中图拓扑与节点内容不一致的问题，该问题会降低 GNN 性能。
• 克服由拓扑中无关或缺失链接导致的噪声消息传递与受损节点关系。
• 开发统一学习框架，协同对齐拓扑与内容网络，以提升表征学习效果。
• 通过显式建模基于内容的关系，降低对潜在有缺陷的网络拓扑的依赖。
• 在存在结构噪声的半监督设置下，实现更优的节点分类与嵌入质量。

提出的方法

• 利用可学习的相似性机制，从节点特征中重建内容网络，以建模基于内容的亲和力。
• 引入统一优化目标，结合三种损失：内容重建损失、节点分类损失与对抗训练损失。
• 通过对抗训练将拓扑网络与内容网络对齐，促使生成器生成更真实的基于内容的边。
• 使用判别器区分真实拓扑边与生成的内容边，实现对抗性优化。
• 在原始拓扑与重建内容网络上均应用消息传递，并通过共享优化实现协同对齐。
• 采用多组件损失函数，通过超参数 α 与 β 平衡内容重建、分类与对抗训练。

实验结果

研究问题

• RQ1 当网络拓扑与节点内容不一致时，如何改进图卷积学习？
• RQ2 联合优化拓扑与内容网络是否能带来优于仅依赖拓扑聚合的节点表征学习效果？
• RQ3 引入可学习内容网络对处理现实图中缺失或虚假链接的影响如何？
• RQ4 拓扑与内容网络之间的对抗训练如何提升嵌入质量与泛化能力？
• RQ5 协同对齐在多大程度上减轻了噪声或不完整图结构对 GNN 性能的负面影响？

主要发现

• CoGL 在全部六个基准数据集上均取得最佳性能，显著优于 GCN 与 GAT。
• 在 Cora 数据集上，CoGL 达到 63.86±0.52% 的准确率，优于第二名模型 GAT 的 62.52±0.40%。
• 在 Citeseer 数据集上，CoGL 达到 58.78±0.39%，优于 GAT 的 58.38±0.48% 与 GCN 的 57.65±0.27%。
• 消融实验表明，若移除内容网络构建（α=0.0）或对抗训练（β=0.0），性能均下降，证明两个组件均不可或缺。
• Cora 上的可视化显示，CoGL 学习到的节点嵌入更具判别性且更易分离，优于 GCN。
• 训练损失曲线显示分类与对抗目标之间优化平衡，表明协同对齐过程稳定。