[论文解读] Topological based classification using graph convolutional networks

Roy Abel, Idan Benami+1 more|arXiv (Cornell University)|Oct 26, 2019

Advanced Graph Neural Networks参考文献 36被引用 6

一句话总结

本文通过在消息传递过程中引入源自图拓扑的结构化节点特征，为图卷积网络（GCNs）提出了一种拓扑归纳偏置。实验表明，将具有相似拓扑角色的远距离节点之间添加边能显著提升分类准确率——在Cora、PubMed和Physics数据集上超越了当前最先进方法；而直接将拓扑特征作为输入则会降低性能，表明拓扑特征更适合用于增强连接性而非作为输入特征。

ABSTRACT

In colored graphs, node classes are often associated with either their neighbors class or with information not incorporated in the graph associated with each node. We here propose that node classes are also associated with topological features of the nodes. We use this association to improve Graph machine learning in general and specifically, Graph Convolutional Networks (GCN). First, we show that even in the absence of any external information on nodes, a good accuracy can be obtained on the prediction of the node class using either topological features, or using the neighbors class as an input to a GCN. This accuracy is slightly less than the one that can be obtained using content based GCN. Secondly, we show that explicitly adding the topology as an input to the GCN does not improve the accuracy when combined with external information on nodes. However, adding an additional adjacency matrix with edges between distant nodes with similar topology to the GCN does significantly improve its accuracy, leading to results better than all state of the art methods in multiple datasets.

研究动机与目标

• 探究节点的拓扑特征（超越邻域类别或节点内容）是否能提升图神经网络中的节点分类性能。
• 评估将拓扑特征显式作为输入输入到GCNs中是否相比标准GCN架构能提升性能。
• 探索在具有相似拓扑角色的节点之间构建新边是否能提升分类准确率。
• 开发一种不依赖内容的节点分类方法，利用结构拓扑以提升鲁棒性和隐私保护。

提出的方法

• 该方法使用多维缩放（MDS）将节点投影到低维空间，以保持图距离，从而捕捉拓扑结构。
• 将每个节点的MDS坐标提取为拓扑特征，表示其在图中的结构角色。
• 提出一种改进的GCN架构（T-GCN），其邻接矩阵通过连接具有相似拓扑特征的节点而增强。
• 该模型使用对称且归一化的邻接矩阵，并基于拓扑相似性添加长程边，从而提升远距离、结构上相似节点之间的消息传递效率。
• 该方法进一步扩展至GAT（T-GAT），通过在增强的邻接矩阵上使用注意力机制，对来自拓扑相似节点的消息进行加权。
• 性能通过在Cora、CiteSeer、PubMed、Physics、CS和Cora-Full上的标准划分进行评估，共进行100次试验以确保稳定性。

实验结果

研究问题

• RQ1 能否通过节点在图中的结构位置推导出的拓扑特征，提升GCNs中的节点分类准确率？
• RQ2 与基于内容或邻域的输入相比，直接将拓扑特征作为输入输入到GCNs中是否能提升性能？
• RQ3 在具有相似拓扑特征的节点之间添加边，是否能带来比标准GCN或GAT更好的分类性能？
• RQ4 在基准引文网络和学术网络数据集上，基于拓扑增强的GCN是否能超越最先进方法？
• RQ5 在不使用节点内容的条件下，该方法是否依然有效，即在内容无关的设置下表现良好？

主要发现

• T-GCN和T-GAT在Cora、PubMed和Physics数据集上均优于所有基线方法，在Cora数据集上分别达到83.0%和83.8%的准确率。
• 在PubMed数据集上，T-GCN达到79.8%的准确率，较原始GCN（79.0%）和GAT（79.0%）提升0.8个百分点。
• 在CiteSeer数据集上，T-GCN达到71.3%的准确率，优于原始GCN（70.3%），在随机划分下较GCN提升3.3%。
• 在拓扑相似节点之间添加长程边能显著提升性能，而直接将拓扑特征作为输入则会降低准确率。
• 在Cora-Full和Physics数据集上，T-GCN分别达到62.1%和93.0%的准确率，与最先进模型（如N-GCN和GAT）相当或更优。
• 该方法在多个数据集和划分下表现出鲁棒性，即使在不使用节点内容的情况下仍能保持一致的性能提升，凸显其在隐私保护分类中的价值。