[论文解读] Semi-Supervised Learning on Graphs Based on Local Label Distributions

Evgheniy Faerman, Felix Borutta+2 more|arXiv (Cornell University)|Feb 15, 2018

Advanced Graph Neural Networks参考文献 48被引用 7

一句话总结

该论文提出了一种新颖的半监督节点分类方法，通过利用图中邻近节点的局部标签分布来提升分类准确率，尤其在同质性或节点属性较弱的情况下表现更优。通过使用APPR（残差近似个性化传播）方法聚合邻近节点的标签信息，该方法在不使用节点属性的情况下仍能达到最先进性能，并能泛化至未见过的节点。

ABSTRACT

Most approaches that tackle the problem of node classification consider nodes to be similar, if they have shared neighbors or are close to each other in the graph. Recent methods for attributed graphs additionally take attributes of neighboring nodes into account. We argue that the class labels of the neighbors bear important information and considering them helps to improve classification quality. Two nodes which are similar based on class labels in their neighborhood do not need to be close-by in the graph and may even belong to different connected components. In this work, we propose a novel approach for the semi-supervised node classification. Precisely, we propose a new node embedding which is based on the class labels in the local neighborhood of a node. We show that this is a different setting from attribute-based embeddings and thus, we propose a new method to learn label-based node embeddings which can mirror a variety of relations between the class labels of neighboring nodes. Our experimental evaluation demonstrates that our new methods can significantly improve the prediction quality on real world data sets.

研究动机与目标

• 解决现有基于图的节点分类方法过度依赖同质性或节点属性的局限性。
• 探索邻近节点类别标签中被低估的信息，以提升节点嵌入质量。
• 开发一种基于标签的节点嵌入方法，即使在节点未局部连接或缺乏属性时也具有有效性。
• 通过利用局部邻域中的标签分布，实现对训练期间未见节点的分类。
• 证明基于标签的特征在真实世界图数据集中可与或优于基于属性的方法。

提出的方法

• 该方法通过使用APPR（残差近似个性化传播）技术聚合邻近节点的类别标签，引入一种基于标签的节点嵌入。
• 通过控制一个随机跳跃参数α，计算指定范围内节点的标签分布，以建模每个节点的局部邻域。
• 通过个性化随机游走计算标签分布，将标签信息从已知节点传播至未标记节点。
• 所得的基于标签的嵌入可与节点属性结合使用或独立使用，从而在有属性和无属性图中均实现良好性能。
• 该方法不假设同质性，可通过图结构传播标签信息，对训练期间未见的节点进行分类。
• 通过在标准引文网络（Cora、CiteSeer、PubMed）上使用微F1分数进行评估，并对α参数进行消融实验以评估其敏感性。

实验结果

研究问题

• RQ1 当节点属性不可用或不可靠时，节点邻域中的局部标签分布是否能提升节点分类性能？
• RQ2 所提出的基于标签的嵌入方法与当前最先进的基于属性和基于连接性的方法相比表现如何？
• RQ3 该方法是否能泛化至训练期间未见的节点？在缺乏同质性的情况下表现如何？
• RQ4 模型性能对控制邻域范围的随机跳跃参数α的选择有多敏感？
• RQ5 基于标签的特征能否与其它特征（如节点嵌入或属性）有效结合，以进一步提升性能？

主要发现

• 即使不使用节点属性，所提出的方法在引文网络（Cora、CiteSeer、PubMed）上仍表现出具有竞争力的性能，优于多个强基线模型。
• 在PubMed数据集上，模型对随机跳跃参数α表现出较高敏感性，表明邻域范围显著影响性能。
• 该方法能很好地泛化至未见节点，因为它无需为新节点重新训练，而许多现有模型则需要。
• 在多标签设置下，将基于标签的嵌入与节点嵌入结合可显著提升性能。
• 当同质性不成立时（例如，节点标签与其邻居不同），该方法仍表现稳健，证明其对非同质图的鲁棒性。
• 该方法在无属性图上实现了最先进性能，证明邻域中的标签信息是图学习中一种强大且被低估的信号。