[论文解读] Supervised Community Detection with Hierarchical Graph Neural Networks

Zhengdao Chen, Xiang Li+1 more|arXiv (Cornell University)|May 23, 2017

Complex Network Analysis Techniques被引用 3

一句话总结

该论文提出了一类新型分层图神经网络（GNN），通过在边线图上利用非回溯算子，以改进监督社区检测。通过将社区检测建模为节点分类任务并采用数据驱动方式进行训练，该模型在随机块模型上的表现达到或超过信念传播方法，甚至在某些情况下突破计算检测阈值，同时在真实世界图数据上也表现出色。

ABSTRACT

Traditionally, community detection in graphs can be solved using spectral methods or posterior inference under probabilistic graphical models. Focusing on random graph families such as the stochastic block model, recent research has unified both approaches and identified both statistical and computational detection thresholds in terms of the signal-to-noise ratio. By recasting community detection as a node-wise classification problem on graphs, we can also study it from a learning perspective. We present a novel family of Graph Neural Networks (GNNs) for solving community detection problems in a supervised learning setting. We show that, in a data-driven manner and without access to the underlying generative models, they can match or even surpass the performance of the belief propagation algorithm on binary and multi-class stochastic block models, which is believed to reach the computational threshold. In particular, we propose to augment GNNs with the non-backtracking operator defined on the line graph of edge adjacencies. Our models also achieve good performance on real-world datasets. In addition, we perform the first analysis of the optimization landscape of training linear GNNs for community detection problems, demonstrating that under certain simplifications and assumptions, the loss values at local and global minima are not far apart.

研究动机与目标

• 解决传统社区检测方法依赖生成模型假设或谱方法所带来的局限性。
• 通过使用监督GNN，弥合统计社区检测阈值与实际机器学习方法之间的差距。
• 开发一种GNN架构，能够在不依赖底层随机块模型知识的前提下，实现与信念传播相当或更优的性能。
• 在简化假设下分析线性GNN在社区检测中的优化景观。
• 证明该方法在合成随机块模型之外的真实世界图数据集上的泛化能力。

提出的方法

• 该方法将社区检测重新表述为图上的节点分类问题，从而支持监督训练。
• 提出一种分层GNN架构，通过在边邻接线图上引入非回溯算子，增强消息传递并减少过平滑现象。
• 在从随机块模型生成的合成数据上端到端训练GNN，使用节点标签作为监督信号。
• 利用线图的结构编码高阶连通性模式，提升社区分离能力。
• 在简化假设下分析线性GNN的优化景观，结果表明局部极小值与全局极小值在损失值上并无显著差异。
• 采用标准社区检测指标，在二分类和多分类随机块模型以及真实世界网络上对方法进行评估。

实验结果

研究问题

• RQ1 基于数据驱动的GNN方法是否能在随机块模型上实现与信念传播相当或更优的性能，而后者被认为已达到计算检测阈值？
• RQ2 在边线图上引入非回溯算子，相较于标准消息传递机制，如何提升GNN在社区检测中的表现？
• RQ3 在线性GNN的社区检测背景下，其优化景观具有何种特性？局部极小值与全局极小值相比如何？
• RQ4 所提出的GNN框架是否能在不依赖已知生成模型的前提下，有效泛化到真实世界图数据集？
• RQ5 GNN架构的分层设计在多大程度上提升了社区检测性能，超越标准GNN？

主要发现

• 所提出的GNN在二分类和多分类随机块模型上的表现与信念传播相当或更优，甚至在某些情况下突破计算阈值。
• 在边线图上集成非回溯算子显著提升了模型区分社区的能力，尤其在信噪比较低的场景下表现突出。
• 模型在真实世界数据集上泛化良好，展现出超越合成基准测试的鲁棒性。
• 线性GNN优化景观的分析表明，局部极小值与全局极小值在损失上无显著差异，暗示了有利的训练动态。
• 结果表明，监督GNN无需显式访问底层生成模型，即可有效学习社区结构，在某些场景下优于传统基于推理的方法。