[论文解读] Unsupervised Community Detection with Modularity-Based Attention Model

Ivan Lobov, Sergey Ivanov|arXiv (Cornell University)|May 20, 2019

Advanced Graph Neural Networks参考文献 22被引用 6

一句话总结

该论文提出了一种新颖的无监督社区检测模型，通过将注意力机制与可微分的软模块度损失相结合，以在图上优化节点聚类。通过使用Bethe Hessian嵌入进行初始化，并在单张图上端到端训练，该模型实现了具有竞争力的性能——在模块度和NMI指标上，其表现与经典算法及监督型GNN相当或更优，尤其在关联与非关联SSBM场景下表现突出。

ABSTRACT

In this paper we take a problem of unsupervised nodes clustering on graphs and show how recent advances in attention models can be applied successfully in a "hard" regime of the problem. We propose an unsupervised algorithm that encodes Bethe Hessian embeddings by optimizing soft modularity loss and argue that our model is competitive to both classical and Graph Neural Network (GNN) models while it can be trained on a single graph.

研究动机与目标

• 开发一种完全无监督的社区检测方法，无需标注数据或多张图。
• 将注意力机制与可微分的软模块度目标相结合，实现在单张图上的端到端训练。
• 在关联与非关联SSBM场景下，评估模型性能与经典算法及最先进监督型GNN的对比。
• 证明基于模块度的损失函数在适当初始化下可实现强无监督性能。
• 探索无监督设置下计算效率、模型容量与聚类准确率之间的权衡。

提出的方法

• 模型使用Bethe Hessian嵌入作为初始节点表示，其来源于非回溯算子的谱性质。
• 基于编码器的Transformer架构结合多头自注意力机制，处理这些嵌入以生成每个节点的软聚类分配。
• 损失函数为可微分的软模块度目标：$ M = -\text{tr}(UBU^T)/||A||_1 $，其中 $ U $ 为节点到社区的概率矩阵，$ B = A - dd^T/||A||_1 $。
• 正则化项 $ R = \sum_c (\sum_i U_{ic} - 1/C)^2 $ 用于鼓励社区规模均衡。
• 在非关联场景（SNR ≤ 1）下，损失函数取反：$ L_d = -M + \lambda R $，以符合模块度的符号惯例。
• 使用Adam优化器进行端到端训练并配合早停策略，评估指标包括模块度、NMI与重叠度。

实验结果

研究问题

• RQ1 可微分的注意力模型是否能在无标注数据下实现具有竞争力的社区检测性能？
• RQ2 节点嵌入初始化方式的选择（如Bethe Hessian与随机初始化）如何影响聚类性能？
• RQ3 基于模块度的损失函数是否能有效支持在单张图上的无监督训练？
• RQ4 在关联与非关联SSBM场景下，该模型与监督型GNN（如LGNN）及经典算法（如Louvain、Bethe Hessian）相比表现如何？
• RQ5 该模型是否能在无标签归纳偏差的情况下，泛化至不同图拓扑与社区结构？

主要发现

• 在关联数据集上，Attention-Bethe Hessian（Attention-BH）模型取得了0.51的最高模块度得分，优于所有基线模型，包括监督型LGNN（0.50）。
• 在非关联数据集上，Attention-BH模型的模块度为-0.18，最接近最优值-0.20，且在NMI（0.11）与重叠度（0.22）上均优于其他所有模型。
• 采用Bethe Hessian初始化的模型在所有指标上均持续优于随机初始化，证明了归纳偏差在无监督学习中的重要性。
• 软模块度损失函数使无标签训练成为可能，即使在信息-计算差距区间（SNR ≤ 1）内也取得了具有竞争力的结果。
• 该模型在NMI与重叠度上与经典基线模型（如Bethe Hessian、Louvain）相当或更优，且具备可微性与端到端优化的优势。
• 消融研究证实，注意力机制与基于模块度的损失函数的结合是性能关键，采用随机初始化或无注意力机制的模型性能显著下降。