[论文解读] SCGC : Self-Supervised Contrastive Graph Clustering

Gayan K. Kulatilleke, Marius Portmann+1 more|arXiv (Cornell University)|Apr 27, 2022

Advanced Graph Neural Networks被引用 14

一句话总结

SCGC 提出了一种自监督对比图聚类方法，用简单的自编码器和对比损失替代传统的图神经网络（GNN），以强制实施图结构，从而消除对邻接矩阵和高成本操作的依赖。SCGC* 进一部通过影响增强对比（IAC）损失提升了效率和鲁棒性，在 DBLP 上实现比最先进模型快 55% 的训练速度和快 81% 的推理速度，同时在 ARI 上提升 20%，在 NMI 上提升 18%。

ABSTRACT

Graph clustering discovers groups or communities within networks. Deep learning methods such as autoencoders (AE) extract effective clustering and downstream representations but cannot incorporate rich structural information. While Graph Neural Networks (GNN) have shown great success in encoding graph structure, typical GNNs based on convolution or attention variants suffer from over-smoothing, noise, heterophily, are computationally expensive and typically require the complete graph being present. Instead, we propose Self-Supervised Contrastive Graph Clustering (SCGC), which imposes graph-structure via contrastive loss signals to learn discriminative node representations and iteratively refined soft cluster labels. We also propose SCGC*, with a more effective, novel, Influence Augmented Contrastive (IAC) loss to fuse richer structural information, and half the original model parameters. SCGC(*) is faster with simple linear units, completely eliminate convolutions and attention of traditional GNNs, yet efficiently incorporates structure. It is impervious to layer depth and robust to over-smoothing, incorrect edges and heterophily. It is scalable by batching, a limitation in many prior GNN models, and trivially parallelizable. We obtain significant improvements over state-of-the-art on a wide range of benchmark graph datasets, including images, sensor data, text, and citation networks efficiently. Specifically, 20% on ARI and 18% on NMI for DBLP; overall 55% reduction in training time and overall, 81% reduction on inference time. Our code is available at : https://github.com/gayanku/SCGC

研究动机与目标

• 解决基于 GNN 的图聚类中存在的过平滑、对噪声敏感和计算效率低下的问题。
• 通过在自编码器嵌入上使用对比学习，消除聚类中对邻接矩阵和 GNN 操作的依赖。
• 通过自监督软聚类提升对异配性、噪声边和标签噪声的鲁棒性。
• 在资源受限环境中实现批处理、并行化和可扩展性。
• 开发一种轻量化、高效且可泛化的聚类框架，适用于多种图模态。

提出的方法

• 使用简单的多层感知机（MLP）自编码器学习节点表示，无需图卷积或注意力机制。
• 通过在最终嵌入层施加对比损失来强制实施图结构，促进具有共享邻域影响的节点之间的相似性。
• 在 SCGC* 中引入影响增强对比（IAC）损失，聚合多阶邻域影响，以增强归纳偏置。
• 采用自监督软聚类头，通过嵌入空间中的置信度分数迭代优化聚类分配。
• 将模型架构与图结构解耦，实现无需邻接矩阵依赖的简单并行化和批处理。
• 采用线性时间推理过程，无需邻接矩阵，从而实现边缘设备上的快速部署。

实验结果

研究问题

• RQ1 是否可以在模型中不使用 GNN 或邻接信息的情况下有效进行图聚类？
• RQ2 如何利用对比学习在自编码器聚类中强制实施结构归纳偏置？
• RQ3 轻量化、非 GNN 模型能否在保持对过平滑、噪声和异配性鲁棒性的同时实现最先进性能？
• RQ4 基于影响的对比学习对聚类质量与训练效率有何影响？
• RQ5 该模型是否能够高效地批处理和并行化，从而实现对大规模图的可扩展性？

主要发现

• SCGC* 在 DBLP 引用网络上的 Adjusted Rand Index（ARI）上提升 20%，在 Normalized Mutual Information（NMI）上提升 18%，优于最先进模型。
• 与第二好的基线 AGCN 相比，SCGC 在多个数据集上将训练时间减少 55%，推理时间减少 81%。
• 由于对比损失和软聚类机制，SCGC 对过平滑、噪声边和异配性具有鲁棒性。
• SCGC* 中的影响增强对比（IAC）损失无需显式 GNN 层即可有效建模长距离依赖。
• 该模型完全兼容批处理，且可轻松并行化，而许多先前的 GNN 基模型并非如此。
• SCGC 的推理无需邻接矩阵，时间复杂度与批大小呈线性关系，从而实现边缘设备上的快速部署。