[论文解读] Variational Graph Generator for Multi-View Graph Clustering

Jianpeng Chen, Yawen Ling+7 more|arXiv (Cornell University)|Oct 13, 2022

Complex Network Analysis Techniques被引用 4

一句话总结

该论文提出VGMGC，一种用于多视图图聚类的变分图生成器，通过变分推断联合学习视图特定图结构与共识图结构。通过从多个视图推断出稀疏、概率性的共识图，并利用无参图神经网络编码器将该图与视图特定特征融合，VGMGC在八个基准数据集上实现了最先进性能，聚类准确率和标准化互信息均优于先前方法。

ABSTRACT

Multi-view graph clustering (MGC) methods are increasingly being studied due to the explosion of multi-view data with graph structural information. The critical point of MGC is to better utilize view-specific and view-common information in features and graphs of multiple views. However, existing works have an inherent limitation that they are unable to concurrently utilize the consensus graph information across multiple graphs and the view-specific feature information. To address this issue, we propose Variational Graph Generator for Multi-View Graph Clustering (VGMGC). Specifically, a novel variational graph generator is proposed to extract common information among multiple graphs. This generator infers a reliable variational consensus graph based on a priori assumption over multiple graphs. Then a simple yet effective graph encoder in conjunction with the multi-view clustering objective is presented to learn the desired graph embeddings for clustering, which embeds the inferred view-common graph and view-specific graphs together with features. Finally, theoretical results illustrate the rationality of the VGMGC by analyzing the uncertainty of the inferred consensus graph with the information bottleneck principle.Extensive experiments demonstrate the superior performance of our VGMGC over SOTAs. The source code is publicly available at https://github.com/cjpcool/VGMGC.

研究动机与目标

• 为解决现有多视图图聚类方法无法同时利用视图共有的图结构与视图特定的特征信息的局限性。
• 开发一种基于变分推断生成稳健、稀疏共识图的方法，同时整合特征与图级别的共性。
• 设计一种简单、无参的图编码器，有效融合视图特定与共识图信息及特征，以提升聚类性能。
• 基于信息瓶颈原理，从理论上证明模型的鲁棒性，分析推断共识图中的不确定性。
• 通过实证验证VGMGC在多样化多视图图聚类基准上的优越性，超越最先进方法。

提出的方法

• 在多个图上建立先验假设，以指导共识图生成的变分推断过程。
• 通过变分图生成器基于全局特征与多视图图输入，建模每条边属于公共结构的概率，推断出稀疏、离散的共识图。
• 在图编码器中使用无参的消息传递机制，聚合来自视图特定图与推断共识图的信息，保持GNN表达能力的同时避免冗余参数。
• 通过可学习的聚合机制融合多视图表示，将视图特定嵌入整合为统一的潜在表示以用于聚类。
• 目标函数结合聚类损失、共识图重建损失及正则化项，通过变分推断实现稀疏性与不确定性控制。
• 基于信息瓶颈原理的理论分析表明，该模型最小化了共识图中的不确定性，从而证明其鲁棒性。

Figure 1: The illustration of VGMGC. $\oplus$ denotes concatenating operation. We first infer a cross-view consensus graph $\mathbf{\hat{S}}$ via the variational graph generator, and then, the variational consensus graph is normalized, and we feed it with each attributed view-specific graph into the

实验结果

研究问题

• RQ1 基于变分推断的图生成器能否有效提取多个视图间的共性拓扑结构，同时保留视图特定信息？
• RQ2 如何设计一种简单、无参的GNN编码器，以联合嵌入视图特定与共识图结构及特征？
• RQ3 所提方法是否在多样化数据集上优于最先进多视图图聚类方法？
• RQ4 模型对超参数（如温度τ与共识权重ρ）的敏感性如何？
• RQ5 根据信息瓶颈理论，推断的共识图在多大程度上减少了不确定性并提升了鲁棒性？

主要发现

• VGMGC在八个多视图图聚类数据集上实现最先进性能，在聚类准确率与标准化互信息上均优于现有方法。
• 在DBLP数据集上，VGMGC相比最佳单视图结果，NMI提升2.5%，证明多视图融合的有效性。
• 模型在不同ρ与τ值下表现稳定，NMI波动小于3%，ACC波动在3%以内。
• 收敛性分析表明，所有损失分量在约100个训练周期后趋于稳定，表明训练动力学可靠。
• 通过t-SNE可视化显示，融合表示（Z̄）成功分离了单个视图中存在模糊的聚类，尤其在DBLP上显著优于第三视图。
• 过度平滑性分析表明，随着消息传递阶数增加，性能提升，表明VGMGC能有效缓解深层GNN中的特征过度平滑问题。

Figure 2: The Bayesian net of our variational graph generator about variables: $\mathbf{A}^{v}$ , $\mathbf{\hat{S}}$ , $\mathbf{\overline{X}}$ and $\mathbf{X}^{v}$ .