[论文解读] Pairwise Covariates-adjusted Block Model for Community Detection

Sihan Huang, Sun, Jiajin+1 more|arXiv (Cornell University)|Jul 10, 2018

Complex Network Analysis Techniques参考文献 51被引用 9

一句话总结

本文提出了成对协变量调整块模型（PCABM），这是随机块模型（SBM）的一种推广，通过引入成对协变量来提升网络中的社区检测性能。通过将边概率建模为同时依赖于社区归属和协变量的函数，PCABM在稀疏条件下实现了社区分配和协变量系数的一致估计；谱聚类带调整（SCWA）提供了一种计算高效的解决方案，而特征选择算法则增强了对混杂协变量的鲁棒性。

ABSTRACT

One of the most fundamental problems in network study is community detection. The stochastic block model (SBM) is a widely used model, for which various estimation methods have been developed with their community detection consistency results unveiled. However, the SBM is restricted by the strong assumption that all nodes in the same community are stochastically equivalent, which may not be suitable for practical applications. We introduce a pairwise covariates-adjusted stochastic block model (PCABM), a generalization of SBM that incorporates pairwise covariate information. We study the maximum likelihood estimates of the coefficients for the covariates as well as the community assignments. It is shown that both the coefficient estimates of the covariates and the community assignments are consistent under suitable sparsity conditions. Spectral clustering with adjustment (SCWA) is introduced to efficiently solve PCABM. Under certain conditions, we derive the error bound of community detection under SCWA and show that it is community detection consistent. In addition, we investigate model selection in terms of the number of communities and feature selection for the pairwise covariates, and propose two corresponding algorithms. PCABM compares favorably with the SBM or degree-corrected stochastic block model (DCBM) under a wide range of simulated and real networks when covariate information is accessible.

研究动机与目标

• 为解决随机块模型（SBM）假设社区内节点具有随机等价性的局限性，该假设在现实网络中常不成立。
• 开发一种能整合成对协变量信息的模型，以在协变量影响网络结构时提升社区检测的准确性。
• 在适当的稀疏性条件下，建立社区分配与协变量系数估计的理论一致性。
• 提出一种高效算法——谱聚类带调整（SCWA），用于在PCABM下的社区检测。
• 开发模型选择与特征选择程序，以确定社区数量并识别相关协变量。

提出的方法

• 提出成对协变量调整块模型（PCABM），其中边概率通过对数线性模型依赖于社区标签与成对协变量。
• 使用最大似然估计（MLE）联合估计社区分配与协变量系数，并在稀疏条件下证明其一致性。
• 提出谱聚类带调整（SCWA），一种两步法：首先利用估计的协变量系数对邻接矩阵进行调整，然后对调整后的矩阵应用谱聚类。
• 基于交叉验证损失，开发一种逐步协变量选择算法（算法5），以选择相关成对协变量并避免混杂效应。
• 推导SCWA下社区检测的理论误差界，表明在弱正则性条件下具有一致性。
• 在协变量选择的训练阶段，采用矩阵补全与迭代优化方法处理缺失数据。

实验结果

研究问题

• RQ1 将成对协变量整合进随机块模型是否能提升现实网络中社区检测的准确性？
• RQ2 在稀疏条件下，PCABM中社区分配与协变量系数的最大似然估计是否具有一致性？
• RQ3 谱聚类带调整（SCWA）在PCABM下是否能实现一致的社区检测？
• RQ4 特征选择算法能否有效识别相关成对协变量，同时过滤掉混杂或无关的协变量？
• RQ5 当存在协变量信息时，PCABM在社区检测性能上相较于SBM与DCBM表现如何？

主要发现

• 在适当的稀疏性条件下，PCABM中社区分配与协变量系数的最大似然估计具有一致性。
• 谱聚类带调整（SCWA）实现了社区检测的一致性，并提供了具有理论误差界的支持、计算高效的解决方案。
• 所提出的特征选择算法（算法5）成功识别出真实协变量并排除了虚假相关协变量，在100次重复实验中，当虚假协变量Z'与真实协变量Z的相关性≤0.7时，真实协变量Z的选中准确率达到100%。
• 在模拟实验中，使用所选协变量的SCWA性能几乎等同于仅使用真实协变量的“理想模型”，且显著优于同时使用真实与虚假协变量的模型。
• 当存在成对协变量信息时，PCABM在广泛模拟与真实网络中均优于SBM与DCBM，尤其在降低混杂效应方面表现突出。
• 在友谊网络数据的实证分析中，PCABM能有效检测基于学校与种族的社区结构，可视化结果表明预测社区结构与真实结构高度一致。