[论文解读] Sparse Popularity Adjusted Stochastic Block Model

Majid Noroozi, Marianna Pensky+1 more|arXiv (Cornell University)|Oct 3, 2019

Complex Network Analysis Techniques参考文献 38被引用 8

一句话总结

本文提出了稀疏流行度调整随机块模型（SP-ABM），这是一种新型的块模型，通过允许某些块间连接概率恰好为零，而其他概率保持远离零，从而实现结构稀疏性。通过利用节点特定的流行度向量和灵活的矩阵分解，该模型在稀疏网络条件下实现了稳定的社区检测，并在连接模式依赖于块的情况下提供了聚类准确性的理论保证。

ABSTRACT

In the present paper we study a sparse stochastic network enabled with a block structure. The popular Stochastic Block Model (SBM) and the Degree Corrected Block Model (DCBM) address sparsity by placing an upper bound on the maximum probability of connections between any pair of nodes. As a result, sparsity describes only the behavior of network as a whole, without distinguishing between the block-dependent sparsity patterns. To the best of our knowledge, the recently introduced Popularity Adjusted Block Model (PABM) is the only block model that allows to introduce a {\it structural sparsity} where some probabilities of connections are identically equal to zero while the rest of them remain above a certain threshold. The latter presents a more nuanced view of the network.

研究动机与目标

• 为解决现有块模型（如SBM和DCBM）在捕捉某些社区间连接概率恰好为零的块特定稀疏模式方面的局限性。
• 开发一种支持结构稀疏性的模型——即稀疏性并非在整个网络中均匀分布，而是随块对变化——以更细致地刻画现实世界网络。
• 在稀疏网络条件下建立社区检测的理论一致性，特别是当稀疏性不仅是一种全局属性，而且在不同社区之间变化时。
• 通过引入反映具有枢纽和孤立群体的真实网络拓扑的稀疏性约束，对流行度调整块模型（PABM）进行推广。

提出的方法

• 通过定义节点特定的流行度向量 Λ^(k,l)，提出PABM的稀疏扩展，使得连接概率满足 P^(k,l) = Λ^(k,l) (Λ^(l,k))^T，从而实现灵活且依赖于块的稀疏性。
• 通过允许流行度向量中的某些条目为零，施加结构稀疏性，从而在特定节点-块对之间诱导出零连接概率。
• 采用矩阵分解方法，将概率矩阵 P 表示为若干秩一区块的和，每个区块由社区间流行度向量的外积定义。
• 应用交错定理来界定子矩阵的特征值，并推导出估计概率矩阵的Frobenius范数和算子范数的集中不等式。
• 采用扰动分析框架，比较真实与估计的概率矩阵，通过谱范数和Frobenius范数的比较，推导出聚类误差的界。
• 通过在稀疏条件下分析真实与估计概率矩阵之间的差异，推导出社区检测的非渐近误差界。

实验结果

研究问题

• RQ1 能否设计一种随机块模型，以捕捉块特定的稀疏模式，即某些社区间连接概率恰好为零，而其他连接概率保持远离零？
• RQ2 在PABM框架中引入节点特定的流行度向量，如何在不牺牲可识别性或估计一致性的情况下实现结构稀疏性？
• RQ3 在稀疏网络中，当稀疏模式在不同社区之间非均匀分布时，社区检测在何种理论条件下仍能保持一致？
• RQ4 在存在结构稀疏性的情况下，估计概率矩阵的谱范数与Frobenius范数如何与聚类误差相关？

主要发现

• SP-ABM模型在结构稀疏性下实现了稳定的社区检测，聚类误差受一个随 n 递减至 O(1/n) 的项控制，前提是流行度向量和稀疏性参数满足适当条件。
• 概率矩阵 P 的Frobenius范数受一个与 a²n² 成比例的项所限制，其中 a 为基准连接概率，n 为节点数。
• 该模型证明了子矩阵 H_k 的前两个特征值下界由块连接概率的和与积表达，从而实现谱分离。
• 分析表明，真实与估计概率矩阵之间的差异受 αₙ‖P‖²_F 控制，且当 n 增大时 αₙ → 0，确保收敛性。
• 关键不等式 Δ_D + Δ_ND ≥ ˜λ²_{2,1} + ˜λ²_{2,2} − αₙ‖P‖²_F 表明，聚类误差主要由扰动子矩阵的第二特征值主导，且在模型假设下该值保持远离零。