[论文解读] The blessing of transitivity in sparse and stochastic networks

Karl Rohe, Tai Qin|arXiv (Cornell University)|Jul 8, 2013

Complex Network Analysis Techniques参考文献 50被引用 12

一句话总结

本文提出一种局部聚类算法，利用稀疏网络中的传递性，以高概率检测出小型密集社区。该文证明，在局部随机块模型下，即使在大规模稀疏图中，该算法也能可靠地恢复固定大小的聚类——为局部聚类方法在现实网络中稳健的实验性能提供了首个理论依据。

ABSTRACT

The interaction between transitivity and sparsity, two common features in empirical networks, implies that there are local regions of large sparse networks that are dense. We call this the blessing of transitivity and it has consequences for both modeling and inference. Extant research suggests that statistical inference for the Stochastic Blockmodel is more difficult when the edges are sparse. However, this conclusion is confounded by the fact that the asymptotic limit in all of the previous studies is not merely sparse, but also non-transitive. To retain transitivity, the blocks cannot grow faster than the expected degree. Thus, in sparse models, the blocks must remain asymptotically small. Previous algorithmic research demonstrates that small "local" clusters are more amenable to computation, visualization, and interpretation when compared to "global" graph partitions. This paper provides the first statistical results that demonstrate how these small transitive clusters are also more amenable to statistical estimation. Theorem 2 shows that a "local" clustering algorithm can, with high probability, detect a transitive stochastic block of a fixed size (e.g. 30 nodes) embedded in a large graph. The only constraint on the ambient graph is that it is large and sparse--it could be generated at random or by an adversary--suggesting a theoretical explanation for the robust empirical performance of local clustering algorithms.

研究动机与目标

• 为解决稀疏且具有传递性的网络中的统计推断问题，其中传统渐近范式因稀疏性与传递性的相互作用而失效。
• 证明传递性能使局部聚类算法能够在大规模稀疏图中实现对小型固定大小社区的高概率恢复。
• 提出一种新颖的局部随机块模型，假设一个固定大小的聚类被嵌入在潜在对抗性的稀疏网络中，对图其余部分的假设最小化。
• 在最小假设下，为局部聚类算法提供首个统计保证，表明其对聚类外部大规模未知网络结构具有鲁棒性。
• 通过证明传递性使边在稀疏网络中渐近更具信息量，解释局部聚类方法在实践中成功的原因。

提出的方法

• 提出一种局部聚类算法 LocalTrans，基于对归一化局部邻接矩阵 $ L_\tau $ 的阈值规则，从种子节点迭代扩展聚类，其中 $ \tau $ 为平均度数。
• 使用正则化邻接矩阵 $ L_\tau = A + \tau I $ 以稳定局部结构，并增强对局部传递模式的敏感性。
• 对局部邻域应用阈值规则，基于共同邻居数量和边密度，将与种子节点相似度高的节点纳入聚类。
• 引入局部随机块模型，其中一个固定大小的块被嵌入在具有任意外部结构的大规模稀疏图中。
• 采用条件密度论证表明，在传递性模型下，当 $ A_{ij} = 1 $ 时，隐变量 $ \xi_i, \xi_j $ 渐近集中，使边具有高度信息量。
• 结合谱方法与基于邻域的技术检测聚类，并通过真实网络（如 epinions 和 slashdot）的可视化与实证验证。

实验结果

研究问题

• RQ1 传递性与稀疏性在随机块模型中如何相互作用？这会引出何种新的渐近范式？
• RQ2 局部聚类算法能否在大规模稀疏且潜在对抗性的网络中可靠地恢复小型固定大小社区？
• RQ3 为何局部聚类算法在实践中表现稳健，尽管缺乏对全局结构的假设？
• RQ4 在对全局网络结构假设最少的情况下，可为局部聚类提供何种统计保证？
• RQ5 传递性如何增强稀疏网络中边的信息量？这对推断与估计有何影响？

主要发现

• 在稀疏且具有传递性的网络中，局部区域会变得密集，形成‘传递性的福音’——一种使边在渐近意义上更具信息量用于推断的现象。
• 定理 2 证明，只要环境图足够大且稀疏，无论其全局结构如何，局部聚类算法都能以高概率恢复固定大小的随机块。
• 所提出的 LocalTrans 算法在 epinions 和 slashdot 等真实网络中成功检测出聚类，可视化结果展示了不同结构类型的聚类（如团状、平面型或弱连通型）。
• 在 GlobalTrans 中使用 $ L_\tau $ 而非 $ A $ 显著提升了性能，使在 slashdot 网络中检测到超过 20 个节点的聚类成为可能，而标准方法未能发现这些聚类。
• 对于许多节点，当阈值降低时，聚类增长呈现突变特征；而对于‘缓慢增长’的种子，扩展过程则较为平缓，表明算法对局部结构具有高度敏感性。
• 理论结果表明，在局部随机块模型下，即使图其余部分为对抗性结构，LocalTrans 也能实现对真实聚类的高概率恢复。