[论文解读] The Highest Dimensional Stochastic Blockmodel with a Regularized Estimator

Karl Rohe, Tai Qin+1 more|arXiv (Cornell University)|Jun 11, 2012

Bayesian Methods and Mixture Models参考文献 33被引用 8

一句话总结

本文提出了最高维度的随机块模型，其中块数 $K$ 随 $N/\log^5 N$ 比例增长，接近理论极限 $K \leq N$。它提出了一种正则化最大似然估计器，结合了网络科学与人类学的经验洞察，证明在温和条件下，误聚类节点的比例收敛于零，首次建立了参数化网络模型中正则化的一致性结果。

ABSTRACT

In the high dimensional Stochastic Blockmodel for a random network, the number of clusters (or blocks) K grows with the number of nodes N. Two previous studies have examined the statistical estimation performance of spectral clustering and the maximum likelihood estimator under the high dimensional model; neither of these results allow K to grow faster than N^{1/2}. We study a model where, ignoring log terms, K can grow proportionally to N. Since the number of clusters must be smaller than the number of nodes, no reasonable model allows K to grow faster; thus, our asymptotic results are the "highest" dimensional. To push the asymptotic setting to this extreme, we make additional assumptions that are motivated by empirical observations in physical anthropology (Dunbar, 1992), and an in depth study of massive empirical networks (Leskovec et al 2008). Furthermore, we develop a regularized maximum likelihood estimator that leverages these insights and we prove that, under certain conditions, the proportion of nodes that the regularized estimator misclusters converges to zero. This is the first paper to explicitly introduce and demonstrate the advantages of statistical regularization in a parametric form for network analysis.

研究动机与目标

• 开发一种统计框架，用于随机块模型，其中块数 $K$ 随 $N$ 成比例增长，接近理论最大值。
• 结合物理人类学（邓巴数字）和大规模网络研究（Leskovec 等人）的实证洞察，表明块大小应保持有界。
• 设计一种正则化最大似然估计器（RMLE），以提升高维设置下的估计精度。
• 证明正则化估计器可实现一致性，即当 $N \to \infty$ 时，误聚类节点的比例收敛于零。

提出的方法

• 引入一种高维渐近设置，其中 $K = N \log^{-5} N$，确保块大小缓慢增长并保持在邓巴数字范围内。
• 通过识别节点对 $(i,j)$ 来定义一个精细化划分 $\Pi^{*}$，这些节点对虽被错误聚类，但拥有一个连接模式显著不同的共同邻居 $k$。
• 构建一个正则化划分 $\Pi^{zR}$，将块间对视为一个新且独立的组别，以稳定估计。
• 利用一组三元组 $(i,j,k)$ 的集合 $T$ 对 $\Pi^{zR}$ 进行细化，其中连接模式的差异 $D(P_{ik} \| \frac{P_{ik}+P_{jk}}{2})$ 超过与 $MK/N^2$ 成比例的阈值。
• 使用对数似然差 $\bar{L}_P(\tilde{z}) - \bar{L}_P^R(\hat{z}^R)$ 来界定误差率，得到 $N_e(\hat{z}^R)/N = o_p(1)$。
• 采用基于细化的论证方法，表明正则化估计器通过受控的划分细化过程，可降低误差，从而优于无正则化估计器。

实验结果

研究问题

• RQ1 当块数 $K$ 随 $N/\log^5 N$ 比例增长并接近理论最大值时，是否可实现随机块模型的一致性估计？
• RQ2 在 $K$ 随 $N$ 增长的高维随机块模型中，正则化如何提升估计性能？
• RQ3 可否将来自实证网络数据的结构性假设（如块大小有界）正式纳入模型，以实现一致性？
• RQ4 在极端高维设置下，正则化最大似然估计器是否可在 $N \to \infty$ 的极限中实现一致性？

主要发现

• 正则化最大似然估计器实现了收敛性，即当 $N \to \infty$ 时，误聚类节点的比例以概率收敛于零。
• 渐近设置允许 $K = N \log^{-5} N$，这是在 $K > N$ 不可行之前可达到的最高增长速率。
• 通过对数似然差界定误差率：$\bar{L}_P(\tilde{z}) - \bar{L}_P^R(\hat{z}^R) = \Omega(M) \cdot \frac{N_e(\hat{z}^R)}{N}$，从而得出 $N_e(\hat{z}^R)/N = o_p(1)$。
• 基于三元组 $(i,j,k) \in T$ 的细化过程可确保具有显著不同连接模式的节点被分离，从而提升聚类准确性。
• 正则化划分 $\Pi^{zR}$ 将块间对视为独立组别，稳定了似然函数，并在高维增长下实现了估计一致性。
• 本文是首篇明确展示统计正则化在参数化网络模型中优势的论文，为高维网络聚类建立了新的理论基础。