[论文解读] Non-Asymptotic Chernoff Lower Bound and Its Application to Community Detection in Stochastic Block Model

Zhixin Zhou, Ping Li|arXiv (Cornell University)|Dec 29, 2018

Complex Network Analysis Techniques参考文献 37被引用 4

一句话总结

本文提出了一种非渐近的切尔诺夫型界，该界以常数因子紧密地同时上界和下界贝叶斯错误概率，从而能够精确刻画社区检测中的极小极大错误率。该方法被应用于随机块模型，其中一种新颖的算法通过优良的初始化和迭代的EM型更新实现了最优错误率。

ABSTRACT

Chernoff coefficient is an upper bound of Bayes error probability in classification problem. In this paper, we will develop sharp Chernoff type bound on Bayes error probability. The new bound is not only an upper bound but also a lower bound of Bayes error probability up to a constant in a non-asymptotic setting. Moreover, we will apply this result to community detection in stochastic block model. As a clustering problem, the optimal error rate of community detection can be characterized by our Chernoff type bound. This can be formalized by deriving a minimax error rate over certain class of parameter space, then achieving such error rate by a feasible algorithm employ multiple steps of EM type updates.

研究动机与目标

• 通过推导一种在常数因子内同时作为上界和下界的紧致切尔诺夫型界，填补非渐近贝叶斯错误概率分析中的空白。
• 将该界应用于随机块模型（SBM）中的社区检测，其中现有极小极大错误率分析因切尔诺夫界过松而缺乏紧致性。
• 设计一种可行的算法，通过结合优良初始化与多次EM型局部更新，实现极小极大错误率。
• 改进先前工作，这些工作或未能推导出极小极大率，或因切尔诺夫近似过松而达到次优的算法错误率。

提出的方法

• 推导出一种非渐近的切尔诺夫型界，使得贝叶斯错误概率的上界和下界在常数因子内成立，且不依赖于渐近假设。
• 引入对切尔诺夫信息 $ D_{ar{ ho}}( ho_0\big\bracevert\rho_1) $ 的精细化分析，表明其与贝叶斯错误概率之比被绝对常数所界定。
• 将该界应用于对称随机块模型（SBM），其中社区检测被建模为对称假设检验问题。
• 设计一种两阶段算法：(1) 通过谱聚类进行初始化；(2) 通过多次EM型局部更新优化社区分配。
• 在多个步骤中使用似然比检验和参数估计，通过浓度不等式控制失败概率。
• 提出一种新颖的误差分解方法，将误分类率界定为 $ O(\theta^*) $，其中 $ \theta^* $ 是切尔诺夫信息与网络参数的函数。

实验结果

研究问题

• RQ1 能否建立一种非渐近的切尔诺夫型界，使其在常数因子内同时作为贝叶斯错误概率的上界和下界？
• RQ2 如何利用这种紧致的切尔诺夫界推导出随机块模型中社区检测的极小极大错误率？
• RQ3 能否设计一种可行的算法，通过“优良初始化后快速局部更新”（GI-FLU）框架实现该极小极大错误率？
• RQ4 为何先前的算法尽管推导出极小极大率，却无法实现最优错误率？新界如何解决这一问题？

主要发现

• 本文建立了非渐近切尔诺夫型界，使得切尔诺夫系数与贝叶斯错误概率之比被上下两个绝对常数所界定。
• 随机块模型中社区检测的极小极大错误率被刻画为 $ \tilde{\theta}\big(\frac{1}{\text{poly}(n)} \big) $，其中精确速率 $ \theta^* $ 依赖于切尔诺夫信息和网络度数。
• 所提出的算法实现了 $ O\big(\frac{\text{exp}(-D)}{\text{poly}(d)}\big) $ 的算法错误率，与极小极大下界在常数因子内一致。
• 在 $ D^* \to \text{large} $ 的情形下，期望误分类率为 $ O\big(\frac{1}{n^{(1+r)\bigwedge(1+s)}}\big) $，其以多项式速率衰减。
• 分析表明 $ \text{Pr}(\text{Mis}(\tilde{z}, z) \neq 0) = O(\theta^*) $，其中 $ \theta^* $ 是切尔诺夫散度与网络参数的函数。
• 该算法的失败概率被界定为 $ O\big(\frac{1}{n^{r \bigwedge s}}\big) $，在温和条件下表现出收敛于零的特性。