[论文解读] Optimal Bayesian estimation in stochastic block models

Debdeep Pati, Anirban Bhattacharya|arXiv (Cornell University)|May 26, 2015

Bayesian Methods and Mixture Models参考文献 33被引用 7

一句话总结

本文通过开发几何嵌入技术以利用参数空间的低维结构，使用常规的贝叶斯先验（聚类分配上的多项-狄利克雷先验，边概率上的均匀先验），在随机块模型中建立了最优后验收缩率，证明了标准先验可实现极小极大最优收敛速率。

ABSTRACT

With the advent of structured data in the form of social networks, genetic circuits and protein interaction networks, statistical analysis of networks has gained popularity over recent years. Stochastic block model constitutes a classical cluster-exhibiting random graph model for networks. There is a substantial amount of literature devoted to proposing strategies for estimating and inferring parameters of the model, both from classical and Bayesian viewpoints. Unlike the classical counterpart, there is however a dearth of theoretical results on the accuracy of estimation in the Bayesian setting. In this article, we undertake a theoretical investigation of the posterior distribution of the parameters in a stochastic block model. In particular, we show that one obtains optimal rates of posterior convergence with routinely used multinomial-Dirichlet priors on cluster indicators and uniform priors on the probabilities of the random edge indicators. En route, we develop geometric embedding techniques to exploit the lower dimensional structure of the parameter space which may be of independent interest.

研究动机与目标

• 理论研究随机块模型中后部分布的渐近行为，随机块模型是网络随机图模型的一个关键类别。
• 解决尽管广泛使用标准先验，但贝叶斯估计在随机块模型中缺乏理论保证的问题。
• 证明常规使用的先验（多项-狄利克雷先验和均匀先验）在最小假设下可实现最优后验收缩率。
• 开发几何嵌入技术以处理由聚类引起的参数空间的低维结构。
• 将后验收缩理论扩展至具有结构化稀疏性和社区结构的网络模型，填补了高维贝叶斯渐近理论中的空白。

提出的方法

• 采用分层贝叶斯模型，对节点聚类分配使用多项-狄利克雷先验，对边概率矩阵使用均匀先验。
• 应用几何嵌入技术将参数空间映射到低维流形，以利用聚类结构。
• 使用奇异值阈值化和椭球集中集来控制后验质量在真实参数附近的集中程度。
• 通过界定先验集中度并利用体积和概率界测试真实参数与其邻域的关系，推导后验收缩率。
• 利用椭球体积公式及椭球内矩形嵌入，推导后验概率的上下界。
• 应用浓度不等式和伽马函数界，控制不同聚类配置下先验概率的比值。

实验结果

研究问题

• RQ1 在随机块模型中，标准贝叶斯先验能否实现极小极大最优后验收缩率？
• RQ2 随机块模型参数空间中的几何结构在后验集中起什么作用？
• RQ3 如何从理论上证明在网络聚类模型中使用多项-狄利克雷和均匀先验的合理性？
• RQ4 是否可以在不事先知道真实聚类数的情况下，建立随机块模型中的后验收缩？
• RQ5 极小极大率中的非参数部分与聚类部分如何在后验收缩行为中体现？

主要发现

• 在标准多项-狄利克雷先验和均匀先验下，后验分布以极小极大率 $k^2/n^2 + \log k/n$ 收缩。
• 几何嵌入技术成功利用了参数空间的低维结构，从而推导出后验集中度的界。
• 通过在椭球内嵌入一个长方体，使先验集中度和检验论证变得可处理，从而界定了后验概率。
• 即使真实聚类数 $k$ 已知，后验收缩率仍为最优，且与 Gao 等人（2014）得到的极小极大下界一致。
• 分析表明，聚类分配的先验无需精细调优，标准选择即可实现最优的频派性能。
• 结果表明，对 $k$ 使用先验的完整贝叶斯方法可实现自适应后验收缩，且可通过近似推广至图函数估计。