[论文解读] New consistent and asymptotically normal estimators for random graph mixture models

Christophe Ambroise, Catherine Matias|arXiv (Cornell University)|Mar 26, 2010

Complex Network Analysis Techniques参考文献 30被引用 5

一句话总结

本文提出了一种基于矩方程和复合似然的随机图混合模型的一致且渐近正态的估计方法，证明了网络结构可通过边和三元组统计量捕捉。主要贡献在于在一般隶属模型下，即使边变量存在依赖性，也证明了估计量的 √n 一致性与渐近正态性，填补了变分估计方法长期存在的理论空白。

ABSTRACT

Random graph mixture models are now very popular for modeling real data networks. In these setups, parameter estimation procedures usually rely on variational approximations, either combined with the expectation-maximisation ( extsc{em}) algorithm or with Bayesian approaches. Despite good results on synthetic data, the validity of the variational approximation is however not established. Moreover, the behavior of the maximum likelihood or of the maximum a posteriori estimators approximated by these procedures is not known in these models, due to the dependency structure on the variables. In this work, we show that in many different affiliation contexts (for binary or weighted graphs), estimators based either on moment equations or on the maximization of some composite likelihood are strongly consistent and $\sqrt{n}$-convergent, where $n$ is the number of nodes. As a consequence, our result establishes that the overall structure of an affiliation model can be caught by the description of the network in terms of its number of triads (order 3 structures) and edges (order 2 structures). We illustrate the efficiency of our method on simulated data and compare its performances with other existing procedures. A data set of cross-citations among economics journals is also analyzed.

研究动机与目标

• 为解决随机图混合模型中由于潜在群体结构导致似然函数难以计算而缺乏变分估计理论保证的问题。
• 在二值图与加权图的随机块模型中，建立估计量的强一致性与 √n 渐近正态性。
• 证明在隶属模型下，网络结构可完全由低阶统计量——即边（阶数2）与三元组（阶数3）——恢复。
• 为现有变分EM与贝叶斯方法提供一个理论基础坚实的替代方案，后者缺乏正式的一致性与渐近正态性结果。

提出的方法

• 利用边与三元组计数的充分统计量导出基于矩的估计方程，以估计模型参数。
• 基于局部依赖结构（如节点三元组）采用复合似然方法，绕过难以计算的完整似然函数。
• 通过一致收敛与等度连续性论证，在弱正则性条件下证明估计量的一致性与渐近正态性。
• 通过复合对数似然导数的泰勒展开建立渐近正态性，证明其收敛至由Godambe信息矩阵决定的正态分布。
• 利用混合密度之间的Kullback-Leibler散度证明在弱正则性假设下真实参数的可识别性与唯一性。
• 依赖于边分布函数 f(·, θ) 的连续性与光滑性，以及参数空间上的统一收敛性，以确保方法的稳健性。

实验结果

研究问题

• RQ1 能否在不依赖变分近似的情况下，为随机图混合模型构造一致且渐近正态的估计量？
• RQ2 在隶属模型中，网络整体结构是否仅通过边与三元组统计量即可完全恢复？
• RQ3 基于矩方程或复合似然的估计量在依赖网络模型中的理论性质——一致性与收敛速度——如何？
• RQ4 这些估计量的渐近行为与缺乏正式理论验证的变分EM或MAP方法相比有何差异？

主要发现

• 所提出的基于矩方程与复合似然的估计量在一般隶属模型下，对二值图与加权图均具有强一致性与 √n 收敛性。
• 估计量的渐近分布为正态分布，其极限方差由Godambe信息矩阵的逆给出，证实了其在极限下的效率。
• 网络结构完全由边（阶数2）与三元组（阶数3）统计量表征，意味着更高阶结构对模型识别不再提供新信息。
• 即使由于潜在群体归属导致完整似然不可计算，估计量仍能达到 √n 一致性，解决了该领域一个关键的理论空白。
• 在各群体比例相等的情况下，收敛速度提升至 1/n，表明在对称设置下估计速度更快。
• 该方法在模拟数据与真实世界经济学期刊间的交叉引文网络上得到验证，性能显著优于现有方法。