[论文解读] On the Propagation of Low-Rate Measurement Error to Subgraph Counts in Large Networks

Prakash Balachandran, Eric D. Kolaczyk+1 more|arXiv (Cornell University)|Sep 19, 2014

Random Matrices and Applications参考文献 12被引用 5

一句话总结

本文研究了网络构建过程中低速率测量误差如何传播至子图计数，特别是边数，表明在独立或弱依赖误差下，估计边数与真实边数之间的差异遵循斯凯勒姆（Skellam）分布。主要贡献是利用斯托恩（Stein）方法对误差传播进行严格的概率表征，证明在低误差率的大规模网络中，斯凯勒姆分布相比正态分布能提供更紧密的近似。

ABSTRACT

Our work in this paper is inspired by a statistical observation that is both elementary and broadly relevant to network analysis in practice -- that the uncertainty in approximating some true network graph $G=(V,E)$ by some estimated graph $\hat{G}=(V,\hat{E})$ manifests as errors in the status of (non)edges that must necessarily propagate to any estimates of network summaries $η(G)$ we seek. Motivated by the common practice of using plug-in estimates $η(\hat{G})$ as proxies for $η(G)$, our focus is on the problem of characterizing the distribution of the discrepancy $D=η(\hat{G}) - η(G)$, in the case where $η(\cdot)$ is a subgraph count. Specifically, we study the fundamental case where the statistic of interest is $|E|$, the number of edges in $G$. Our primary contribution in this paper is to show that in the empirically relevant setting of large graphs with low-rate measurement errors, the distribution of $D_E=|\hat{E}| - |E|$ is well-characterized by a Skellam distribution, when the errors are independent or weakly dependent. Under an assumption of independent errors, we are able to further show conditions under which this characterization is strictly better than that of an appropriate normal distribution. These results derive from our formulation of a general result, quantifying the accuracy with which the difference of two sums of dependent Bernoulli random variables may be approximated by the difference of two independent Poisson random variables, i.e., by a Skellam distribution. This general result is developed through the use of Stein's method, and may be of some general interest. We finish with a discussion of possible extension of our work to subgraph counts $η(G)$ of higher order.

研究动机与目标

• 理解网络构建中的测量误差如何传播至子图计数，特别是边数。
• 正式表征估计值与真实网络子图计数之间差异的分布。
• 建立一个概率框架，用于量化由于边级测量误差导致的网络摘要中的不确定性。
• 比较斯凯勒姆分布与正态分布在近似边数差异时的准确性。
• 将分析扩展至高阶子图计数，提出对边数之外的潜在推广。

提出的方法

• 将差异 $ D_E = | ilde{E}| - |E| $ 建模为两个依赖伯努利随机变量之和的差，表示边存在/不存在的误差。
• 应用斯托恩方法，推导出用斯凯勒姆分布替代两个依赖伯努利和之差时的近似误差的一般界。
• 建立在误差率较低且网络规模较大时，斯凯勒姆近似严格优于正态近似的误差界条件。
• 通过矩表达式和指数尾部近似，推导出近似误差的显式下界。
• 在低误差率假设下进行渐近分析，验证在稀疏和密集网络情形中斯凯勒姆近似的有效性。
• 通过条件矩和截断期望的耦合技术，在斯托恩方法框架内控制误差。

实验结果

研究问题

• RQ1 网络构建中的低速率测量误差如何影响估计边数的分布？
• RQ2 斯凯勒姆分布能否在大规模网络中准确建模真实边数与估计边数之间的差异？
• RQ3 在何种条件下，斯凯勒姆近似优于正态近似用于边数差异？
• RQ4 测量误差的依赖结构如何影响子图计数近似的准确性？
• RQ5 所提出的框架在多大程度上可推广至边数之外的高阶子图计数？

主要发现

• 在独立或弱依赖测量误差下，大规模网络中边数差异 $ D_E = | ilde{E}| - |E| $ 可被斯凯勒姆分布良好近似。
• 当测量误差率较低且网络规模较大时，斯凯勒姆近似提供的误差界严格优于正态近似。
• 推导出近似误差的显式下界，表明在低误差率假设下，误差随网络规模以 $ O(1/ ext{网络规模}) $ 速率渐近衰减。
• 通过斯托恩方法，建立了用斯凯勒姆分布近似两个依赖伯努利和之差的一般结果，并给出了可量化的误差界。
• 该框架在稀疏和密集网络情形下均表现出鲁棒性，误差界依赖于假阳性和假阴性误差率 $ \alpha $ 和 $ \beta $。
• 分析表明，将该框架扩展至高阶子图计数在理论上是可行的，尽管依赖结构的复杂性显著增加。