[论文解读] Sampling-based Estimation of In-degree Distribution with Applications to Directed Complex Networks

Nelson Antunes, Shankar Bhamidi+3 more|arXiv (Cornell University)|Oct 2, 2018

Complex Network Analysis Techniques参考文献 33被引用 4

一句话总结

本文提出一种基于采样的方法，用于在仅可观测出边的情况下，估计大规模有向网络中的入度分布。该方法结合了针对分布主体部分的反演方法与针对尾部的渐近方法，在合成网络和真实网络中，采样率在15%–20%时能够准确恢复完整的入度分布，且在幂律尾部结构中表现更优，尤其在使用30%跳跃率的随机游走采样时表现卓越。

ABSTRACT

The focus of this work is on estimation of the in-degree distribution in directed networks from sampling network nodes or edges. A number of sampling schemes are considered, including random sampling with and without replacement, and several approaches based on random walks with possible jumps. When sampling nodes, it is assumed that only the out-edges of that node are visible, that is, the in-degree of that node is not observed. The suggested estimation of the in-degree distribution is based on two approaches. The inversion approach exploits the relation between the original and sample in-degree distributions, and can estimate the bulk of the in-degree distribution, but not the tail of the distribution. The tail of the in-degree distribution is estimated through an asymptotic approach, which itself has two versions: one assuming a power-law tail and the other for a tail of general form. The two estimation approaches are examined on synthetic and real networks, with good performance results, especially striking for the asymptotic approach.

研究动机与目标

• 在采样过程中仅能观测到出边的情况下，估计大规模有向网络中的入度分布。
• 解决因入度可见性受限而引发的病态逆问题挑战。
• 开发一种稳健的估计框架，能够同时捕捉入度分布的主体与尾部特征。
• 在多种网络拓扑结构（包括幂律与非幂律结构）中评估方法性能。
• 提供一种可扩展、计算高效的算法，适用于现实世界网络，如引文网络、网页网络和金融网络。

提出的方法

• 采用随机顶点采样（RVS）和随机边采样（RES）作为基线方案，以建模采样过程。
• 将估计问题建模为一个线性逆问题，其中采样矩阵将真实的入度分布映射到观测到的样本分布。
• 应用带惩罚的加权最小二乘法，以缓解低采样率下逆问题的病态性。
• 采用基于真实尾部分布与采样尾部分布之间概率等价性的渐近方法。
• 提出两种渐近变体：LINE（假设幂律尾部）与ASYM（无分布假设的尾部分布估计）。
• 使用带跳跃的随机游走模拟现实采样方案，其在极限下收敛于均匀采样。

实验结果

研究问题

• RQ1 当采样节点中仅可观测到出边时，如何可靠地估计入度分布？
• RQ2 何种采样方案（如带跳跃的随机游走）最能保持真实入度分布的结构特征？
• RQ3 在不同类型的网络中，基于反演的估计方法与渐近尾部分布估计方法的性能如何比较？
• RQ4 在低采样率（15%–20%）下，入度分布的完整恢复程度如何？
• RQ5 随机游走中的跳跃率在多大程度上影响尾部分布估计的准确性，特别是在幂律网络中？

主要发现

• 在15%–20%的采样率下，反演方法能准确恢复入度分布的主体部分。
• 渐近方法，特别是假设幂律尾部的LINE方法，在具有重尾入度分布的网络中表现优异。
• 对于幂律网络，采用30%跳跃率的随机游走采样可实现最优的尾部分布估计性能。
• 反演方法对随机游走采样方案及跳跃率的变化具有鲁棒性。
• 结合反演与渐近方法的综合策略，成功在合成网络与真实世界网络（包括Amazon共购买网络与引文网络）中恢复了完整的入度分布。
• 即使在采样过程中无法直接观测入度，该方法仍保持计算高效且有效。