[论文解读] Practical Characterization of Large Networks Using Neighborhood Information

Pinghui Wang, Bruno Ribeiro+4 more|arXiv (Cornell University)|Nov 13, 2013

Complex Network Analysis Techniques参考文献 23被引用 7

一句话总结

本文提出了一种基于随机游走的新型采样方法，利用节点查询获取的邻域信息，以可证明的无偏收敛性和更高的精度估计网络特征（如节点和边的标签密度）。通过在不增加额外成本的情况下整合邻居的结构数据，该方法在大型在线社交网络（OSNs）中相较最先进技术将所需样本数减少了4倍。

ABSTRACT

Characterizing large online social networks (OSNs) through node querying is a challenging task. OSNs often impose severe constraints on the query rate, hence limiting the sample size to a small fraction of the total network. Various ad-hoc subgraph sampling methods have been proposed, but many of them give biased estimates and no theoretical basis on the accuracy. In this work, we focus on developing sampling methods for OSNs where querying a node also reveals partial structural information about its neighbors. Our methods are optimized for NoSQL graph databases (if the database can be accessed directly), or utilize Web API available on most major OSNs for graph sampling. We show that our sampling method has provable convergence guarantees on being an unbiased estimator, and it is more accurate than current state-of-the-art methods. We characterize metrics such as node label density estimation and edge label density estimation, two of the most fundamental network characteristics from which other network characteristics can be derived. We evaluate our methods on-the-fly over several live networks using their native APIs. Our simulation studies over a variety of offline datasets show that by including neighborhood information, our method drastically (4-fold) reduces the number of samples required to achieve the same estimation accuracy of state-of-the-art methods.

研究动机与目标

• 解决在查询速率有限且无随机采样原原子的条件下，对大规模在线社交网络（OSNs）进行表征的挑战。
• 克服现有子图采样方法中依赖随机节点采样或边遍历所导致的偏差以及缺乏精度保证的问题。
• 利用节点查询中可轻松获取的邻域信息（如邻居度数、标签）来提升估计精度，且无需额外查询成本。
• 开发一种与NoSQL图数据库和主流OSN的Web API兼容的采样框架，确保实际可部署性。
• 为关键网络度量（如节点和边的标签密度）提供理论上的收敛性和无偏估计保证。

提出的方法

• 将基于随机游走的前沿采样（Frontier Sampling, FS）方法改进，以整合来自节点查询响应的邻域信息。
• 利用邻居数据（如标签、度数）来优化节点标签密度和边标签密度的估计器，从而提高精度。
• 通过仔细调整采样权重以纠正因邻域包含而引入的度数偏差，从而保持可证明的收敛性和无偏估计。
• 将该方法与现有技术（如加权随机游走，例如Kurant等人提出的方法）结合，进一步提升精度。
• 使用真实OSN（如Foursquare和Pinterest）的原生Web API实现估计器，以进行实际评估。
• 将该方法应用于估计真实OSN中的网络属性，如平均路径长度和度分布。

实验结果

研究问题

• RQ1 能否利用节点查询中的邻域信息来提升大规模OSN中网络特征估计的精度？
• RQ2 在随机游走采样框架中引入邻居数据是否能保持无偏估计和收敛性保证？
• RQ3 与最先进方法相比，包含邻域信息可将样本量减少多少？
• RQ4 邻域信息对估计节点和边标签密度等基础度量有何影响？
• RQ5 估计的网络属性（如平均路径长度、度分布）与真实OSN中的已知值相比如何？

主要发现

• 所提方法在达到与最先进方法相同估计精度的前提下，将所需样本数减少了4倍。
• 即使在引入邻域信息的情况下，估计器仍保持可证明的无偏收敛性和精度保证。
• Foursquare的度分布不具有重尾特征，这与某些先前模型的假设相矛盾。
• Foursquare的平均路径长度估计为5.8，介于Twitter（4.1）和MSN Messenger（6.6）之间，验证了该方法的准确性。
• 该方法在多种OSN（包括Foursquare、Pinterest、新浪微博和虾米音乐）中均表现有效，这些平台的API响应中均暴露了邻域数据。
• 该方法与NoSQL图数据库和Web API均兼容，可在真实平台中实现实际部署。