[论文解读] Quick Detection of High-degree Entities in Large Directed Networks

Konstantin Avrachenkov, Nelly Litvak+2 more|arXiv (Cornell University)|Oct 2, 2014

Complex Network Analysis Techniques参考文献 19被引用 5

一句话总结

本文提出了一种两阶段的随机算法，通过使用亚线性数量的API请求，在大规模有向在线社交网络（如Twitter和VKontakte）中高效检测高程度实体。通过利用极值理论，该方法仅用1,000次API请求即可实现超过90%的精确度，识别出被关注最多的前100名用户，其准确性和可扩展性显著优于现有方法。

ABSTRACT

In this paper, we address the problem of quick detection of high-degree entities in large online social networks. Practical importance of this problem is attested by a large number of companies that continuously collect and update statistics about popular entities, usually using the degree of an entity as an approximation of its popularity. We suggest a simple, efficient, and easy to implement two-stage randomized algorithm that provides highly accurate solutions for this problem. For instance, our algorithm needs only one thousand API requests in order to find the top-100 most followed users in Twitter, a network with approximately a billion of registered users, with more than 90% precision. Our algorithm significantly outperforms existing methods and serves many different purposes, such as finding the most popular users or the most popular interest groups in social networks. An important contribution of this work is the analysis of the proposed algorithm using Extreme Value Theory -- a branch of probability that studies extreme events and properties of largest order statistics in random samples. Using this theory, we derive an accurate prediction for the algorithm's performance and show that the number of API requests for finding the top-k most popular entities is sublinear in the number of entities. Moreover, we formally show that the high variability among the entities, expressed through heavy-tailed distributions, is the reason for the algorithm's efficiency. We quantify this phenomenon in a rigorous mathematical way.

研究动机与目标

• 解决在无法完全访问网络的大型在线社交网络中，高效识别高程度节点（如热门用户或兴趣群组）的挑战。
• 减少检测前k名最受欢迎实体所需的昂贵API请求次数，特别是在度分布具有重尾特性的网络中。
• 开发一种实现简单且高度准确的方法，即使在对网络数据访问有限的情况下也能保持高性能。
• 使用极值理论对算法性能进行形式化分析，为其效率和准确性提供理论保证。
• 在不同网络类型及真实社交平台（如Twitter和VKontakte）上，展示该算法的鲁棒性和广泛适用性。

提出的方法

• 该算法采用两阶段流程：首先，以均匀随机方式采样少量节点；其次，通过API查询获取这些采样节点的入度。
• 利用极值理论对入度分布的尾部分布行为进行建模，假设其服从重尾的正则变体分布。
• 通过分析采样入度的极值顺序统计量，利用极值的渐近分布，估计前k名实体的阈值。
• 所需API请求数量为O(N / a(M))，其中a(M) = l(M)M^γ，γ为度分布的尾指数，确保亚线性复杂度。
• 基于极值分布的阈值策略识别出极有可能属于前k名的候选实体，从而最小化漏检。
• 理论分析表明，该方法对参数选择具有鲁棒性，并且在网络规模N和实体数量M上均能高效扩展。

实验结果

研究问题

• RQ1 是否能够通过一种简单且随机的算法，在大规模有向网络中使用远少于N次API请求，检测出高程度实体？
• RQ2 该算法的性能在多大程度上依赖于现实网络中入度分布的重尾特性？
• RQ3 极值理论在多大程度上可用于预测和保证大规模网络中基于采样的检测精度？
• RQ4 该算法的复杂度是否为网络规模的亚线性函数？如果是，其成立条件在度分布上是什么？
• RQ5 该算法能否推广至检测各类社交网络实体（如用户、兴趣群组等）的前驱实体，而不仅限于用户关注数？

主要发现

• 该算法仅使用1,000次API请求，即可在识别Twitter上被关注最多的前100名用户时实现超过90%的精确度，显著优于商业工具如TwitterCounter。
• 对于具有幂律入度分布的网络，所需API请求数量的规模为O(N^{1−γ})，其中γ ∈ (0.3, 1)，实现亚线性复杂度。
• 基于极值理论的理论分析证实，该算法的高效率直接源于网络度分布的重尾特性。
• 该方法对参数变化具有鲁棒性，在尾指数γ未被精确知晓的情况下仍能保持高精度。
• 该算法成功检测出VKontakte中超过2亿用户的网络里最受欢迎的兴趣群组，证明了其可扩展性和泛化能力。
• 极值理论的应用使得对算法性能的预测更加准确，特别是在估计入度样本的极值顺序统计量方面。