[论文解读] Sampling Content Distributed Over Graphs

Pinghui Wang, Junzhou Zhao+3 more|arXiv (Cornell University)|Nov 13, 2013

Caching and Content Delivery参考文献 26被引用 4

一句话总结

本文提出了两种高效且渐近无偏的估计器——特殊副本估计器（SCE）和加权副本估计器（WCE）——以准确估计大规模图中因内容在顶点间复制而导致的分布情况。与朴素采样方法相比，后者因高复制内容在样本中被过度代表而引入严重偏差；而SCE和WCE则利用采样内容的元数据来校正此类偏差，实验表明WCE在准确性方面表现更优。

ABSTRACT

Despite recent effort to estimate topology characteristics of large graphs (i.e., online social networks and peer-to-peer networks), little attention has been given to develop a formal methodology to characterize the vast amount of content distributed over these networks. Due to the large scale nature of these networks, exhaustive enumeration of this content is computationally prohibitive. In this paper, we show how one can obtain content properties by sampling only a small fraction of vertices. We first show that when sampling is naively applied, this can produce a huge bias in content statistics (i.e., average number of content duplications). To remove this bias, one may use maximum likelihood estimation to estimate content characteristics. However our experimental results show that one needs to sample most vertices in the graph to obtain accurate statistics using such a method. To address this challenge, we propose two efficient estimators: special copy estimator (SCE) and weighted copy estimator (WCE) to measure content characteristics using available information in sampled contents. SCE uses the special content copy indicator to compute the estimate, while WCE derives the estimate based on meta-information in sampled vertices. We perform experiments to show WCE and SCE are cost effective and also ``{\em asymptotically unbiased}''. Our methodology provides a new tool for researchers to efficiently query content distributed in large scale networks.

研究动机与目标

• 解决在在线社交网络和P2P系统等大规模网络中估计内容特征（如复制程度、文件类型）的挑战。
• 指出朴素采样方法因高复制内容在样本中被过度代表，导致严重偏差。
• 克服最大似然估计（MLE）的局限性，后者为获得准确性需采样几乎全部顶点。
• 设计高效、低成本的估计器，利用采样内容的可用元数据，实现准确且渐近无偏的估计。
• 提供一种正式的方法论，用于测量大规模图中的内容分布，填补现有图采样研究集中于拓扑结构而非内容的空白。

提出的方法

• 提出特殊副本估计器（SCE），利用指示变量判断采样内容副本是否为源文件，从而基于副本来源实现偏差校正。
• 引入加权副本估计器（WCE），利用采样顶点的元信息（如副本数量、源标识）分配权重，以减少估计偏差。
• 将内容分布估计建模为统计推断问题，目标是估计图中具有标签lk的内容所占比例ωk。
• 以最大似然估计（MLE）作为偏差校正的基线，但表明其因采样需求过高而不切实际。
• 证明SCE和WCE均为渐近无偏，即随着样本量增加，估计误差趋于减小。
• 在真实数据集（如新浪微博微博、P2P网络）上应用估计器，验证其性能与鲁棒性。

实验结果

研究问题

• RQ1 朴素采样在估计内容复制程度时如何引入内容统计偏差？
• RQ2 尽管理论上无偏，为何最大似然估计（MLE）在大规模图中内容分布估计中表现不佳？
• RQ3 我们能否设计出仅利用采样内容元数据即可校正采样偏差的高效估计器？
• RQ4 在不同类型的图中，SCE与WCE在估计内容分布时的准确性与效率如何比较？
• RQ5 与传统图采样方法相比，WCE与SCE在最小采样量下能将估计误差降低到何种程度？

主要发现

• 朴素采样在内容统计中引入显著偏差，尤其高估高度复制内容的普遍性。
• 最大似然估计（MLE）虽可校正偏差，但需采样图中几乎全部顶点才能达到可接受的准确性，因此在大规模网络中不切实际。
• 所提出的加权副本估计器（WCE）在所有评估数据集中均优于特殊副本估计器（SCE）的准确性。
• WCE实现渐近无偏性，即随着样本量增加，估计误差收敛至零。
• 新浪微博实验表明，来自youku.com和tudou.com的视频微博平均转发数（分别为5.57和9.87）与回复数（分别为9.68和13.73）显著更高，表明存在显著的外部内容影响。
• 研究表明，使用WCE进行内容分布估计，其准确性优于传统采样方法（如BFS、RW和MHRW）在测量大规模图中内容级指标时的表现。