[论文解读] Sampling bias due to structural heterogeneity and limited internal diffusion

Jukka‐Pekka Onnela, Neil F. Johnson+3 more|arXiv (Cornell University)|Jul 28, 2008

Health and Conflict Studies被引用 2

一句话总结

本文识别出在结构异质性系统中，由于社区间扩散受限，导致采样偏差；提出一种通用的校正框架，以量化并校正此类偏差。应用于伊拉克冲突死亡率调查时，该方法揭示了因结构和扩散约束导致的死亡人数显著高估。

ABSTRACT

Complex systems research is becomingly increasingly data-driven, particularly in the social and biological domains. Many of the systems from which sample data are collected feature structural heterogeneity at the mesoscopic scale (i.e. communities) and limited inter-community diffusion. Here we show that the interplay between these two features can yield a significant bias in the global characteristics inferred from the data. We present a general framework to quantify this bias, and derive an explicit corrective factor for a wide class of systems. Applying our analysis to a recent high-profile survey of conflict mortality in Iraq suggests a significant overestimate of deaths.

研究动机与目标

• 研究结构异质性与有限的社区间扩散如何共同扭曲数据驱动的复杂系统中的全局推断。
• 识别并量化由这些结构和动态约束引发的先前被忽视的采样偏差。
• 开发一种适用于具有社区结构和受限扩散的广泛系统类别的通用校正因子。

提出的方法

• 将系统形式化为具有中观社区和有限社区间转移的网络。
• 推导出用于建模因社区间访问不均导致的采样偏差的数学框架。
• 基于随机游走和扩散过程，提出一种基于社区相对大小和连通性的校正因子。
• 通过在不同扩散约束下模拟采样，将该框架应用于现实世界数据。
• 使用具有已知真实特征的合成网络验证该方法。
• 将校正方法应用于一项具有高度影响力的伊拉克冲突死亡率调查，以评估报告死亡人数中的偏差。

实验结果

研究问题

• RQ1 复杂系统中的结构异质性如何影响采样数据的代表性？
• RQ2 有限的社区间扩散在多大程度上放大了全局系统特征中的采样偏差？
• RQ3 能否推导出一种通用校正因子，以校正由社区结构和受限扩散引发的偏差？
• RQ4 这种偏差如何影响现实世界估计，例如伊拉克的冲突死亡率？
• RQ5 若忽略此偏差，经验调查中会导致多大程度的高估？

主要发现

• 结构异质性与有限扩散的相互作用产生系统性偏差，导致全局系统属性的估计被高估。
• 所提出的校正因子在具有已知真实值的合成网络中有效减少了偏差。
• 将该方法应用于伊拉克冲突死亡率调查，揭示了由于采样偏差导致死亡人数被显著高估。
• 高估的幅度在数量上相当可观，表明未经校正的数据可能无法准确反映真实系统状态。
• 该框架可推广至广泛表现出社区结构和受限扩散的系统类别。