[论文解读] Network driven sampling; a critical threshold for design effects

Karl Rohe|arXiv (Cornell University)|May 20, 2015

HIV, Drug Use, Sexual Risk参考文献 40被引用 10

一句话总结

本文提出了网络驱动抽样（如应答者驱动抽样）中设计效应的关键阈值，表明当推荐率超过 $1/\lambda_2^2$ 时，标准误的衰减速率低于 $1/\sqrt{n}$，从而使得传统推断方法失效。通过在社交网络上建立马尔可夫链模型，推导出该阈值以上时设计效应趋于无界，因此需要采用新型重抽样方法以获得准确的置信区间。

ABSTRACT

Web crawling, snowball sampling, and respondent-driven sampling (RDS) are three types of network sampling techniques used to contact individuals in hard-to-reach populations. This paper studies these procedures as a Markov process on the social network that is indexed by a tree. Each node in this tree corresponds to an observation and each edge in the tree corresponds to a referral. Indexing with a tree (instead of a chain) allows for the sampled units to refer multiple future units into the sample. In survey sampling, the design effect characterizes the additional variance induced by a novel sampling strategy. If the design effect is some value $DE$, then constructing an estimator from the novel design makes the variance of the estimator $DE$ times greater than it would be under a simple random sample with the same sample size $n$. Under certain assumptions on the referral tree, the design effect of network sampling has a critical threshold that is a function of the referral rate $m$ and the clustering structure in the social network, represented by the second eigenvalue of the Markov transition matrix, $λ_2$. If $m < 1/λ_2^2$, then the design effect is finite (i.e. the standard estimator is $\sqrt{n}$-consistent). However, if $m > 1/λ_2^2$, then the design effect grows with $n$ (i.e. the standard estimator is no longer $\sqrt{n}$-consistent). Past this critical threshold, the standard error of the estimator converges at the slower rate of $n^{\log_m λ_2}$. The Markov model allows for nodes to be resampled; computational results show that the findings hold in without-replacement sampling. To estimate confidence intervals that adapt to the correct level of uncertainty, a novel resampling procedure is proposed. Computational experiments compare this procedure to previous techniques.

研究动机与目标

• 严格分析网络驱动抽样中设计效应的渐近行为，特别是应答者驱动抽样（RDS）中的情况。
• 识别推荐率 $m$ 与网络聚类（通过马尔可夫转移矩阵的第二特征值 $\lambda_2$ 表征）之间的关键阈值，以判断标准估计量是否保持 $\sqrt{n}$-一致性。
• 解决当设计效应随样本量增长时，传统自助法无法捕捉真实不确定性的原因。
• 提出一种新型重抽样程序——树自助法（tree-bootstrap），可自适应于高方差区域的正确收敛速率。
• 通过在有放回与无放回抽样假设下的计算实验，验证理论结果。

提出的方法

• 将网络抽样建模为基于推荐树的马尔可夫过程，其中每个节点向其朋友子集随机推荐，通过树结构索引以支持多重推荐。
• 基于转移矩阵 $P$ 及其特征值，推导出定理 2.1 中 RDS 估计量的精确方差公式。
• 利用谱图论确定关键阈值 $m > 1/\lambda_2^2$，其中 $\lambda_2$ 反映网络聚类程度；超过该阈值时，设计效应随 $n$ 增长。
• 通过分析节点重抽样速率 $\mathbb{E}(R_n)$，表明当 $m > 1/\lambda_2^2$ 时重抽样频率上升，导致收敛速度变慢。
• 提出一种新型树自助法重抽样方法，考虑树结构与实际收敛速率 $n^{\log_m \lambda_2}$，在高方差区域提升置信区间覆盖效果。
• 通过模拟实验比较有放回树自助法（a-tree-bootstrap）、无放回树自助法（u-tree-bootstrap）、有放回链式自助法（a-chain-bootstrap）与简单自助法（ss-bootstrap），在不同 $\lambda_2$ 和相关性结构下的表现。

实验结果

研究问题

• RQ1 推荐率 $m$ 的关键阈值是什么？该阈值决定了设计效应是否保持有界，还是随样本量 $n$ 增长？
• RQ2 马尔可夫转移矩阵的第二特征值 $\lambda_2$ 如何影响 RDS 估计量的渐近方差与一致性？
• RQ3 为何传统自助法在 $m > 1/\lambda_2^2$ 时无法生成准确的置信区间？
• RQ4 能否设计一种重抽样程序，使其能自适应于设计效应随 $n$ 增长时的较慢收敛速率 $n^{\log_m \lambda_2}$？
• RQ5 该理论框架在实践中常见的无放回抽样条件下是否依然成立？

主要发现

• 当 $m < 1/\lambda_2^2$ 时，设计效应为有界值，标准估计量保持 $\sqrt{n}$-一致性。
• 当 $m > 1/\lambda_2^2$ 时，设计效应随 $n$ 增长，标准误以较慢速率 $n^{\log_m \lambda_2}$ 衰减，导致基于 $\sqrt{n}$ 的推断失效。
• 第二特征值 $\lambda_2$ 反映网络聚类程度；$\lambda_2$ 越高（聚类越强），设计效应膨胀的风险越大。
• 传统自助法（如 a-chain-bootstrap）在高方差区域产生过于狭窄的置信区间，覆盖概率下降至 40–70%。
• 所提出的 a-tree-bootstrap 与 u-tree-bootstrap 方法能检测到较慢收敛速率，并在模拟中实现正确覆盖，例如 $\lambda_2 \approx 0.82$ 时表现良好。
• 理论结果在有放回与无放回抽样条件下均成立，计算实验已验证该结论。