[论文解读] Unbiased Estimation and Sensitivity Analysis for Network-Specific Spillover Effects: Application to An Online Network Experiment

Naoki Egami|arXiv (Cornell University)|Aug 28, 2017

Social Capital and Networks被引用 7

一句话总结

本文为在线实验中特定于网络的溢出效应开发了偏差校正估计与敏感性分析方法，解决了未观测到的线下网络对标准估计器造成的偏差问题。文章推导出在线网络溢出效应的精确偏差表达式，并应用非参数与参数敏感性分析，表明在一次真实的政党动员实验中，Twitter特定的溢出效应估计值对未观测到的面对面网络极为敏感。

ABSTRACT

Online network experiments have become widely-used methods to estimate spillover effects and study online social influence. In such experiments, the spillover effects often arise not only through an online network of interest but also through a face-to-face network. Social scientists are therefore often interested in measuring the importance of online human interactions by estimating the spillover effects specific to the online network, separately from spillover effects attributable to the offline network. However, the unbiased estimation of these network-specific spillover effects requires an often-violated assumption that researchers observe all relevant networks; they cannot observe the offline network in many applications. In this paper, we derive an exact expression of bias due to unobserved networks. Unlike the conventional omitted variable bias, this bias for the network-specific spillover effect remains even when treatment assignment is randomized and when unobserved networks and the network of interest are independently generated. By incorporating this bias into the estimation, we also develop parametric and nonparametric sensitivity analysis methods, with which researchers can examine the robustness of empirical findings to the possible existence of unmeasured networks. We analyze a political mobilization experiment on the Twitter network and find that an estimate of the Twitter-specific spillover effect is sensitive to assumptions about an unobserved face-to-face network.

研究动机与目标

• 解决在存在未观测到的线下网络干扰结果时，估计在线实验中特定于网络的溢出效应的挑战。
• 识别并量化未观测网络对在线网络溢出效应估计所引入的偏差。
• 开发敏感性分析方法，使研究者能够评估实证发现对未测量网络结构的稳健性。
• 为研究者提供一个框架，以评估在线社交影响相对于线下社交影响的重要性。

提出的方法

• 推导出由于未观测网络导致特定于网络的溢出效应估计偏差的精确数学表达式，该表达式与传统的遗漏变量偏差不同。
• 提出参数与非参数敏感性分析方法，将推导出的偏差表达式整合其中，以在不同关于未观测网络的假设下测试发现的稳健性。
• 使用潜在结果框架对多个网络中的溢出效应进行建模，包括已观测到的在线网络和未观测到的线下网络。
• 将偏差校正与敏感性分析应用于一次具有随机处理分配的真实世界基于Twitter的政治动员实验。
• 形式化了未观测网络与已观测网络在统计上独立的假设，表明即使在随机化条件下偏差依然存在。
• 将偏差表达式整合到估计程序中，使研究者能够评估其结果对合理未观测网络结构的敏感程度。

实验结果

研究问题

• RQ1 在随机化在线实验中，未观测到的线下网络如何导致在线特定网络溢出效应估计的偏差？
• RQ2 在对未观测到的面对面网络做出合理假设时，对在线溢出效应的实证估计在多大程度上是稳健的？
• RQ3 能否开发出敏感性分析方法，以量化未观测网络对特定于网络的溢出效应估计的影响？
• RQ4 当处理分配为随机化且网络独立生成时，未观测网络引入的偏差量级是多少？
• RQ5 所提出的偏差校正与敏感性分析方法在真实世界的在线社交实验中表现如何？

主要发现

• 即使在处理分配为随机化且网络独立生成的情况下，未观测到的线下网络对在线特定网络溢出效应估计的偏差依然存在。
• 推导出的偏差表达式与传统遗漏变量偏差不同，在标准实验条件下仍保持非零。
• 敏感性分析表明，在政治动员实验中，Twitter特定溢出效应的估计值对未观测面对面网络的假设极为敏感。
• 参数与非参数敏感性分析方法成功量化了发现对未观测网络结构的稳健性。
• Twitter实验的实证结果表明，在对未观测线下互动做出合理假设时，关于在线社交影响的结论可能被完全反转。
• 本研究强调了在解释在线实验中特定于网络的溢出效应时，必须考虑未观测网络的关键重要性。