[论文解读] Policy design in experiments with unknown interference

Davide Viviano, Rudder, Jess|arXiv (Cornell University)|Nov 16, 2020

Advanced Causal Inference Techniques被引用 4

一句话总结

本文提出了在未知干扰条件下进行政策评估的实验设计，其中单位被分组为簇，且存在未观测到的网络交互。该文提出了一项单波实验，用于估计考虑溢出效应的边际处理效应；并提出一项多波实验，以学习福利最大化的处理规则，具有理论保证，并在大规模实地实验中得到实证验证。

ABSTRACT

This paper studies experimental designs for estimation and inference on policies with spillover effects. Units are organized into a finite number of large clusters and interact in unknown ways within each cluster. First, we introduce a single-wave experiment that, by varying the randomization across cluster pairs, estimates the marginal effect of a change in treatment probabilities, taking spillover effects into account. Using the marginal effect, we propose a test for policy optimality. Second, we design a multiple-wave experiment to estimate welfare-maximizing treatment rules. We provide strong theoretical guarantees and an implementation in a large-scale field experiment.

研究动机与目标

• 解决在干扰效应存在但网络结构未知或无法测量时设计政策的挑战。
• 开发在对溢出模式了解有限的情况下，估计福利最大化处理规则的实验方法。
• 为在存在未观测网络干扰的设定下提供推断和政策学习的理论保证。
• 通过在大规模实地实验中实施所提方法，并使用真实世界数据进行验证。
• 弥合标准处理效应估计与在干扰条件下福利最大化政策设计之间的差距。

提出的方法

• 提出一种单波实验，通过在簇对之间改变处理概率，以估计边际效应，同时考虑溢出效应。
• 利用估计的边际效应构建正式的政策最优性检验，检验提高处理概率是否能改善福利。
• 提出一种多波实验设计，通过顺序学习和后悔最小化自适应学习最优处理规则。
• 在多波设计中采用重标定方案，具有收敛性保证，使用阶为 $1/t$ 和 $1/\sqrt{t}$ 的自适应学习率。
• 利用先前研究（如 Cai et al., 2015）的实证数据校准溢出效应，以模拟现实的干扰模式。
• 在巴基斯坦的大规模实地实验中应用该方法，获得IRB批准并完成注册，数据来自Precision Development和巴基斯坦经济研究中心。

实验结果

研究问题

• RQ1 当干扰网络未知且未测量时，实验设计如何估计福利最大化的处理规则？
• RQ2 何种实验设计能够有效推断处理概率变化的边际效应，同时考虑溢出效应？
• RQ3 多波实验设计是否能在后悔和收敛性方面提供理论保证，以学习最优处理规则？
• RQ4 政策最优性检验的统计功效如何随簇大小和簇数量变化？
• RQ5 与基线策略相比，使用所提出的自适应学习方法带来的相对福利提升是多少？

主要发现

• 在不同簇大小和簇数量下，单波实验在5%显著性水平下的覆盖率达到90%–97%，统计功效随簇大小和簇数量增加而提高。
• 在多波实验中，当 $n=600$，$K=20$，$T=20$ 时，方法在样本外平均福利提升高达36.0%，优于最佳竞争方法。
• 各簇中最坏情况的样本内后悔降低至0.294–0.387，表明即使在最不利的簇配置下也具有稳健表现。
• 在模拟实验中，采用 $1/t$ 重标定的自适应学习规则比非自适应的 $1/\sqrt{t}$ 规则收敛更快、后悔更低。
• 当溢出效应较强（$\alpha=0.4$）时，处理概率提高10%带来的相对福利提升最高，拒绝原假设后最高可达24.4%。
• 在基于Alatas et al. (2012) 和 Cai et al. (2015) 实地数据校准的模拟中，该方法成功识别出最优处理规则，证明了其实际应用价值。