[论文解读] Priming bias versus post-treatment bias in experimental designs

Matthew Blackwell, Jacob Brown+3 more|arXiv (Cornell University)|Jun 2, 2023

Advanced Causal Inference Techniques被引用 6

一句话总结

本文研究了在调查实验中，预处理混杂变量测量引发的启动偏差（priming bias）与处理后混杂变量影响引发的后处理偏差（post-treatment bias）之间的权衡。文章提出了非参数边界和敏感性分析方法，以评估不同测量时间设计下交互作用估计的稳健性，表明即使存在微小的后处理偏差，也可能在实证应用中显著扩大置信区间。

ABSTRACT

Conditioning on variables affected by treatment can induce post-treatment bias when estimating causal effects. Although this suggests that researchers should measure potential moderators before administering the treatment in an experiment, doing so may also bias causal effect estimation if the covariate measurement primes respondents to react differently to the treatment. This paper formally analyzes this trade-off between post-treatment and priming biases in three experimental designs that vary when moderators are measured: pre-treatment, post-treatment, or a randomized choice between the two. We derive nonparametric bounds for interactions between the treatment and the moderator under each design and show how to use substantive assumptions to narrow these bounds. These bounds allow researchers to assess the sensitivity of their empirical findings to priming and post-treatment bias. We then apply the proposed methodology to a survey experiment on electoral messaging.

研究动机与目标

• 正式分析实验设计中，由预处理混杂变量测量引发的启动偏差与由处理后混杂变量影响引发的后处理偏差之间的权衡。
• 推导三种设计下（预处理、后处理、混杂变量测量时间随机化）处理与混杂变量交互作用的非参数边界。
• 展示实质性假设——后处理效应的单调性与控制组下混杂变量的稳定性——如何缩小这些边界并改善推断。
• 提出一种敏感性分析程序，通过改变受后处理测量偏差影响的受访者比例 γ，评估实证发现的可信度。
• 将该框架应用于肯尼亚土地政治诉求的调查实验，评估估计的交互效应在稳健性方面的表现。

提出的方法

• 推导在预处理、后处理及混杂变量测量时间随机化设计下，处理与混杂变量交互作用的非参数边界。
• 施加两个实质性假设：(1) 后处理效应的单调性（处理后混杂变量值仅能朝一个方向变化），(2) 控制组下混杂变量的稳定性（测量时间不影响控制组的值）。
• 提出一种敏感性分析，通过变化最大比例 γ（即因后测测量而改变混杂变量值的受访者比例），评估边界随 γ 的变化情况。
• 利用观测到的混杂变量（土地不安全）在预测和后测中的分布，为 γ 设定下界，该下界随后作为敏感性分析的起点。
• 将边界和敏感性分析应用于肯尼亚土地政治诉求的真实调查实验，使用边界上的 95% 置信区间进行推断。
• 采用基于随机化的思路估计随机测量时间设计下的边界，以实现不同设计之间的比较。

Figure 1: Estimates of treatment-moderator interaction using pre-test, post-test, and combined data.

实验结果

研究问题

• RQ1 在预处理、后处理和混杂变量测量时间随机化设计下，处理与混杂变量交互作用的非参数边界有何不同？
• RQ2 在何种程度上，实质性假设（后处理效应的单调性与控制组下混杂变量的稳定性）能够缩小交互作用的非参数边界？
• RQ3 边界对后处理偏差的敏感程度如何？后处理偏差以因后测测量而改变混杂变量值的受访者比例 γ 衡量，其对边界的影响如何？
• RQ4 当混杂变量在处理前测量时，启动偏差对因果效应估计有何影响？该影响如何通过敏感性分析进行评估？
• RQ5 研究人员如何利用敏感性分析评估在存在后处理偏差或启动偏差时，交互作用估计的可信度？

主要发现

• 土地政治诉求与土地不安全之间交互作用的非参数边界对后处理偏差极为敏感，当 γ ≤ 0.07 时，下界跨过零点。
• 即使在最小可行 γ（0.02）下，边界上的 95% 置信区间仍包含零，表明在合理假设下，估计的交互效应在统计上不显著。
• 当 γ 为最小值（0.02）时，边界为 [0.38, 0.64]；当 γ 增加至 0.12（基于受冲突影响的合理受访者子集），边界扩大至 [-1.02, 1.14]，宽度扩大了八倍。
• 敏感性分析表明，当 γ > 0.5 后边界趋于稳定，但最关键的变动发生在 γ 的低值区域，凸显了对偏差大小做出合理假设的重要性。
• 后测设计下的边界显著宽于朴素的 OLS 估计（后者报告的交互效应为正值，p ≈ 0.05，接近统计显著）。
• 实质性知识表明，仅约 12% 的受访者（即有先前族裔冲突经历且初始土地不安全程度中等者）可能受后测测量影响，但这一小部分群体仍导致推断中存在显著不确定性。

Figure 2: Comparing non-parametric bounds under different assumptions