[论文解读] Optimal Experimental Design for Staggered Rollouts

Ruoxuan Xiong, Susan Athey+2 more|arXiv (Cornell University)|Nov 9, 2019

Optimal Experimental Design Methods参考文献 42被引用 5

一句话总结

本文提出了一种用于分阶段实施实验的最优实验设计——在处理措施随时间分阶段引入的场景下，采用非自适应与自适应策略，以最大化对瞬时和累积处理效应估计的精度。该研究提出了一种近似最优的非自适应设计，采用S型实施模式，并提出一种新颖的精度引导自适应实验（PGAE）算法，可在自适应停止和处理分配下确保有效的推断，与静态基准相比，将机会成本降低了50%以上。

ABSTRACT

In this paper, we study the design and analysis of experiments conducted on a set of units over multiple time periods where the starting time of the treatment may vary by unit. The design problem involves selecting an initial treatment time for each unit in order to most precisely estimate both the instantaneous and cumulative effects of the treatment. We first consider non-adaptive experiments, where all treatment assignment decisions are made prior to the start of the experiment. For this case, we show that the optimization problem is generally NP-hard, and we propose a near-optimal solution. Under this solution, the fraction entering treatment each period is initially low, then high, and finally low again. Next, we study an adaptive experimental design problem, where both the decision to continue the experiment and treatment assignment decisions are updated after each period's data is collected. For the adaptive case, we propose a new algorithm, the Precision-Guided Adaptive Experiment (PGAE) algorithm, that addresses the challenges at both the design stage and at the stage of estimating treatment effects, ensuring valid post-experiment inference accounting for the adaptive nature of the design. Using realistic settings, we demonstrate that our proposed solutions can reduce the opportunity cost of the experiments by over 50%, compared to static design benchmarks.

研究动机与目标

• 提高在处理措施分阶段引入的面板实验中，对瞬时和累积处理效应估计的精度。
• 解决非自适应实验中的设计挑战，即处理开始时间需预先固定。
• 开发一种自适应实验设计，允许动态处理分配和提前停止，同时保持实验后推断的有效性。
• 通过优化每个时间周期内处理单位的比例和时机，最小化机会成本。
• 在自适应数据收集和估计程序下，确保稳健性和统计有效性。

提出的方法

• 提出一种广义最小二乘（GLS）估计器，用于非平稳结果，以估计瞬时和滞后处理效应。
• 开发一种近似最优的非自适应设计算法，其精度与最优解的乘法因子相差在 $1 + O(1/N^2)$ 以内。
• 引入S型实施模式——初期处理比例低，中期高，末期又降低——并根据潜在协变量定义的分层进行优化。
• 设计精度引导自适应实验（PGAE）算法，利用动态规划根据中期数据自适应选择处理时机。
• 使用动态规划最小化估计精度的期望损失，决策在每个周期数据收集后进行更新。
• 采用基于处理效应估计器方差倒数的损失函数，以指导自适应决策。

实验结果

研究问题

• RQ1 什么是最优的非自适应处理实施时间表，可使瞬时和累积处理效应估计的精度最大化？
• RQ2 如何构建自适应实验设计，以在保持有效推断的同时提高精度并降低机会成本？
• RQ3 S型处理实施模式对分阶段实施实验中估计效率有何影响？
• RQ4 PGAE算法如何在自适应停止和处理分配下确保实验后推断的有效性？
• RQ5 与静态非自适应基准相比，自适应设计在多大程度上可降低机会成本？

主要发现

• 最优非自适应设计具有S型实施模式，初期和末期处理比例较低，中期较高，从而提升估计精度。
• 所提出的非自适应设计在估计精度上与最优可实现精度相差不超过 $1 + O(1/N^2)$。
• PGAE算法可在保持处理效应估计有效统计推断的同时，实现自适应处理分配和提前停止。
• 在现实实验环境中，所提出的自适应与非自适应设计相比静态设计基准，将机会成本降低了50%以上。
• 理论保证表明，在正则条件下，若估计精度超过某一阈值，则真实精度也以高概率超过该阈值。
• 命题9.1证实，在相同条件下，自适应设计的精度高于基准设计，这是由于实现了最优的动态分配。