[论文解读] Synthetic Design: An Optimization Approach to Experimental Design with Synthetic Controls

Nick Doudchenko, Khashayar Khosravi+6 more|arXiv (Cornell University)|Dec 1, 2021

Advanced Causal Inference Techniques被引用 6

一句话总结

本文提出了一种基于优化的实验设计框架，联合选择处理单位并计算合成控制权重，以最小化平均处理效应估计中的均方误差。通过混合整数规划，该方法在模拟中优于随机化和标准合成控制方法，利用事前结果数据实现了更低的MSE和更高的统计功效。

ABSTRACT

We investigate the optimal design of experimental studies that have pre-treatment outcome data available. The average treatment effect is estimated as the difference between the weighted average outcomes of the treated and control units. A number of commonly used approaches fit this formulation, including the difference-in-means estimator and a variety of synthetic-control techniques. We propose several methods for choosing the set of treated units in conjunction with the weights. Observing the NP-hardness of the problem, we introduce a mixed-integer programming formulation which selects both the treatment and control sets and unit weightings. We prove that these proposed approaches lead to qualitatively different experimental units being selected for treatment. We use simulations based on publicly available data from the US Bureau of Labor Statistics that show improvements in terms of mean squared error and statistical power when compared to simple and commonly used alternatives such as randomized trials.

研究动机与目标

• 解决在存在事前结果数据但处理分配不固定时最优实验设计的空白。
• 通过联合选择处理单位并计算最优合成控制权重，提升平均处理效应估计的准确性。
• 开发一个统一的框架，整合设计与分析，超越标准随机化或固定控制方法。
• 提供一种计算上可行的、基于优化的替代方案，以替代合成控制设置中启发式或随机的单位选择。

提出的方法

• 将处理单位的联合选择与合成控制权重的计算建模为混合整数规划（MIP），实现对设计与估计的联合优化。
• 提出多种MIP公式，针对不同的估计量：单位处理效应与全局平均处理效应。
• 在目标函数中引入惩罚项，以平衡事前结果的拟合程度与估计精度。
• 采用二次目标函数，最小化事前期的加权平方预测误差之和。
• 引入基于排列的推断程序，以量化不确定性并检验零处理效应的原假设。
• 使用优化求解器求解MIP，计算复杂度被证明为NP难，限制了其在大规模N下的可扩展性。

实验结果

研究问题

• RQ1 联合优化处理单位选择与合成控制权重，是否能比标准方法提供更精确的平均处理效应估计？
• RQ2 所提出的基于MIP的设计与随机实验及固定合成控制方法相比，在均方误差和统计功效方面表现如何？
• RQ3 在计算成本与估计精度方面，单位估计量与全局估计量公式之间存在何种权衡？
• RQ4 在所提出的框架下，如何可靠地量化处理效应估计的不确定性？
• RQ5 实际考虑因素（如惩罚选择与交叉验证）如何影响该方法的性能？

主要发现

• 在模拟中，所提出的基于优化的设计显著降低了与随机差分均值和随机合成控制方法相比的均方误差。
• 该方法在基线方法之上实现了更高的统计功效，尤其在处理效应异质性较强的场景中表现更优。
• 单位公式在同质与异质处理效应下均表现稳健，而全局与随机方法在后者情况下表现较差。
• MIP公式被证明为NP难，证实精确解计算密集，仅适用于中等规模问题（如N=50个单位）。
• 基于排列的推断程序在模拟中保持了正确的检验水平，并相对于合成控制与差分均值估计器提升了统计功效。
• 交叉验证与基于方差的惩罚选择（使用事前样本方差）可实现稳定且有效的正则化参数λ调优。