[论文解读] The Bayesian Synthetic Control: Improved Counterfactual Estimation in the Social Sciences through Probabilistic Modeling

Elias Tuomaala|arXiv (Cornell University)|Oct 14, 2019

Advanced Causal Inference Techniques参考文献 13被引用 4

一句话总结

该论文提出了贝叶斯合成控制（BSC），一种概率框架，通过用分层贝叶斯模型替代频率学派的合成控制方法（SCM），改进了社会科学中的反事实估计。BSC利用马尔可夫链蒙特卡洛（MCMC）采样来估计潜在因子，并通过后验分布显式建模不确定性，从而实现有效的有限样本可信区间并减少过拟合。实证应用显示，其预测准确性有所提高，且在统计显著性方面的结论与SCM存在差异。

ABSTRACT

Social scientists often study how a policy reform impacted a single targeted country. Increasingly, this is done with the synthetic control method (SCM). SCM models the country's counterfactual (non-reform or untreated) trajectory as a weighted average of other countries' outcomes. The method struggles to quantify uncertainty; eg. it cannot produce confidence intervals. It is also suspect to overfit. We propose an alternative method, the Bayesian synthetic control (BSC), which lacks these flaws. Using MCMC sampling, we implement the method for two previously studied datasets. The proposed method outperforms SCM in a simple test of predictive accuracy and casts some doubt on significance of prior findings. The studied reforms are the German reunification of 1990 and the California tobacco legislation of 1988. BSC borrows its causal model, the linear latent factor model, from the SCM literature. Unlike SCM, BSC estimates the latent factors explicitly through a dimensionality reduction. All uncertainty is captured in the posterior distribution so that, unlike for SCM, credible intervals are easily derived. Further, BSC's reliability on the target panel dataset can be assessed through a posterior predictive check; SCM and its frequentist derivatives use up the required information while testing statistical significance.

研究动机与目标

• 解决合成控制方法（SCM）的局限性，特别是其无法量化不确定性以及易受过拟合影响的问题。
• 开发一种贝叶斯框架，通过完整的后验推断对处理效应进行建模，实现在有限样本中计算可信区间与不确定性量化。
• 通过后验预测检查与重标记技术改进模型验证，这些方法在频率学派SCM中不可用。
• 通过两个真实世界应用展示该方法的实际效用：1990年德国统一与1988年加州提案99号。
• 表明BSC可能得出与以往基于SCM的研究不同的统计显著性结论，凸显因果推断中的方法论敏感性。

提出的方法

• BSC采用与SCM相同的线性潜在因子模型作为因果结构，但通过降维方法显式估计潜在因子。
• 该方法使用分层贝叶斯模型联合估计处理效应与潜在因子轨迹，并通过先验分布对估计进行正则化。
• 采用马尔可夫链蒙特卡洛（MCMC）采样从完整后验分布中抽样，实现不确定性量化与可信区间计算。
• 通过后验预测检查与重标记技术评估模型有效性，这些方法用于检验在拟合后的后验分布下，模型是否能再现观测数据。
• 潜在因子数量通过WAIC（Watanabe-Akaike信息准则）选择，尽管论文指出贝叶斯模型平均会更优。
• 该框架通过将缺失值视为额外的处理单位，自然地处理缺失数据，从而增强数据灵活性。

实验结果

研究问题

• RQ1 在真实世界应用中，贝叶斯合成控制方法是否比频率学派的合成控制方法产生更准确的反事实预测？
• RQ2 贝叶斯方法能否为处理效应提供有效的有限样本可信区间，而SCM无法做到？
• RQ3 在德国统一与加州提案99号案例中，BSC方法对统计显著性的评估与以往基于SCM的研究结果相比如何？
• RQ4 后验预测检查与重标记技术在合成控制设定中能在多大程度上改善模型验证？
• RQ5 BSC框架能否在不重新实现的情况下扩展以处理多个处理单位或缺失数据？

主要发现

• 在德国统一案例中，BSC在简单的预测准确性检验中优于SCM，表明频率学派方法可能存在过拟合。
• 在加州提案99号案例中，BSC发现大多数改革后时期处理效应不显著，与Abadie等人（2015）的结论相矛盾，但与Ben-Michael等人（2018）一致，即不支持显著性。
• 到2000年，BSC发现处理效应仅略为显著，表明其累积效应仅在长时间尺度下才具有统计可检测性。
• BSC的后验预测检查显示，模型能够合理地再现观测数据，支持了德国统一案例中的模型有效性。
• BSC的可信区间在有限样本中有效，而SCM依赖渐近置信区间，因此BSC在小样本政策评估中更具可靠性。
• 该方法展示了计算上的可行性与灵活性，包括通过将缺失数据视为独立处理单位来处理缺失数据的能力。