[论文解读] On the Use of Two-Way Fixed Effects Models for Policy Evaluation During Pandemics

Germain Gauthier|arXiv (Cornell University)|Jun 21, 2021

Advanced Causal Inference Techniques被引用 7

一句话总结

本文挑战了在评估大流行病缓解政策时使用双向固定效应（FE）模型的做法，证明此类模型由于平行趋势假设被违反、未考虑感染率和易感人群的异质性以及随时间变化的处理效应，系统性地存在误设问题。模拟结果显示，处理效应估计值存在显著偏差——有时在大小和符号上均出现偏差——这削弱了在流行病学背景下使用标准双重差分方法的可靠性。

ABSTRACT

In the context of the Covid-19 pandemic, multiple studies rely on two-way fixed effects (FE) models to assess the impact of mitigation policies on health outcomes. Building on the SIRD model of disease transmission, I show that FE models tend to be misspecified for three reasons. First, despite misleading common trends in the pre-treatment period, the parallel trends assumption generally does not hold. Second, heterogeneity in infection rates and infected populations across regions cannot be accounted for by region-specific fixed effects, nor by conditioning on observable time-varying confounders. Third, epidemiological theory predicts heterogeneous treatment effects across regions and over time. Via simulations, I find that the bias resulting from model misspecification can be substantial, in magnitude and sometimes in sign. Overall, my results caution against the use of FE models for mitigation policy evaluation.

研究动机与目标

• 评估双向固定效应（FE）模型在大流行病期间估计缓解政策影响的有效性。
• 调查在疾病传播的易感-感染-康复-死亡（SIRD）模型背景下，平行趋势假设是否成立。
• 检验感染率和易感人群中未观察到的异质性是否破坏FE模型的一致性。
• 评估在区域间和随时间变化的异质性处理效应下，FE模型的表现。
• 提供基于证据的警示，反对在大流行病情境下依赖FE模型进行政策评估。

提出的方法

• 基于SIRD模型构建理论框架，分析大流行病期间疾病传播中的混杂因素。
• 识别出两个关键混杂来源：(1) 不同地区初始感染和易感人群的异质性，以及(2) 由于行为和政策响应导致的随时间变化的感染率。
• 使用在SIRD模型下生成的具有已知处理效应的合成数据进行蒙特卡洛模拟。
• 将具有恒定处理效应的FE线性回归模型与允许处理效应随时间变化的动态事件研究模型进行比较。
• 通过偏差、标准误和均方根误差（RMSE）评估模型表现，涵盖多个因变量：累计病例数、对数病例数和对数病例变化量。
• 引入两种情景：一种为无政策效应（低效政策），另一种为感染率降低10%（高效政策）。

实验结果

研究问题

• RQ1 尽管存在治疗前的共同趋势，SIRD模型背景下平行趋势假设是否仍然成立？
• RQ2 在初始感染和易感人群方面未观察到的异质性在多大程度上导致FE模型对缓解政策效应估计产生偏差？
• RQ3 由行为反应和政策变化驱动的时间变化感染率在多大程度上影响FE模型在政策评估中的有效性？
• RQ4 当处理效应在不同地区和随时间变化时，具有恒定处理效应的FE模型能否可靠估计缓解政策的影响？
• RQ5 在模型误设条件下，事件研究模型与标准FE模型在偏差和精度方面有何比较？

主要发现

• 由于初始流行阶段和感染率中未观察到的异质性，SIRD模型中的平行趋势假设通常被违反，导致标准双重差分估计不可靠。
• 即使实际不存在任何政策效应，FE模型在处理效应估计上仍产生显著偏差，模拟中RMSE范围为34,000至224,000。
• 在政策使感染率降低10%的情景下，FE模型对累计病例对数的点估计为-0.1633，标准误为0.0219，表明估计值极大且不精确。
• 事件研究模型在捕捉政策的‘即时影响’方面表现更优，对累计病例对数的点估计为0.0019，但仍存在高RMSE和模型误设问题。
• 尽管无测量噪声，模拟中的标准误仍较大，表明不确定性主要由模型误设引起，而非抽样变异性。
• 事件研究模型的均方根误差（RMSE）范围为34,069.94至224,595.31，表明即使这些更灵活的模型在未观察到的异质性下也产生不可靠的反事实估计。