[论文解读] Should We Adjust for the Test for Pre-trends in Difference-in-Difference Designs?

Jonathan Roth|arXiv (Cornell University)|Apr 3, 2018

Advanced Causal Inference Techniques被引用 8

一句话总结

本文表明，当推断基于通过事前趋势检验时，标准双重差分（DiD）估计量存在偏差，尤其是在存在真实事前趋势但未被检测到的情况下。本文提出了两种新估计量——中位数无偏估计量和截断正态置信区间——以校正事前检验条件下的偏差，即使在总体中平行趋势不成立的情况下也能恢复有效的推断。

ABSTRACT

The common practice in difference-in-difference (DiD) designs is to check for parallel trends prior to treatment assignment, yet typical estimation and inference does not account for the fact that this test has occurred. I analyze the properties of the traditional DiD estimator conditional on having passed (i.e. not rejected) the test for parallel pre-trends. When the DiD design is valid and the test for pre-trends confirms it, the typical DiD estimator is unbiased, but traditional standard errors are overly conservative. Additionally, there exists an alternative unbiased estimator that is more efficient than the traditional DiD estimator under parallel trends. However, when in population there is a non-zero pre-trend but we fail to reject the hypothesis of parallel pre-trends, the DiD estimator is generally biased relative to the population DiD coefficient. Moreover, if the trend is monotone, then under reasonable assumptions the bias from conditioning exacerbates the bias relative to the true treatment effect. I propose new estimation and inference procedures that account for the test for parallel trends, and compare their performance to that of the traditional estimator in a Monte Carlo simulation.

研究动机与目标

• 调查当推断基于通过事前趋势检验时，传统DiD估计量是否仍保持无偏性和有效性。
• 考察当真实事前趋势存在但未被检测到时，对事前趋势检验失败的条件所造成的影响。
• 开发考虑事前检验的DiD设计中的新估计与推断程序。
• 在平行趋势假设成立与不成立的情况下，比较调整后估计量与传统DiD估计量的表现。
• 提醒研究者避免过度依赖事前趋势检验作为DiD设计的有效性验证，尤其是在检验功效较低时。

提出的方法

• 提出一种中位数无偏估计量，其条件基于事前趋势检验未能拒绝平行趋势原假设的事件。
• 引入一种针对事后处理系数的截断正态置信区间，以校正事前检验条件的影响。
• 使用蒙特卡洛模拟比较在平行趋势假设正确与错误时，调整后与传统估计量的表现。
• 推导在未拒绝事前趋势原假设条件下，传统DiD估计量的有限样本偏差，表明当趋势单调时偏差会加剧。
• 在无事前趋势的假设下，推导出最优无偏估计量，其效率高于传统DiD估计量。
• 采用条件似然框架构建估计量和置信区间，确保在事前检验条件下的名义覆盖水平。

实验结果

研究问题

• RQ1 当推断基于通过事前趋势检验时，传统DiD估计量是否仍保持无偏？
• RQ2 当真实事前趋势存在但未被检测到时，对事前趋势检验失败的条件如何影响DiD估计量的偏差？
• RQ3 我们能否构建在事前趋势检验结果条件下保持无偏且具有有效覆盖的估计量？
• RQ4 事前趋势检验的统计功效在实践中如何影响DiD估计的可靠性？
• RQ5 在使用考虑事前检验条件的调整估计量时，精度与有效性之间的权衡是什么？

主要发现

• 当总体中平行趋势成立时，传统DiD估计量在通过事前趋势检验的条件下仍保持无偏，但其标准误过于保守。
• 存在一种替代的无偏估计量，在平行趋势假设下比传统DiD估计量更高效。
• 当存在非零事前趋势但未被检测到（即事前检验未能拒绝原假设）时，传统DiD估计量通常相对于真实处理效应存在偏差。
• 在趋势单调的情况下，对事前检验结果的条件处理会加剧已有的偏差，使估计结果比未条件处理时更具误导性。
• 所提出的截断正态置信区间（$CI^{TN}_{eta}$）在所有模拟情景下均实现了对总体DiD系数的近似名义覆盖。
• 当基于较少的事前趋势期进行条件处理时，调整后置信区间的中位宽度大于传统区间；但当条件处理基于超过六期时，差距缩小，甚至可能出现反转。