[论文解读] Necessary and Probably Sufficient Test for Finding Valid Instrumental Variables

Amit Sharma|arXiv (Cornell University)|Dec 4, 2018

Economic Policies and Impacts参考文献 2被引用 6

一句话总结

本论文提出了一种贝叶斯模型比较方法——必要且可能充分（NPS）检验，通过比较有效工具变量（IV）和无效工具变量因果模型的边缘似然，评估工具变量的有效性。该方法可在离散变量下实现数据驱动的IV有效性检测，对排除限制违反具有高统计功效，在单调性条件下表现最强，尤其适用于中等至弱强度的工具变量。

ABSTRACT

Can instrumental variables be found from data? While instrumental variable (IV) methods are widely used to identify causal effect, testing their validity from observed data remains a challenge. This is because validity of an IV depends on two assumptions, exclusion and as-if-random, that are largely believed to be untestable from data. In this paper, we show that under certain conditions, testing for instrumental variables is possible. We build upon prior work on necessary tests to derive a test that characterizes the odds of being a valid instrument, thus yielding the name "necessary and probably sufficient". The test works by defining the class of invalid-IV and valid-IV causal models as Bayesian generative models and comparing their marginal likelihood based on observed data. When all variables are discrete, we also provide a method to efficiently compute these marginal likelihoods. We evaluate the test on an extensive set of simulations for binary data, inspired by an open problem for IV testing proposed in past work. We find that the test is most powerful when an instrument follows monotonicity---effect on treatment is either non-decreasing or non-increasing---and has moderate-to-weak strength; incidentally, such instruments are commonly used in observational studies. Among as-if-random and exclusion, it detects exclusion violations with higher power. Applying the test to IVs from two seminal studies on instrumental variables and five recent studies from the American Economic Review shows that many of the instruments may be flawed, at least when all variables are discretized. The proposed test opens the possibility of data-driven validation and search for instrumental variables.

研究动机与目标

• 为解决从观测数据中验证工具变量这一长期存在的挑战，其中标准假设（排除限制和准随机性）通常不可检验。
• 开发一种仅基于观测数据的统计检验方法，以区分有效与无效工具变量，从而摆脱对不可验证领域假设的依赖。
• 为同一数据集中多个工具变量的相对有效性提供系统化、客观的比较与评估准则。
• 探讨在何种条件下IV有效性检验成为可行，特别是当变量为离散且满足单调性时。
• 通过大量模拟和真实世界应用评估该检验的实证性能，揭示广泛使用的工具变量中潜在的缺陷。

提出的方法

• 将有效IV和无效IV因果模型形式化为基于离散随机变量的贝叶斯生成模型。
• 利用狄利克雷积分精确计算离散设定下有效IV和无效IV模型类中观测数据的边缘似然。
• 在准随机性或同时违反排除限制与准随机性条件下，推导边缘似然的闭式表达式，利用伽马函数和狄利克雷积分。
• 使用有效性比值——即有效IV模型与无效IV模型边缘似然之比——作为检验统计量以评估工具变量的有效性。
• 在各种工具变量强度和违反程度配置下，对模拟的二值数据应用NPS检验，以评估其统计功效和稳健性。
• 在结构模型中引入单调性约束，推导理论不等式以指导检验设计并提升检测功效。

实验结果

研究问题

• RQ1 在存在未观测混杂因素的情况下，何种条件下可从观测数据中检验工具变量的有效性？
• RQ2 如何利用贝叶斯模型比较客观评估有效IV模型与无效IV模型的相对合理性？
• RQ3 所提出的检验在检测排除限制和准随机性违反方面的统计功效如何，特别是在单调性条件下？
• RQ4 工具变量强度和单调性如何影响NPS检验的性能？
• RQ5 在使用NPS框架检验时，实证研究中广泛使用的工具变量在多大程度上仍保持有效性？

主要发现

• NPS检验在检测排除限制违反方面具有高统计功效，尤其在工具变量单调且为中等至弱强度时表现突出。
• 在单调性条件下，NPS检验表现最佳，此时工具变量对处理变量的影响在各水平上非递减或非递增。
• 当同时违反排除限制与准随机性条件时，由于利用狄利克雷积分实现边缘似然的闭式计算，NPS检验仍保持强劲性能。
• 基于边缘似然的有效性比值提供了一种有原则且可解释的度量，用于比较工具变量的有效性。
• 将NPS检验应用于《美国经济评论》中的经典与近期研究发现，许多广泛使用的工具变量在离散化后可能无效。
• 该方法实现了数据驱动的工具变量有效性验证与搜索，为定性领域依据的论证提供了一种系统性替代方案。