[论文解读] What's the Harm? Sharp Bounds on the Fraction Negatively Affected by Treatment

Nathan Kallus|arXiv (Cornell University)|May 20, 2022

Advanced Causal Inference Techniques被引用 4

一句话总结

本文提出了一种基于可观测协变量的治疗负面影响个体比例的紧致边界，利用条件平均处理效应和稳健推断，确保在干扰函数估计缓慢或不一致时仍保持有效性。关键贡献在于提供了一种可信且保守的方法，用于检测A/B测试和政策评估中的潜在伤害，而无需对未观测的反事实进行点识别。

ABSTRACT

The fundamental problem of causal inference -- that we never observe counterfactuals -- prevents us from identifying how many might be negatively affected by a proposed intervention. If, in an A/B test, half of users click (or buy, or watch, or renew, etc.), whether exposed to the standard experience A or a new one B, hypothetically it could be because the change affects no one, because the change positively affects half the user population to go from no-click to click while negatively affecting the other half, or something in between. While unknowable, this impact is clearly of material importance to the decision to implement a change or not, whether due to fairness, long-term, systemic, or operational considerations. We therefore derive the tightest-possible (i.e., sharp) bounds on the fraction negatively affected (and other related estimands) given data with only factual observations, whether experimental or observational. Naturally, the more we can stratify individuals by observable covariates, the tighter the sharp bounds. Since these bounds involve unknown functions that must be learned from data, we develop a robust inference algorithm that is efficient almost regardless of how and how fast these functions are learned, remains consistent when some are mislearned, and still gives valid conservative bounds when most are mislearned. Our methodology altogether therefore strongly supports credible conclusions: it avoids spuriously point-identifying this unknowable impact, focusing on the best bounds instead, and it permits exceedingly robust inference on these. We demonstrate our method in simulation studies and in a case study of career counseling for the unemployed.

研究动机与目标

• 为解决因果推断的根本问题中一个关键但不可识别的问题——量化治疗可能伤害的个体数量，尽管存在因果推断的根本难题。
• 基于可观测的基线协变量，推导出最紧致（尖锐）的负面影响比例（FNA）边界，优于仅依赖实验数据的粗略边界。
• 开发一种稳健推断框架，即使在复杂干扰函数（如CATE）估计缓慢或不一致时，仍保持有效性和校准性。
• 支持在在线平台变更和社福计划等现实应用中，对潜在伤害做出可信且保守的结论。
• 通过关注边界而非点估计，实现在平均处理效应为零时仍能检测到实际伤害。

提出的方法

• 基于可观测协变量X，利用Fréchet-Hoeffding边界框架推导FNA的尖锐边界，以收紧识别区间。
• 将个体处理效应（ITE）建模为Y*(1) - Y*(0)，其中Y* ∈ {0,1}，并将FNA定义为ITE < 0的概率。
• 利用条件平均处理效应（CATE）函数τ(x) = E[Y*(1) - Y*(0) | X = x]对个体进行分层，以提升边界的紧致性。
• 开发一种稳健推断程序，为边界构造置信区间，同时考虑抽样误差，并在干扰函数估计缓慢或不一致时保持有效性。
• 采用半参数推断技术，即使大多数干扰函数被错误学习，仍保持一致性和保守性。
• 应用重加权方法，以校正数据不代表目标总体时的潜在选择偏差。

实验结果

研究问题

• RQ1 在仅有事实观测和可观测协变量的前提下，个体中负面影响比例的最紧致边界是什么？
• RQ2 当干扰函数（如CATE）以未知或缓慢收敛速率从数据中估计时，如何为这些边界构造有效的置信区间？
• RQ3 即使平均处理效应为零，我们能否检测到实际伤害的存在（即FNA的下界非零）？
• RQ4 与无条件边界相比，纳入协变量信息在多大程度上能提升FNA边界紧致性？
• RQ5 当关键函数以缓慢速率不一致或非参数方式学习时，我们的推断框架在多大程度上仍能保持有效性和保守性？

主要发现

• 在协变量X上分层后，FNA的尖锐边界显著更紧，尤其当X对处理效应具有预测能力（β > 0）时，模拟研究已证实此结果。
• FNA的下界恰好等于τ(x) ≤ 0的子群上平均处理效应的相反数，直接建立了子群ATE与最小伤害之间的联系。
• 即使干扰函数以非参数方式估计，置信区间对边界的覆盖概率在不同样本量n下仍保持在约95%，表现稳健。
• 该方法可实现无懈可击的伤害证明：若FNA的下界严格为正，则人群中必然存在伤害，无论点估计结果如何。
• 在法国再就业援助案例研究中，加入协变量的边界明显比不加时更紧，揭示了即使平均效应接近零，仍存在显著潜在伤害。
• 即使大多数干扰函数被错误学习，稳健推断程序仍保持有效性和保守性，确保对潜在伤害结论的可信度。