[论文解读] Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding

Ashesh Rambachan, Amanda Coston+1 more|arXiv (Cornell University)|Dec 19, 2022

Financial Distress and Bankruptcy Prediction被引用 4

一句话总结

本文提出了一套稳健的框架，用于在选择性观测数据中存在未观测混杂因素的情况下，设计和评估预测算法，通过使用灵活的、与协变量相关的潜在结果差异边界。该框架开发了去偏机器学习估计量，用于性能边界（如均方误差、准确率和假阳性率），实现了无需强参数假设即可考虑未测量混杂因素的敏感性分析。

ABSTRACT

Predictive algorithms inform consequential decisions in settings with selective labels: outcomes are observed only for units selected by past decision makers. This creates an identification problem under unobserved confounding -- when selected and unselected units differ in unobserved ways that affect outcomes. We propose a framework for robust design and evaluation of predictive algorithms that bounds how much outcomes may differ between selected and unselected units with the same observed characteristics. These bounds formalize common empirical strategies including proxy outcomes and instrumental variables. Our estimators work across bounding strategies and performance measures such as conditional likelihoods, mean square error, and true/false positive rates. Using administrative data from a large Australian financial institution, we show that varying confounding assumptions substantially affects credit risk predictions and fairness evaluations across income groups.

研究动机与目标

• 解决由于人为决策导致结果选择性观测时，评估预测算法的挑战，其中未观测混杂因素同时影响选择和结果。
• 克服现有方法的局限性，这些方法假设选择过程无混杂，或依赖于对缺失数据的临时插补策略。
• 开发一个通用的可识别性框架，将常见的经验策略（如代理结果和工具变量）形式化为部分识别方法的一部分。
• 在对未观测混杂因素不确定的情况下，实现对预测性能度量（如MSE、准确率、假阳性率）的稳健评估。
• 提供一个敏感性分析框架，使研究者能够评估结论在不同关于未观测混杂因素的合理假设下的变化情况。

提出的方法

• 通过在可观测协变量和已识别的异质性参数条件下，对选定与未选定单位之间潜在结果差异的平均值进行边界约束，形式化可识别性假设。
• 使用一类广义的潜在结果差异均值约束，将先前的敏感性分析方法扩展为基于协变量的条件形式。
• 为预测性能估计量的边界开发去偏机器学习估计量，确保渐近正态性并实现有效的推断。
• 使用机器学习方法灵活地非参数估计异质性函数（如倾向得分、结果回归），以提高估计精度。
• 应用双重/去偏估计方法，以减少边界估计中的偏差，从而在弱正则性条件下实现有效的置信区间。
• 利用识别出的潜在结果差异，构建对均方误差、准确率和假阳性率等性能度量的边界。

实验结果

研究问题

• RQ1 当由于未观测混杂因素导致仅部分单位的结果被观测时，如何对预测算法进行稳健评估？
• RQ2 对未观测混杂因素的不同假设，对信贷评分中的违约风险预测和公平性度量有何影响？
• RQ3 能否开发一个统一的框架，以在部分识别下对选择性观测数据中的MSE和准确率等性能度量进行边界估计？
• RQ4 与无条件边界相比，协变量依赖的边界在提高性能评估的精度和可解释性方面有何优势？
• RQ5 标准插补策略（如代理结果、工具变量）在多大程度上可以被纳入正式的部分识别框架中？

主要发现

• 所提出的方法通过灵活地在识别假设中纳入可观测协变量，对预测性能度量产生了信息丰富的边界。
• 用于边界的去偏机器学习估计量在小样本下表现良好，95%置信区间的经验覆盖率为93.4%至95.0%，适用于样本量从500到2500的情况。
• 在澳大利亚金融数据集中，对未观测混杂因素的不同假设导致违约风险预测发生显著变化，并在敏感群体的信用评分评估中产生明显的差异。
• 该框架支持系统性的敏感性分析，可探索在不同合理水平的未观测混杂因素下，结论的变化情况。
• 该方法将常见经验策略（如代理结果和工具变量）统一并形式化为一个连贯的部分识别框架，实现了推广和形式化。
• 该方法即使在选择过程不满足条件忽略性假设时，也能实现对预测算法的稳健评估，为强忽略性假设提供了一种实用的替代方案。