[论文解读] With Malice Towards None: Assessing Uncertainty via Equalized Coverage

Yaniv Romano, Rina Foygel Barber+2 more|arXiv (Cornell University)|Aug 15, 2019

Explainable Artificial Intelligence (XAI)参考文献 36被引用 6

一句话总结

本文提出了一种等覆盖（equalized coverage）方法，这是一种无需分布假设的预测区间构建方法，可确保在不同受保护群体（如种族、性别或族裔）之间实现无偏、均衡的覆盖率，且不依赖于底层预测模型。通过将任何回归算法包装为封装器，该方法保证了有限样本下的有效性，并在真实世界数据上保持了更公平的不确定性估计，优于现有竞争方法。

ABSTRACT

An important factor to guarantee a fair use of data-driven recommendation systems is that we should be able to communicate their uncertainty to decision makers. This can be accomplished by constructing prediction intervals, which provide an intuitive measure of the limits of predictive performance. To support equitable treatment, we force the construction of such intervals to be unbiased in the sense that their coverage must be equal across all protected groups of interest. We present an operational methodology that achieves this goal by offering rigorous distribution-free coverage guarantees holding in finite samples. Our methodology, equalized coverage, is flexible as it can be viewed as a wrapper around any predictive algorithm. We test the applicability of the proposed framework on real data, demonstrating that equalized coverage constructs unbiased prediction intervals, unlike competitive methods.

研究动机与目标

• 通过确保在受保护群体之间实现公平的不确定性量化，解决数据驱动推荐系统中的算法偏见。
• 开发一种实用的、有限样本有效的预测区间构建方法，使其对敏感属性无偏。
• 通过使不确定性估计与群体无关，实现在刑事司法、医疗保健和教育等高风险领域中的公平决策。
• 通过严格评估并缓解不同人口群体间预测性能差异，支持伦理AI。
• 提供一种灵活的框架，可作为封装器应用于任何现有预测模型，而无需重新训练模型。

提出的方法

• 该方法采用一种针对群体覆盖率控制进行调整的符合性推理框架来构建预测区间。
• 它引入了一种重加权方案，通过调整预测区间以确保所有受保护群体的覆盖率概率相等。
• 该方法无需分布假设，并在最小假设下提供有限样本有效性保证。
• 它在校准过程中使用受保护属性，以识别并纠正群体间的覆盖率差异。
• 该算法作为封装器运行：接收任何预测模型的输出，并通过修改预测区间来强制实现等覆盖。
• 它采用基于分位数的校准程序，在保持总体覆盖率的同时，考虑群体特定的预测误差。

实验结果

研究问题

• RQ1 我们能否在不假设特定数据分布的前提下，构建在所有受保护群体间保持相等覆盖率的预测区间？
• RQ2 我们如何确保对某些人口群体的不确定性估计不会系统性地更不可靠或更可靠？
• RQ3 与标准方法相比，基于封装器的方法在不确定性量化公平性方面能提升多少？
• RQ4 在校准过程中使用受保护属性对实现公平覆盖率有何影响？
• RQ5 在涉及种族、性别或族裔等敏感属性的真实世界应用中，等覆盖的表现如何？

主要发现

• 所提出的等覆盖方法在所有受保护群体中均实现了有限样本、无需分布假设的覆盖率保证。
• 在真实世界数据上，等覆盖构建的预测区间显著比竞争方法更公平，后者通常表现出覆盖率差异。
• 该方法在保持高预测准确性的同时，确保了即使在底层模型存在偏见的情况下，各群体的覆盖率也保持平衡。
• 在校准过程中使用受保护属性，可精确检测并纠正覆盖率不平衡，且无需重新训练模型。
• 该框架具有高度灵活性，可应用于任何预测模型，因此在刑事司法、医疗保健和教育等领域的广泛应用成为可能。
• 该方法在保持不同人口子群体间相等覆盖率方面，优于标准符合性预测和其他公平感知方法。