[论文解读] Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty

Umang Bhatt, Javier Antorán+13 more|arXiv (Cornell University)|Nov 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 196被引用 26

一句话总结

本文提出将不确定性估计作为机器学习中一种关键且互补的算法透明形式，主张通过测量、传达和利用不确定性，可提升公平性、决策质量与信任度。文章提出了量化随机性不确定性（aleatoric）与认知性不确定性（epistemic）的方法，倡导将可视化技术融入机器学习流程，并在医疗保健与疫情预测等实际应用中展示了其价值。

ABSTRACT

Algorithmic transparency entails exposing system properties to various stakeholders for purposes that include understanding, improving, and contesting predictions. Until now, most research into algorithmic transparency has predominantly focused on explainability. Explainability attempts to provide reasons for a machine learning model's behavior to stakeholders. However, understanding a model's specific behavior alone might not be enough for stakeholders to gauge whether the model is wrong or lacks sufficient knowledge to solve the task at hand. In this paper, we argue for considering a complementary form of transparency by estimating and communicating the uncertainty associated with model predictions. First, we discuss methods for assessing uncertainty. Then, we characterize how uncertainty can be used to mitigate model unfairness, augment decision-making, and build trustworthy systems. Finally, we outline methods for displaying uncertainty to stakeholders and recommend how to collect information required for incorporating uncertainty into existing ML pipelines. This work constitutes an interdisciplinary review drawn from literature spanning machine learning, visualization/HCI, design, decision-making, and fairness. We aim to encourage researchers and practitioners to measure, communicate, and use uncertainty as a form of transparency.

研究动机与目标

• 通过引入不确定性估计作为互补的透明机制，解决仅依赖可解释性在确保可信人工智能方面的局限性。
• 识别不确定性如何增强机器学习模型中的公平性缓解，特别是在训练数据中代表性不足的群体中。
• 开发有效方法，向包括临床医生、患者和政策制定者在内的多元利益相关者清晰传达不确定性。
• 提供一个将不确定性量化整合到跨领域现有机器学习流程中的框架。
• 在医疗保健与疫情预测等高风险场景中，展示不确定性沟通的实际影响。

提出的方法

• 将不确定性分类为随机性不确定性（数据固有的噪声）与认知性不确定性（训练数据不足），以指导模型设计与解释。
• 使用置信区间（如95%置信区间）表示回归任务，用预测概率表示分类任务，以定量表达不确定性。
• 应用分布鲁棒优化与主动学习，提升在数据稀缺的敏感群体中的公平性。
• 实施后处理技术，将高不确定性预测转介至人类专家，或重新加权预测以减少偏差。
• 设计不确定性可视化方法——如结合均值估计的预测带——以供公众与临床使用，如美国疾病控制与预防中心（CDC）的新冠疫情预测中所展示。
• 通过比较特征分布与使用校准度量指标，将不确定性整合到模型评估中，以确保可靠性。

实验结果

研究问题

• RQ1 不确定性估计如何作为一种与模型可解释性不同的透明形式，在机器学习中发挥作用？
• RQ2 在敏感群体训练数据代表性不足的情况下，不确定性以何种方式可提升机器学习模型的公平性？
• RQ3 如何有效地将不确定性可视化并传达给包括医生、患者和公共卫生官员在内的多元利益相关者？
• RQ4 将不确定性量化整合到现有机器学习流程中面临哪些实际挑战，又有哪些解决方案？
• RQ5 在医疗保健与疫情应对等高风险领域，不确定性沟通如何影响决策与信任？

主要发现

• 校准良好的不确定性估计可帮助识别模型知识不足的时刻，从而在代表性不足群体中提升信任度与决策质量。
• 基于不确定性的预测转介至人类专家，可缓解校准度量与相等机会指标之间的权衡，而这两者在传统方法中通常互斥。
• 在美国疾病控制与预防中心（CDC）的新冠疫情预测中，使用预测带（如95%置信区间）进行不确定性可视化，对公众与政策决策起到了关键作用。
• 基于不确定性的后处理方法可调整预测结果，从而降低模型输出的偏差，尤其在敏感属性缺失或表示不足时效果显著。
• 不确定性沟通显著提升了透明度与信任度，这在公共卫生场景中已得到验证，因为预测结果会直接影响公众行为与资源分配。
• 分布分析与模型校准对于确保不确定性估计具有意义且无偏见至关重要，尤其是在用于公平性缓解时。