[论文解读] Perceptions of Fairness and Trustworthiness Based on Explanations in Human vs. Automated Decision-Making

Jakob Schoeffer, Yvette Machowski+1 more|arXiv (Cornell University)|Sep 13, 2021

Ethics and Social Impacts of AI被引用 4

一句话总结

本研究调查了人们在高风险贷款情境中，对自动化决策与人类决策在公平性和可信度方面的感知，且两种情境均提供了相同的解释。令人惊讶的是，参与者认为自动化系统比人类更公平，尤其是在人工智能素养较高者中表现更为明显，但对可信度的感知并无显著差异。

ABSTRACT

Automated decision systems (ADS) have become ubiquitous in many high-stakes domains. Those systems typically involve sophisticated yet opaque artificial intelligence (AI) techniques that seldom allow for full comprehension of their inner workings, particularly for affected individuals. As a result, ADS are prone to deficient oversight and calibration, which can lead to undesirable (e.g., unfair) outcomes. In this work, we conduct an online study with 200 participants to examine people's perceptions of fairness and trustworthiness towards ADS in comparison to a scenario where a human instead of an ADS makes a high-stakes decision -- and we provide thorough identical explanations regarding decisions in both cases. Surprisingly, we find that people perceive ADS as fairer than human decision-makers. Our analyses also suggest that people's AI literacy affects their perceptions, indicating that people with higher AI literacy favor ADS more strongly over human decision-makers, whereas low-AI-literacy people exhibit no significant differences in their perceptions.

研究动机与目标

• 考察人们在高风险情境下对自动化决策系统（ADS）与人类决策者在公平性和可信度方面的感知。
• 评估在自动化决策系统与人类决策情境中，提供相同且详尽的解释后，对公平性和可信度感知的影响。
• 探究个体在人工智能素养方面的差异如何调节对自动化决策系统与人类决策者在公平性和可信度方面的感知。
• 探讨可解释性在塑造公众对敏感领域（如贷款）中自动化系统感知方面的作用。
• 通过填补用户对算法决策中公平性与可信度感知理解的空白，为信息系统研究做出贡献。

提出的方法

• 通过在线实验开展，采用被试间设计，比较了在贷款情境中自动化决策系统与人类决策者的角色，共招募200名参与者。
• 在两种情境中均提供了相同、详尽、与模型无关的解释——具体为反事实解释——用于贷款审批决策。
• 使用标准化的情境，包含个人和财务数据，以确保各条件间的一致性。
• 使用经过验证的调查量表测量人们对信息公平性和可信度的感知。
• 收集并分析开放式回答，以获得关于公平性和可信度感知背后推理的定性洞察。
• 采用分层线性模型检验人工智能素养对公平性和可信度感知的调节效应。

实验结果

研究问题

• RQ1 当提供相同解释时，人们如何感知自动化决策系统相较于人类决策者的公平性？
• RQ2 在相同的解释条件下，人们如何感知自动化决策系统相较于人类决策者的可信度？
• RQ3 人工智能素养是否调节人们对自动化决策系统相较于人类决策者在公平性和可信度方面的感知？
• RQ4 哪些定性因素影响参与者对自动化与人类决策在公平性和可信度方面的感知？

主要发现

• 参与者认为自动化决策系统在信息公平性方面显著优于人类决策者，差异的p值为0.001。
• 在自动化系统与人类决策者之间的可信度感知上未发现显著差异（p = 0.995）。
• 人工智能素养较高者认为自动化系统在公平性和可信度方面均优于人类决策者，表明人工智能素养具有调节作用。
• 人工智能素养较低者在公平性或可信度感知上在两种情境间无显著差异。
• 定性分析显示，参与者认为自动化系统更公平，是因其被认为更具客观性且无主观性，许多参与者表示算法‘遵循标准’且‘客观使用数据’。
• 部分参与者表达了对问责制的担忧，指出尽管系统是自动化的，但‘有人决定以这种方式编程它’，凸显了自动化决策系统部署中的关键伦理张力。