[论文解读] On the Effect of Information Asymmetry in Human-AI Teams

Patrick Hemmer, Max Schemmer+3 more|arXiv (Cornell University)|May 3, 2022

Big Data and Business Intelligence被引用 7

一句话总结

本研究探讨了信息不对称——具体而言，人类拥有AI无法获取的上下文图像数据——如何在人机决策中促成互补团队表现（CTP）。在一项关于房地产估价的在线实验中，能够访问房屋图像的参与者（UHCI）显著提升了AI的预测表现，实现了CTP，平均绝对误差（MAE）为148,009美元，优于仅人类（200,510美元）和仅AI（163,080美元）的表现。

ABSTRACT

Over the last years, the rising capabilities of artificial intelligence (AI) have improved human decision-making in many application areas. Teaming between AI and humans may even lead to complementary team performance (CTP), i.e., a level of performance beyond the ones that can be reached by AI or humans individually. Many researchers have proposed using explainable AI (XAI) to enable humans to rely on AI advice appropriately and thereby reach CTP. However, CTP is rarely demonstrated in previous work as often the focus is on the design of explainability, while a fundamental prerequisite -- the presence of complementarity potential between humans and AI -- is often neglected. Therefore, we focus on the existence of this potential for effective human-AI decision-making. Specifically, we identify information asymmetry as an essential source of complementarity potential, as in many real-world situations, humans have access to different contextual information. By conducting an online experiment, we demonstrate that humans can use such contextual information to adjust the AI's decision, finally resulting in CTP.

研究动机与目标

• 探讨信息不对称——具体而言，人类拥有独特的“人类上下文信息”（UHCI）——是否可作为人机团队中互补潜力（CP）的来源。
• 检验UHCI是否使人类能够有意义地调整AI预测，从而实现超越个体表现的互补团队表现（CTP）。
• 评估XAI辅助决策在何种条件下可实现CTP，重点关注AI训练数据之外的上下文信息的作用。
• 识别并验证有效人机协作的基本前提——互补潜力——挑战“XAI本身即可确保CTP”的假设。
• 提供实证证据表明，UHCI可激发分析性思维并增强对AI建议的依赖，从而提升团队表现。

提出的方法

• 通过Prolific.co招募101名参与者，随机分配至有无房屋图像访问权限（UHCI）的两种条件。
• 使用仅基于表格房地产数据训练的AI模型预测房产价格并提供置信度估计，训练期间未使用图像数据。
• 参与者首先独立做出预测，随后查看AI的预测结果及其置信度估计，并据此调整以提高准确性。
• 通过预测价格与实际价格之间的平均绝对误差（MAE）衡量表现，并比较不同条件下的个体与团队表现。
• 采用双尾独立样本t检验与Bonferroni校正进行显著性检验，使用中位数绝对偏差法剔除异常值。
• 收集人口统计学数据，并通过基于绩效的激励机制（基础支付+前10%的奖金）确保参与度与数据质量。

实验结果

研究问题

• RQ1 独特的“人类上下文信息”（UHCI）是否存在，是否能促使人类改进AI预测，并在人机决策中实现互补团队表现（CTP）？
• RQ2 在房地产估价任务中，与个体人类或AI表现相比，UHCI如何影响人机团队的表现？
• RQ3 当人类可访问UHCI时，团队表现的提升是否具有统计显著性，且是否优于AI单独的表现？
• RQ4 UHCI在多大程度上影响认知过程，例如促进分析性思维而非直觉性思维，以响应AI建议？
• RQ5 互补潜力（CP）与可解释人工智能（XAI）技术之间的相互作用，如何影响适当的依赖程度与团队表现？

主要发现

• 在无UHCI条件下，人类单独表现的平均绝对误差（MAE）为251,282美元，而在UHCI条件下显著改善至200,510美元（p < 0.001）。
• 在无UHCI条件下，人机团队的MAE为160,095美元，与AI单独表现（163,080美元）相比无显著差异（p = 0.99）。
• 在UHCI条件下，人机团队的MAE为148,009美元，显著优于AI单独表现（p = 0.0155）和人类单独表现（p < 0.001）。
• UHCI条件下的团队表现显著优于无UHCI条件（p < 0.001），证明UHCI能够促成CTP。
• 与无UHCI团队相比，UHCI条件下人机团队的表现降低了12,086美元，表明UHCI能够有效调整AI预测。
• 本研究证实，当人类拥有AI无法获取的独特上下文信息时，CTP是可实现的，验证了有效人机协作的关键前提。