[论文解读] What Are You Hiding? Algorithmic Transparency and User Perceptions

Aaron Springer, Steve Whittaker|arXiv (Cornell University)|Dec 7, 2018

Ethics and Social Impacts of AI参考文献 9被引用 7

一句话总结

本研究探讨了算法透明度如何影响用户对情绪预测系统的态度，发现当用户预期未被违背时，透明度会降低其对准确性的感知；但当预测与用户预期相悖时，透明度可缓解负面反应。作者通过基于文本的情绪预测系统进行受控用户实验，提出一个统一模型，以调和透明度研究中相互矛盾的发现。

ABSTRACT

Extensive recent media focus has been directed towards the dark side of intelligent systems, how algorithms can influence society negatively. Often, transparency is proposed as a solution or step in the right direction. Unfortunately, research is mixed on the impact of transparency on the user experience. We examine transparency in the context an interactive system that predicts positive/negative emotion from a users' written text. We unify seemingly this contradictory research under a single model. We show that transparency can negatively affect accuracy perceptions for users whose expectations were not violated by the system's prediction; however, transparency also limits the damage done when users' expectations are violated by system predictions.

研究动机与目标

• 考察算法透明度对用户在情绪预测系统中准确性和信任感知的影响。
• 通过识别透明度增强或损害用户体验的条件，解决先前透明度研究中相互矛盾的发现。
• 研究用户对系统预测的预期如何与透明度相互作用，从而塑造对系统性能的感知。
• 提出一个统一模型，解释为何透明度在人机交互的AI系统中会产生混合影响。

提出的方法

• 通过受控用户实验，让参与者与基于文本的情绪预测系统互动，该系统将信息分类为积极或消极情绪。
• 通过显示或隐藏算法的预测依据和置信度水平，操控透明度。
• 在预测展示前后，测量用户对准确性的感知、信任度及情绪反应。
• 收集用户预期数据，并与实际系统预测进行对比，以评估预期违背情况。
• 使用统计分析评估在不同预期条件下，透明度如何影响感知结果。
• 提出一个统一模型，解释透明度的双重作用：在预期未被违背时降低感知准确性，但在预期被违背时减轻负面影响。

实验结果

研究问题

• RQ1 算法透明度如何影响用户对情绪预测系统准确性的感知？
• RQ2 在何种条件下，透明度会提升或损害用户对算法预测的信任？
• RQ3 用户对系统预测的预期如何调节透明度对感知的影响？
• RQ4 为何先前研究对透明度在AI系统中影响的报告存在矛盾？
• RQ5 能否通过一个统一模型解释透明度在人机交互中影响的矛盾发现？

主要发现

• 当用户预期未被系统预测违背时，透明度降低了其对准确性的感知。
• 当用户预期被违背时，透明度显著减少了负面情绪反应，并提升了感知公平性。
• 在预测与用户预期相悖时，获得透明解释的用户对系统的信任度更高。
• 研究发现透明度具有双重效应：在低冲突情境中可能削弱感知准确性，但在高冲突情境中可保护用户感知。
• 所提出的统一模型通过区分预期违背与非违背情境，成功调和了先前研究中相互矛盾的发现。
• 在预期被违背时，获得透明解释的参与者更可能将错误预测视为合理。