[论文解读] Understanding Practices, Challenges, and Opportunities for User-Engaged Algorithm Auditing in Industry Practice

Wesley Hanwen Deng, Bill Boyuan Guo+4 more|arXiv (Cornell University)|Oct 7, 2022

Mobile Crowdsensing and Crowdsourcing被引用 5

一句话总结

本研究探讨了行业从业者在用户参与算法审计中的经验，揭示了在招募和激励用户审计员、构建审计流程以及提取可操作见解方面面临的关键挑战。研究发现凸显了组织内部的紧张关系，并提出了由人机交互（HCI）驱动的设计机遇，以增强用户主导审计流程中的信任并减少伤害。

ABSTRACT

Recent years have seen growing interest among both researchers and practitioners in user-engaged approaches to algorithm auditing, which directly engage users in detecting problematic behaviors in algorithmic systems. However, we know little about industry practitioners' current practices and challenges around user-engaged auditing, nor what opportunities exist for them to better leverage such approaches in practice. To investigate, we conducted a series of interviews and iterative co-design activities with practitioners who employ user-engaged auditing approaches in their work. Our findings reveal several challenges practitioners face in appropriately recruiting and incentivizing user auditors, scaffolding user audits, and deriving actionable insights from user-engaged audit reports. Furthermore, practitioners shared organizational obstacles to user-engaged auditing, surfacing a complex relationship between practitioners and user auditors. Based on these findings, we discuss opportunities for future HCI research to help realize the potential (and the mitigate risks) of user-engaged auditing in industry practice.

研究动机与目标

• 理解行业从业者在参与用户审计其AI系统和产品以识别问题性算法行为时的动机和当前实践。
• 识别从业者在现实环境中招募、激励和支持用户审计员所面临的挑战。
• 揭示阻碍工业界有效用户参与审计的组织和人际关系障碍。
• 探索人机交互（HCI）研究可如何改进用户参与审计系统的设 计与实施。
• 解决用户审计员，尤其是来自边缘化群体的用户，所面临的心理和伦理风险。

提出的方法

• 对来自9家科技公司的12名行业从业者进行了半结构化访谈，这些从业者曾尝试用户参与的算法审计。
• 通过与从业者合作的迭代式共同设计活动，探索并原型化针对已识别挑战的解决方案。
• 分析从业者叙述和共同设计产出，以识别在招募、激励机制和审计构建方面反复出现的主题。
• 通过组织动态和信任担忧的定性分析，探讨从业者与用户审计员之间的张力。
• 基于从业者反馈提出设计机遇，重点在于提升用户参与度并减轻心理负担。
• 借鉴人机交互、算法公平性和参与式设计等先前研究，以支持建议的制定。

实验结果

研究问题

• RQ1 AI从业者在审计其AI产品和服务以识别问题性算法行为时，当前的动机和实践是什么？
• RQ2 从业者如何看待用户参与方法在支持其算法审计工作方面的机遇与挑战？
• RQ3 组织和人际关系动态如何影响工业界用户参与审计的成功与可持续性？
• RQ4 哪些设计考量有助于从业者更有效地招募、支持并从用户审计员处获取价值？
• RQ5 如何以最小化参与者心理和伦理伤害的方式实施用户参与的审计？

主要发现

• 从业者主要出于捕捉主观用户经验以及发现专家可能因缺乏生活经验而忽略的偏见，而被激励参与用户参与。
• 招募和激励用户审计员仍是主要挑战，尤其是在识别具有相关身份和经验背景的用户方面。
• 从业者在有效构建用户审计方面存在困难，通常缺乏指导用户进行系统化和可复现测试的工具或框架。
• 由于非专家参与者提供的反馈缺乏结构、不一致或质量较低，从用户审计报告中提取可操作见解十分困难。
• 组织性障碍——如缺乏信任、角色不明确和权力失衡——导致从业者与用户审计员之间产生紧张关系。
• 用户审计员，尤其是来自边缘化群体的用户，因在审计过程中暴露于算法伤害而面临显著的心理伤害风险。