[论文解读] Towards a multi-stakeholder value-based assessment framework for algorithmic systems

Mireia Yurrita, Dave Murray-Rust+2 more|arXiv (Cornell University)|Jan 1, 2022

Ethics and Social Impacts of AI参考文献 193被引用 32

一句话总结

本文提出了一种多利益相关方、基于价值的算法系统评估框架，该框架超越了偏见审计，将11个核心伦理价值以环形、双极结构组织，以可视化权衡与张力。该框架通过可量化的指标、以流程为导向的实践以及信号指标（系统功能的感知线索）来实现这些价值，并为不同利益相关方映射定制化的沟通方式，从而在整个机器学习生命周期中实现包容性、情境感知的伦理评估。

ABSTRACT

<p>In an effort to regulate Machine Learning-driven (ML) systems, current auditing processes mostly focus on detecting harmful algorithmic biases. While these strategies have proven to be impactful, some values outlined in documents dealing with ethics in ML-driven systems are still underrepresented in auditing processes. Such unaddressed values mainly deal with contextual factors that cannot be easily quantified. In this paper, we develop a value-based assessment framework that is not limited to bias auditing and that covers prominent ethical principles for algorithmic systems. Our framework presents a circular arrangement of values with two bipolar dimensions that make common motivations and potential tensions explicit. In order to operationalize these high-level principles, values are then broken down into specific criteria and their manifestations. However, some of these value-specific criteria are mutually exclusive and require negotiation. As opposed to some other auditing frameworks that merely rely on ML researchers' and practitioners' input, we argue that it is necessary to include stakeholders that present diverse standpoints to systematically negotiate and consolidate value and criteria tensions. To that end, we map stakeholders with different insight needs, and assign tailored means for communicating value manifestations to them. We, therefore, contribute to current ML auditing practices with an assessment framework that visualizes closeness and tensions between values and we give guidelines on how to operationalize them, while opening up the evaluation and deliberation process to a wide range of stakeholders.</p>

研究动机与目标

• 弥合当前机器学习审计实践中的缺口，即过度聚焦于偏见检测，而忽视了可 contestability（可质疑性）、透明度和问责制等更广泛的伦理价值。
• 开发一种结构化且可操作的框架，将高层次的伦理原则转化为具体标准与表现形式，以支持实际应用。
• 通过识别并针对不同利益相关方采用定制化的沟通方式来呈现价值表现，促进包容性的伦理讨论。
• 通过伦理价值的环形双极排列，可视化价值张力与共同动机，以支持在机器学习开发过程中主动进行伦理干预。
• 提供一种灵活且可扩展的框架，支持情境特定的调整，并在整个机器学习流水线中持续促进利益相关方参与。

提出的方法

• 设计一个环形双极框架，将11个突出的伦理价值（如公平性、透明度、可质疑性）组织起来，以明确展现价值之间的互动、权衡与共同动机。
• 将每个价值分解为具体标准及其表现形式，分类为可量化的指标、以流程为导向的实践或信号指标（系统功能的感知线索）。
• 将利益相关方档案（如开发者、终端用户、审计员、决策对象）与其独特的洞察需求相匹配，并为其价值表现分配定制化的沟通手段（如仪表板、报告、可视化工具）。
• 将该框架整合进机器学习的开发与部署流水线，以支持事后评估与设计阶段的主动价值整合。
• 利用现有工具与实践（如 Values Dashboard、GitHub 风格的时间线）来支持各开发阶段的利益相关方参与与迭代评估。
• 将该框架托管于开放、协作的在线代码仓库中，以支持社区贡献，并持续扩展工具与沟通方式。

实验结果

研究问题

• RQ1 如何系统性地组织机器学习系统中的伦理价值，以揭示其共同动机与内在张力？
• RQ2 哪些标准与表现形式能够以情境感知的方式，将公平性、透明度和可质疑性等高层次伦理价值具体化？
• RQ3 如何通过定制化地传达价值表现，使不同利益相关方能够有意义地参与算法系统的评估？
• RQ4 情境因素与长期系统影响在伦理评估中扮演何种角色？如何将其整合进审计框架？
• RQ5 该框架如何支持机器学习生命周期中的事后评估与主动伦理设计？

主要发现

• 11个伦理价值的环形双极排列使共同动机与权衡关系得以可视化，明确揭示了价值之间的张力与相互依赖性。
• 每个价值均被分解为可操作的标准，其表现形式为可量化的指标、以流程为导向的实践或信号指标，从而支持在整个机器学习流水线中实现实际应用。
• 针对技术熟练度与洞察需求各异的利益相关方，已映射至特定的沟通手段，例如为开发者提供仪表板，为终端用户提供建议性报告。
• 该框架识别出研究缺口，例如针对决策对象的公平性表现，缺乏有效的沟通工具，凸显了未来工作中亟需填补但尚未充分开发的关键领域。
• 该框架既支持事后评估，也支持主动伦理设计，可通过 Values Dashboard 等工具集成至现有开发工作流中。
• 开放的、社区驱动的仓库模式鼓励框架的持续扩展与适配，促进长期可持续性与情境特定的定制化。