[论文解读] Outlining Traceability: A Principle for Operationalizing Accountability in Computing Systems

Joshua A. Kroll|arXiv (Cornell University)|Jan 23, 2021

Ethics and Social Impacts of AI参考文献 141被引用 56

一句话总结

本文提出将可追溯性作为计算系统中实现问责制的基础原则，通过将系统设计、开发和运维与公平性、安全性等规范性目标相联系来实现。该文系统化地梳理了可追溯性需求，映射了现有工具与技术，并识别出政策要求与实际实施之间的关键差距。

ABSTRACT

Accountability is widely understood as a goal for well governed computer systems, and is a sought-after value in many governance contexts. But how can it be achieved? Recent work on standards for governable artificial intelligence systems offers a related principle: traceability. Traceability requires establishing not only how a system worked but how it was created and for what purpose, in a way that explains why a system has particular dynamics or behaviors. It connects records of how the system was constructed and what the system did mechanically to the broader goals of governance, in a way that highlights human understanding of that mechanical operation and the decision processes underlying it. We examine the various ways in which the principle of traceability has been articulated in AI principles and other policy documents from around the world, distill from these a set of requirements on software systems driven by the principle, and systematize the technologies available to meet those requirements. From our map of requirements to supporting tools, techniques, and procedures, we identify gaps and needs separating what traceability requires from the toolbox available for practitioners. This map reframes existing discussions around accountability and transparency, using the principle of traceability to show how, when, and why transparency can be deployed to serve accountability goals and thereby improve the normative fidelity of systems and their development processes.

研究动机与目标

• 通过可追溯性原则在计算系统中实现问责制。
• 识别并系统化技术、程序和治理方面实现稳健可追溯性的需求。
• 弥合政策层面的可追溯性要求与实际可用实施工具之间的差距。
• 阐明可追溯性如何通过将系统行为与设计决策及价值观相联系，超越单纯透明性来支持规范性治理目标。
• 为从业者和政策制定者提供一个结构化框架，以评估和提升系统可追溯性。

提出的方法

• 分析全球范围内的政策文件和人工智能原则，提取反复出现的可追溯性需求。
• 将可追溯性需求映射到现有技术、工具和开发实践，如版本控制、血统追踪和审计日志。
• 通过强调设计和操作决策的因果性、对比性和选择性解释，区分可追溯性与可解释性。
• 提出一个框架，将系统输出与开发流程、数据源和治理目标相连接。
• 识别出四类关键差距：技术局限性、工具缺陷、流程整合挑战以及利益相关者理解不足。
• 通过系统性审查标准和政策指导，推导出可追溯性需求的分类体系。

实验结果

研究问题

• RQ1 如何在软件和人工智能系统中系统性地实现可追溯性，以支持问责制？
• RQ2 在实践中实现有意义可追溯性所需的特定技术与程序需求是什么？
• RQ3 可追溯性在支持规范性治理目标方面，与透明性和可解释性有何不同？
• RQ4 政策层面的可追溯性要求与当前可用工具和实践之间存在哪些差距？
• RQ5 可追溯性在哪些方面能够提升计算系统对公平性、安全性及非歧视等价值观的规范契合度？

主要发现

• 可追溯性比公平性或透明性等抽象价值观更具象且可度量，因此是实现问责制的实用抓手。
• 现有工具如版本控制、血统追踪和审计日志可支持可追溯性，但常被低估或误用。
• 政策要求可追溯性与开发团队实际实施能力之间存在关键差距。
• 可追溯性不仅需要机械化的日志记录，更需要人类可理解的设计决策、目的说明及价值权衡记录。
• 可追溯性通过将系统行为与其源头相连接，使问责制成为可能，从而支持责任追究与规范性评估。
• 本文识别出四类主要实施差距：技术、工具、流程整合与利益相关者理解。