[论文解读] Responsible AI Pattern Catalogue: A Collection of Best Practices for AI Governance and Engineering

Qinghua Lu, Liming Zhu+4 more|arXiv (Cornell University)|Sep 12, 2022

Ethics and Social Impacts of AI被引用 5

一句话总结

本文提出了一套系统化的负责任人工智能模式目录——基于多源文献综述——为治理、开发流程和人工智能系统设计提供可操作的、系统级的模式。该目录通过在人工智能全生命周期内提供结构化、可重用的解决方案，弥合了抽象的人工智能伦理原则与实际实施之间的差距。

ABSTRACT

Responsible AI is widely considered as one of the greatest scientific challenges of our time and is key to increase the adoption of AI. Recently, a number of AI ethics principles frameworks have been published. However, without further guidance on best practices, practitioners are left with nothing much beyond truisms. Also, significant efforts have been placed at algorithm-level rather than system-level, mainly focusing on a subset of mathematics-amenable ethical principles, such as fairness. Nevertheless, ethical issues can arise at any step of the development lifecycle, cutting across many AI and non-AI components of systems beyond AI algorithms and models. To operationalize responsible AI from a system perspective, in this paper, we present a Responsible AI Pattern Catalogue based on the results of a Multivocal Literature Review (MLR). Rather than staying at the principle or algorithm level, we focus on patterns that AI system stakeholders can undertake in practice to ensure that the developed AI systems are responsible throughout the entire governance and engineering lifecycle. The Responsible AI Pattern Catalogue classifies the patterns into three groups: multi-level governance patterns, trustworthy process patterns, and responsible-AI-by-design product patterns. These patterns provide systematic and actionable guidance for stakeholders to implement responsible AI.

研究动机与目标

• 解决在高层次伦理原则之外缺乏可操作指导的问题。
• 通过聚焦系统级、可重用的模式，弥合人工智能伦理原则与实际工程实践之间的差距。
• 为利益相关者提供结构化、基于证据的模式，涵盖多层次治理、可信开发流程以及设计即负责任的人工系统。
• 在完整的软件开发生命周期中实现负责任人工智能，包括非算法组件。
• 为人工智能从业者、工程师和治理团队构建一个全面、可重用的知识库，以实现可信人工智能。

提出的方法

• 开展多源文献综述（MLR），从学术文献、灰色文献和行业资料中收集模式。
• 将识别出的模式分类为三类：多层次治理模式、可信流程模式和负责任AI设计产品模式。
• 采用标准化的模式结构（情境、问题、解决方案、优势、缺点、相关模式、已知用途），以确保一致性和可用性。
• 通过系统化的关键词搜索和滚雪球法，确保全面覆盖文献并减少偏差。
• 通过双人研究者筛选和一致性检查验证模式选择，以确保内部有效性。
• 建立公开可访问的在线目录，作为从业者和研究人员的动态知识库。

实验结果

研究问题

• RQ1 在人工智能开发全生命周期中，可以识别出哪些可重用的、系统级的模式，以实现负责任人工智能？
• RQ2 如何将人工智能伦理原则转化为超越算法公平性和隐私保护的可操作、可实施的实践？
• RQ3 从系统工程视角出发，支持可信人工智能的关键治理、流程和产品模式是什么？
• RQ4 如何组织模式，以支持人工智能治理和开发中的技术与非技术利益相关者？
• RQ5 当前负责任人工智能的工具和指导中存在哪些空白？基于模式的方法如何解决这些问题？

主要发现

• 负责任人工智能模式目录识别并组织了100多个可重用的模式，涵盖治理、流程和产品三大核心类别。
• 大多数现有工具和框架仅聚焦于模型层面的关注点，如公平性、隐私和可解释性，对透明度、问责制和以人为本的价值支持有限。
• 在治理和开发流程方面，系统级指导存在显著空白，特别是在将伦理原则与具体工程实践相联系方面。
• 该模式目录提供了一个结构化、基于证据的知识库，支持后果分析和已知用例，从而增强实际可用性。
• 本研究发现，尽管存在大量指南，但它们往往零散、碎片化，或仅限于特定方面（如交互设计或模型层面的伦理），凸显了采用整体性、系统级方法的必要性。
• 该目录已公开在线，并正被整合进诸如问题题库和人工智能风险评估软件等工具中，以开展工业验证。