[论文解读] Three lines of defense against risks from AI

Jonas Schuett|arXiv (Cornell University)|Dec 16, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出将金融与工业领域常见的三道防线（3LoD）风险管理框架适配至人工智能的开发与部署。通过为业务部门、风险与合规团队以及内部审计分配明确角色，该模型提升了问责性，填补了风险覆盖的空白，并加强了董事会对人工智能组织的风险监督，最终从技术、法律和伦理多个维度提升了人工智能风险管理的有效性。

ABSTRACT

Organizations that develop and deploy artificial intelligence (AI) systems need to manage the associated risks - for economic, legal, and ethical reasons. However, it is not always clear who is responsible for AI risk management. The Three Lines of Defense (3LoD) model, which is considered best practice in many industries, might offer a solution. It is a risk management framework that helps organizations to assign and coordinate risk management roles and responsibilities. In this article, I suggest ways in which AI companies could implement the model. I also discuss how the model could help reduce risks from AI: it could identify and close gaps in risk coverage, increase the effectiveness of risk management practices, and enable the board of directors to oversee management more effectively. The article is intended to inform decision-makers at leading AI companies, regulators, and standard-setting bodies.

研究动机与目标

• 解决人工智能系统开发与部署组织中人工智能风险管理责任不明确的问题。
• 将金融及其他受监管行业广泛采用的成熟三道防线（3LoD）框架，适配至人工智能风险的独特语境。
• 为人工智能风险管理中的角色与职责分配提供结构化方法，以提升组织效能。
• 通过明确汇报路径与问责机制，支持董事会更有效地监督人工智能风险管理。
• 向决策者、监管机构及标准制定机构提供人工智能风险治理实践实施的参考。

提出的方法

• 采用3LoD模型，该模型定义了三道明确的防线：业务部门（第一道防线）、风险与合规职能（第二道防线）以及内部审计（第三道防线）。
• 将每道防线的职责映射至人工智能特有的风险，包括技术风险、法律风险、伦理风险及系统性风险。
• 建议第一道防线（业务部门）负责人工智能在开发与部署过程中的风险拥有与管理。
• 将第二道防线（风险与合规）的职责定位于制定政策、控制措施及监控机制，以管理人工智能风险。
• 将第三道防线（内部审计）的职责定位于独立评估风险控制与治理流程的有效性。
• 强调三道防线之间需建立协调机制与反馈回路，以确保风险覆盖的全面性与适应性。

实验结果

研究问题

• RQ1 三道防线模型如何被有效应用于人工智能系统风险管理？
• RQ2 在人工智能风险管理治理中，各道防线应被赋予哪些具体角色与职责？
• RQ3 3LoD框架如何提升问责性并减少人工智能风险覆盖的空白？
• RQ4 3LoD模型在哪些方面可增强董事会对人工智能风险管理的监督？
• RQ5 监管机构与标准制定机构如何利用3LoD模型指导人工智能治理框架的构建？

主要发现

• 3LoD框架为人工智能组织中风险管理工作职责的分配与协调提供了清晰且可扩展的结构。
• 3LoD框架的实施可通过系统性地覆盖组织内技术、法律与伦理风险，填补风险覆盖的空白。
• 该模型通过建立运营、控制与审计职能之间清晰的问责链条与反馈机制，提升了风险管理的有效性。
• 董事会对人工智能风险的监督得到加强，因为该模型使风险管理工作绩效的汇报与验证更加清晰。
• 该框架有助于监管合规对齐，可被人工智能企业、监管机构及标准制定机构采纳，以推动负责任的人工智能发展。
• 本文证明，3LoD模型可迁移且适用于人工智能风险管理治理，为其他受监管行业提供的成熟治理机制可直接借鉴。