[论文解读] Preventing Repeated Real World AI Failures by Cataloging Incidents: The AI Incident Database

Sean McGregor|arXiv (Cornell University)|Nov 17, 2020

Occupational Health and Safety Research被引用 10

一句话总结

该论文提出了人工智能事故数据库（AIID），这是一个系统化、可搜索且可扩展的数据库，收录了来自不同来源的1000多个真实世界的人工智能事故报告，旨在通过让从业者从过往的伤害中吸取教训，防止人工智能部署中的重复性失败。AIID具备多维搜索与全文搜索功能，采用版本化事故标识符，并支持社区驱动的分类体系，可广泛支持公平性、安全性及技术可靠性等领域的研究、开发与缓解工作。

ABSTRACT

Mature industrial sectors (e.g., aviation) collect their real world failures in incident databases to inform safety improvements. Intelligent systems currently cause real world harms without a collective memory of their failings. As a result, companies repeatedly make the same mistakes in the design, development, and deployment of intelligent systems. A collection of intelligent system failures experienced in the real world (i.e., incidents) is needed to ensure intelligent systems benefit people and society. The AI Incident Database is an incident collection initiated by an industrial/non-profit cooperative to enable AI incident avoidance and mitigation. The database supports a variety of research and development use cases with faceted and full text search on more than 1,000 incident reports archived to date.

研究动机与目标

• 解决产业界与研究领域中人工智能事故缺乏集体记忆的问题，类似于航空或网络安全事故数据库的模式。
• 通过创建一个集中化、可扩展且由社区维护的事故记录库，减少有缺陷的人工智能系统被重复部署。
• 通过结构化元数据与多维搜索功能，支持工程师、研究人员、法律专业人士及政策制定者等多元利益相关方发现历史事故。
• 通过允许独立组织在共享且互操作的框架内定义并维护自身分类体系，促进跨领域协作。
• 将零散的事故列表转化为可扩展、生产级的科研与开发基础设施，以支持人工智能安全与问责制。

提出的方法

• AIID从新闻、行业出版物及学术来源聚合事故报告，为每起事故分配唯一且持久的ID，并将多份报告关联至同一事故记录。
• 每起事故均通过客观元数据（如来源、发布日期、提交者、事故日期）进行索引，并支持在结构化字段上进行全文搜索与多维搜索。
• 系统采用命名空间分类模型，允许不同组织（如非营利组织、咨询公司）定义并管理其自身的分类体系（如“公平性”、“行业”），而无需依赖统一本体。
• 通过基于GitHub的工作流支持动态应用生成：代码推送将触发Netlify上的自动构建，该构建会查询数据库并生成静态、预渲染的Web应用程序（如“FairnessExplorer”）。
• 静态站点生成确保了低延迟、可扩展且成本低廉的数据可视化与摘要访问，每次构建周期均会将更新同步至数据库。
• 该架构支持互操作性：一个应用（如以公平性为重点）的分类体系可被其他应用（如以行业为重点）过滤并使用，实现在无数据重复的前提下进行跨领域分析。

实验结果

研究问题

• RQ1 集中化、由社区维护的事故数据库在多大程度上能减少在安全关键领域与社会领域中真实世界人工智能事故的重复发生？
• RQ2 哪些架构模式能够实现跨多样化人工智能应用领域与利益相关者视角的可扩展、可扩展且互操作的事故追踪？
• RQ3 与GitHub或Google Docs上的零散列表相比，具备多维搜索与全文搜索功能的共享事故数据库在提升事故发现与学习效率方面能实现多大程度的改进？
• RQ4 如何在不强制采用单一、统一本体的前提下，将社区驱动的分类体系整合进统一的数据基础设施？
• RQ5 哪些技术与组织模式能够支持人工智能事故数据的可持续、长期维护，使其成为人工智能科研与开发社区的公共产品？

主要发现

• AIID目前托管超过1000起事故报告，已有超过100起事故被分配唯一标识符，并链接至多份来源报告。
• 该系统支持可引用、持久的事故记录——例如事故#3，汇集了18份关于波音737 MAX 8坠毁事件的报告，支持多重视角分析。
• 通过静态站点生成与自动构建，确保了低延迟、可扩展的数据可视化与摘要访问，降低了托管成本并提升了性能。
• 命名空间分类模型允许独立组织定义并维护特定领域的分类（如公平性、技术故障），同时支持在不同应用间进行跨过滤。
• 该架构已吸引主要利益相关方的关注，包括“四大”会计师事务所、律师事务所、咨询公司及学术机构，显示出强劲的早期采用潜力。
• 该系统的设计支持通过时间维度的可视化分析事故趋势，按技术、应用或受影响人群分类，使用预渲染的静态页面，每次数据库同步后自动更新。