[论文解读] Reliability, Resilience and Human Factors Engineering for Trustworthy AI Systems

Saurabh Mishra, Anand B. Rao+4 more|arXiv (Cornell University)|Nov 13, 2024

Risk and Safety AnalysisDecision Sciences被引用 3

一句话总结

本文提出了一种整合可靠性工程、韧性工程与人因工程的综合框架——以故障预测与健康管理（PHM）为核心——以提升人工智能系统的可信度。通过借鉴传统工程指标（如故障率和MTBF），并融入以人为本的设计原则，该框架实现了故障的主动预防与高效恢复，基于OpenAI的实际系统状态数据进行了验证，为人工智能安全与监管合规提供了一套可扩展的模型。

ABSTRACT

As AI systems become integral to critical operations across industries and services, ensuring their reliability and safety is essential. We offer a framework that integrates established reliability and resilience engineering principles into AI systems. By applying traditional metrics such as failure rate and Mean Time Between Failures (MTBF) along with resilience engineering and human reliability analysis, we propose an integrate framework to manage AI system performance, and prevent or efficiently recover from failures. Our work adapts classical engineering methods to AI systems and outlines a research agenda for future technical studies. We apply our framework to a real-world AI system, using system status data from platforms such as openAI, to demonstrate its practical applicability. This framework aligns with emerging global standards and regulatory frameworks, providing a methodology to enhance the trustworthiness of AI systems. Our aim is to guide policy, regulation, and the development of reliable, safe, and adaptable AI technologies capable of consistent performance in real-world environments.

研究动机与目标

• 通过整合传统上用于复杂系统的工程学科，应对关键应用中对可信人工智能日益增长的需求。
• 认识到技术可靠性与人为可靠性相互依存，必须在人工智能系统设计中一并加以解决。
• 开发一种系统化方法，运用成熟的工程方法论，管理人工智能系统的性能表现及故障后的恢复能力。
• 弥合传统工程实践与新兴人工智能技术之间的鸿沟，以支持政策制定、监管要求与风险管理。
• 为人工智能开发者与监管机构提供一种实用且基于数据的框架，以在整个人工智能生命周期中提升系统安全性与韧性。

提出的方法

• 以故障预测与健康管理（PHM）作为统一框架，用于在全生命周期阶段监控和管理人工智能系统的可靠性与韧性。
• 将人工智能系统划分为五个子系统——数据、模型、计算基础设施、代码/软件以及人机交互——每个子系统具有独特的故障模式。
• 运用可靠性工程技术（如FMEA，即故障模式与影响分析）识别并优先排序人工智能组件中的故障风险。
• 在整个生命周期中整合人因工程，包括部署前（设计阶段）与部署后（响应阶段），通过人本型人工智能可靠性模型（HC-AIRM）实现。
• 应用定量指标（如故障率、MTBF）及基于集合论与σ代数的概率风险评估方法，以衡量系统性能。
• 利用OpenAI公开的系统状态数据，验证该框架的实际可行性，展示其在实际运行的人工智能平台中的适用性。

(a) High-Level Overview of AI Failure Modes and Types

实验结果

研究问题

• RQ1 传统可靠性与韧性工程原则如何适应人工智能系统特有的故障模式？
• RQ2 人为因素在预防与恢复人工智能系统故障中发挥何种作用？如何系统性地将其整合到人工智能设计中？
• RQ3 既有的工程指标（如MTBF、故障率）在多大程度上可被有意义地应用于人工智能系统，以确保可信度？
• RQ4 人本型PHM框架如何提升人工智能系统在真实运行环境中的安全性与韧性？
• RQ5 整合可靠性、韧性与人因工程对人工智能政策、监管与风险管理有何影响？

主要发现

• 将可靠性、韧性与人因工程整合进统一的PHM框架，显著提升了人工智能系统的可预测性与可信度。
• 在航空航天与核能工程中常见的故障率与MTBF指标，可被有意义地应用于人工智能系统，以量化性能与风险。
• 人为因素并非边缘因素，而是故障预防与恢复的核心，HC-AIRM模型充分证明了其在系统设计中的关键作用。
• 对OpenAI系统状态数据的真实世界分析，证实了该框架在监控与管理人工智能系统健康与性能方面的实际适用性。
• 该框架支持基于投资组合的AI管理方式，通过持续监控与保险可用的指标，实现风险意识驱动的决策。
• 主动措施如水印技术与面向故障安全的设计（如宜家式组件设计）可减少滥用行为，提升系统韧性，尤其在应对对抗性与非预期故障方面效果显著。

(b) Hypothetical 3D Matrix of Sectors (Tasks), Impacts, and Failure Modes