[论文解读] Priority Quality Attributes for Engineering AI-enabled Systems

Lena Pons, İpek Özkaya|arXiv (Cornell University)|Oct 15, 2019

Manufacturing Process and Optimization参考文献 4被引用 8

一句话总结

本文提出，安全、隐私、数据中心化、可持续性和可解释性是公共部门（尤其是医疗保健领域）中工程化AI系统的关键质量属性。文章认为，这些属性必须系统性地整合到系统架构中，以应对数据依赖、模型漂移和对抗性攻击等风险，通过规范的AI工程实践，实现可信、可审计且符合监管要求的AI系统。

ABSTRACT

Deploying successful software-reliant systems that address their mission goals and user needs within cost, resource, and expected quality constraints require design trade-offs. These trade-offs dictate how systems are structured and how they behave and consequently can effectively be evolved and sustained. Software engineering practices address this challenge by centering system design and evolution around delivering key quality attributes, such as security, privacy, data centricity, sustainability, and explainability. These concerns are more urgent requirements for software-reliant systems that also include AI components due to the uncertainty introduced by data elements. Moreover, systems employed by the public sector exhibit unique design time and runtime challenges due to the regulatory nature of the domains. We assert that the quality attributes of security, privacy, data centricity, sustainability, and explainability pose new challenges to AI engineering and will drive the success of AI-enabled systems in the public sector. In this position paper, we enumerate with examples from healthcare domain concerns related to these requirements to mitigate barriers to architecting and fielding AI-enabled systems in the public sector.

研究动机与目标

• 解决在医疗保健等公共部门领域部署可靠、安全且合规的AI系统日益增长的挑战。
• 识别并优先考虑可缓解AI系统中数据依赖、模型不确定性及对抗性威胁所引发风险的质量属性。
• 通过将软件架构与关键任务质量属性对齐，弥合监管期望与AI系统开发技术现实之间的差距。
• 倡导基于架构设计和可验证质量属性的AI工程实践，以确保系统可信性与合规性。

提出的方法

• 提出一个以五个优先质量属性——安全性、隐私性、数据中心化、可持续性和可解释性——为核心的AI系统设计框架。
• 利用医疗保健领域的案例研究，特别是软件作为医疗器械（SaMD）的案例，说明现实世界中的挑战与设计影响。
• 强调架构建模以分析依赖关系、暴露攻击面，并支持多角度的系统分析。
• 主张将数据与算法解耦，以提升安全性、隐私性和可维护性，尤其是在监管约束下。
• 将软件工程原则与AI特有的问题（如模型漂移、数据分布变化及对抗性样本）相结合。
• 呼吁建立标准化术语和可重复的实践，以协调AI系统开发中的监管、技术和领域专业知识。

实验结果

研究问题

• RQ1 在AI系统对数据和模型漏洞高度敏感的背景下，如何系统性地确保其安全与隐私？
• RQ2 需要哪些架构模式与设计原则，以管理以数据为中心的风险，并在数据分布持续演变的情况下保持系统完整性？
• RQ3 如何将可解释性与可持续性嵌入AI系统设计，以满足监管要求和长期运行动态？
• RQ4 传统软件工程实践在应对AI组件新兴风险（特别是在公共部门系统中）时，存在哪些不足？
• RQ5 如何对AI系统中的质量属性进行量化与验证，以支持监管执行与利益相关者信任？

主要发现

• AI系统中的安全与隐私与数据处理密切相关，数据驱动的设计使传统抽象边界被削弱，从而扩大了攻击面。
• 模型漂移以及数据、训练模型与部署模型之间的错位，会导致高昂的失败代价，包括系统中断和错误推断。
• 由于法律、统计与软件工程领域之间缺乏共同理解，监管机构在评估AI系统时面临挑战。
• 当前的隐私保护技术（如同态加密）通常计算开销过大，难以在AI系统中实际应用。
• FDA偏好使用‘锁定’算法（即确定性且不可更改的算法），表明需要更具可预测性与可验证性的AI系统，以满足监管标准。
• 架构建模对于分析跨切面问题、实现AI系统风险与行为的多角度分析至关重要。