[论文解读] Requirements Engineering for Artificial Intelligence Systems: A Systematic Mapping Study

Khlood Ahmad, Mohamed Abdelrazek+3 more|arXiv (Cornell University)|Dec 20, 2022

Software Engineering Techniques and Practices被引用 11

一句话总结

本篇系统映射研究识别出43项关于人工智能系统需求工程（RE4AI）的原始研究，揭示当前实践严重依赖UML和GORE进行建模，软件与数据科学家之间缺乏整合，且在处理数据需求、伦理、可解释性及以人为本设计方面面临关键挑战，凸显了迫切需要开发新型、量身定制的方法论与工具。

ABSTRACT

[Context] In traditional software systems, Requirements Engineering (RE) activities are well-established and researched. However, building Artificial Intelligence (AI) based software with limited or no insight into the system's inner workings poses significant new challenges to RE. Existing literature has focused on using AI to manage RE activities, with limited research on RE for AI (RE4AI). [Objective] This paper investigates current approaches for specifying requirements for AI systems, identifies available frameworks, methodologies, tools, and techniques used to model requirements, and finds existing challenges and limitations. [Method] We performed a systematic mapping study to find papers on current RE4AI approaches. We identified 43 primary studies and analysed the existing methodologies, models, tools, and techniques used to specify and model requirements in real-world scenarios. [Results] We found several challenges and limitations of existing RE4AI practices. The findings highlighted that current RE applications were not adequately adaptable for building AI systems and emphasised the need to provide new techniques and tools to support RE4AI. [Conclusion] Our results showed that most of the empirical studies on RE4AI focused on autonomous, self-driving vehicles and managing data requirements, and areas such as ethics, trust, and explainability need further research.

研究动机与目标

• 鉴于传统需求工程在处理人工智能的不确定性与黑箱特性方面存在局限，应对人工智能系统特定的定制化需求工程（RE）实践日益增长的需求。
• 识别现有框架、建模语言、工具与技术在RE4AI中的应用，以评估其适用性与成熟度。
• 突出关键挑战，如数据需求、伦理问题、可解释性以及软件工程师与数据科学家之间的协作鸿沟。
• 审视研究重点的不平衡性，大多数实证研究集中于自动驾驶车辆，而对伦理、信任与以人为本的人工智能关注有限。
• 提出可操作的研究建议，以指导未来开发集成化、可适应且以人为本的AI系统需求工程方法论。

提出的方法

• 遵循Kitchenham和Petersen的指南，开展系统映射研究，通过跨多个学术数据库的综合搜索策略。
• 通过两阶段筛选流程（题名/摘要与全文评审）识别出43项原始研究，聚焦于RE4AI的实证评估与理论提案。
• 根据框架、建模符号（如UML、GORE、DSM）、评估方法、应用领域及人工智能子领域对研究进行分类。
• 分析技术、工具与挑战在不同领域与时间段内的频率与分布，以识别趋势与研究空白。
• 将初始研究（27项）扩展至2020年年中至2021年年中新增的16项研究，以提升覆盖范围并更新发现。
• 将研究发现整合为主题类别，包括数据处理挑战、伦理建模、可解释性以及以人为本方面的挑战，特别强调实证验证的缺口。

Figure 1: Paper extraction process

实验结果

研究问题

• RQ1 为构建人工智能系统，已提出哪些需求工程框架、符号、建模语言与工具？
• RQ2 在RE4AI的实证研究中，使用了哪些评估方法？
• RQ3 现有方法中考虑了哪些目标应用领域与人工智能关注领域？
• RQ4 现有需求工程技术在应用于人工智能系统时存在哪些局限性与挑战？

主要发现

• 大多数RE4AI研究依赖UML与GORE进行建模，其中UML因易用性而受非技术利益相关者青睐，而GORE则更适用于非功能性需求与业务规则的表达。
• 领域特定建模（DSM）在需求呈现中的使用正在增长，表明向更专业化建模方法的转变趋势。
• 大多数实证研究聚焦于自主系统，尤其是自动驾驶汽车，而关于伦理、可解释性与信任的研究仍主要停留在理论层面，探索不足。
• 一个显著挑战在于软件工程师与数据科学家之间缺乏整合，这阻碍了有效的需求定义与系统开发。
• 仅有两项研究明确涉及RE4AI中以人为本的方面，表明在整合用户多样性、偏见缓解与包容性数据收集方面存在关键研究空白。
• 现有工具与方法论在适应人工智能系统方面仍显不足，特别是在管理数据质量、偏见与模型透明度方面，亟需开发新型、原生面向人工智能的需求工程框架。

Figure 2: Distribution of the resulting empirical papers after performing the quality assessment score