[论文解读] Requirements Engineering Framework for Human-centered Artificial Intelligence Software Systems

Khlood Ahmad, Mohamed Abdelrazek+4 more|arXiv (Cornell University)|Mar 6, 2023

Persona Design and Applications被引用 5

一句话总结

本文提出了一种面向以人为中心的人工智能（RE4HCAI）的需求工程框架，该框架整合了以人为中心的人工智能指南、文献分析以及专家调查结果，以获取并建模基于人工智能的软件的需求。该框架采用三层结构——参考图、需求目录和概念建模工具，并在一项案例研究中得到验证，用于提升360°虚拟现实视频质量，尽管人工智能具有黑箱特性，但该框架仍显著提升了早期识别以人为中心需求的能力。

ABSTRACT

[Context] Artificial intelligence (AI) components used in building software solutions have substantially increased in recent years. However, many of these solutions focus on technical aspects and ignore critical human-centered aspects. [Objective] Including human-centered aspects during requirements engineering (RE) when building AI-based software can help achieve more responsible, unbiased, and inclusive AI-based software solutions. [Method] In this paper, we present a new framework developed based on human-centered AI guidelines and a user survey to aid in collecting requirements for human-centered AI-based software. We provide a catalog to elicit these requirements and a conceptual model to present them visually. [Results] The framework is applied to a case study to elicit and model requirements for enhancing the quality of 360 degree~videos intended for virtual reality (VR) users. [Conclusion] We found that our proposed approach helped the project team fully understand the human-centered needs of the project to deliver. Furthermore, the framework helped to understand what requirements need to be captured at the initial stages against later stages in the engineering process of AI-based software.

研究动机与目标

• 解决在基于人工智能的软件系统需求工程（RE）中缺乏以人为中心方法的问题。
• 开发一种系统性框架，以在需求工程过程中捕捉多样化的人类因素，如年龄、性别、文化与情绪等。
• 弥合现有以人为中心的人工智能指南与它们在早期软件开发阶段实际应用之间的差距。
• 支持人工智能系统中的迭代式需求获取，特别是在模型行为不透明或依赖数据的情况下。
• 提供一种可重复使用、基于实证研究的框架，用于获取并可视化建模以人为中心的人工智能需求。

提出的方法

• 该框架基于行业以人为中心的人工智能指南、关于AI需求工程的系统性文献综述（SLR）以及专家调查结果的综合分析，以识别关键的人为中性因素。
• 该框架包含三个层次：六个以人为中心的人工智能领域的参考图、用于需求获取的需求目录，以及用于可视化表达的概念建模语言。
• 需求目录包含结构化提示和分类，用于获取与用户、模型和数据相关的需要。
• 概念建模层使用可视化建模来表示以人为中心的需求与系统组件之间的关系。
• 通过一项涉及基于人工智能的360°虚拟现实视频质量增强的案例研究对框架进行了评估，重点聚焦于用户体验与包容性。
• 应用了迭代式需求工程流程，结果表明部分需求仅在模型测试后才浮现，凸显了持续需求获取的必要性。

Figure 1: Our proposed framework to elicit and model requirements for human-centered AI.

实验结果

研究问题

• RQ1 如何在人工智能软件开发的早期阶段，系统性地将以人为中心的人工智能指南转化为可操作的需求？
• RQ2 在人工智能系统的需求工程过程中，哪些以人为中心的方面——如年龄、性别、文化与情绪——最为关键？
• RQ3 概念建模方法在提升以人为中心的人工智能需求的清晰度与可追溯性方面有何作用？
• RQ4 该框架在识别那些仅在模型训练或测试后才出现的需求方面，支持程度如何？
• RQ5 与现有需求工程方法相比，该框架在捕捉人工智能系统中非技术性、以人为中心的因素方面表现如何？

主要发现

• RE4HCAI框架成功帮助项目团队识别并建模了360°虚拟现实视频增强系统中以人为中心的需求，尤其聚焦于用户体验与包容性。
• 由于人工智能的黑箱特性，部分需求（特别是与模型行为和数据偏见相关的需求）在早期阶段无法完全明确，因此需要采用迭代式需求工程方法。
• 专家调查与文献综述表明，情绪、个性与社会经济地位等要素在当前人工智能系统的需求工程实践中经常被忽视。
• 概念建模层有效可视化了人类需求与系统组件之间复杂的关系，提升了利益相关者的理解与共识。
• 案例研究表明，在需求工程早期整合以人为中心的要素，可带来更负责任、更具包容性且质量更高的AI软件成果。
• 该框架揭示了现有需求工程实践的局限性，特别是缺乏对人工智能开发中非技术性、以人为中心因素的结构化支持。

Figure 2: Human-centered needs for AI and the frequency of survey participants who selected them.