[论文解读] Towards Artefact-based Requirements Engineering for Data-Centric Systems

Tatiana Chuprina, Daniel Méndez+1 more|arXiv (Cornell University)|Mar 9, 2021

Big Data and Business Intelligence参考文献 10被引用 9

一句话总结

本文提出了一种面向依赖人工智能/机器学习（AI/ML）组件的数据为中心系统（DCSs）的基于 artefact 的需求工程（RE）方法，强调数据驱动行为与非确定性。该方法引入了新的需求类别和数据为中心的 artefact，并报告了在该类系统中 RE 领域的工业挑战，旨在弥合人工智能/机器学习密集型开发环境中建模、抽象层次和质量需求处理方面的差距。

ABSTRACT

Many modern software-intensive systems employ artificial intelligence / machine-learning (AI/ML) components and are, thus, inherently data-centric. The behaviour of such systems depends on typically large amounts of data processed at run-time rendering such non-deterministic systems as complex. This complexity growth affects our understanding on needs and practices in Requirements Engineering (RE). There is, however, still little guidance on how to handle requirements for such systems effectively: What are, for example, typical quality requirements classes? What modelling concepts do we rely on or which levels of abstraction do we need to consider? In fact, how to integrate such concepts into approaches for a more traditional RE still needs profound investigations. In this research preview paper, we report on ongoing efforts to establish an artefact-based RE approach for the development of datacentric systems (DCSs). To this end, we sketch a DCS development process with the newly proposed requirements categories and data-centric artefacts and briefly report on an ongoing investigation of current RE challenges in industry developing data-centric systems.

研究动机与目标

• 解决依赖人工智能/机器学习组件的数据为中心系统（DCSs）在需求工程（RE）方面缺乏结构化指导的问题。
• 识别并定义针对数据为中心系统、特别是与数据驱动行为相关质量需求的新型需求类别。
• 提出一种集成基于 artefact 建模的 DCS 开发概念流程，以提升可追溯性与抽象管理。
• 调查工业环境中数据为中心系统的需求工程挑战，以增强实际适用性。
• 将数据为中心的 artefact 和需求类别整合到传统 RE 框架中，以支持非确定性、数据密集型系统开发。

提出的方法

• 提出一种新颖的 DCS 开发流程，通过基于 artefact 的建模来表示数据与系统行为。
• 为数据为中心系统引入新型需求类别，包括数据质量、模型性能和数据血缘相关问题。
• 将数据流图、数据血缘记录和模型训练日志等数据为中心的 artefact 定义为核心建模构件。
• 采用定性工业调查方法，识别现实世界 DCS 开发中反复出现的需求工程挑战。
• 将所提出的 artefact 和需求类别整合到现有 RE 框架中，以支持可追溯性与抽象控制。
• 采用研究预览格式，基于反馈与工业洞察持续迭代优化该方法。

实验结果

研究问题

• RQ1 针对依赖人工智能/机器学习组件的数据为中心系统，其关键质量需求类别是什么？
• RQ2 如何对数据为中心的 artefact 进行形式化建模，并将其整合到需求工程生命周期中？
• RQ3 工业实践者在管理数据为中心系统需求时面临的主要挑战是什么？
• RQ4 传统 RE 方法如何适应人工智能/机器学习系统所具有的非确定性与数据依赖行为？
• RQ5 为有效表示 DCS 中的数据流与依赖关系，需要哪些抽象层次与建模构件？

主要发现

• 作者识别出数据质量、模型鲁棒性、数据血缘和模型可解释性是数据为中心系统中的关键质量需求类别。
• 所提出的基于 artefact 的方法可显著提升系统开发各阶段中数据与模型依赖关系的可追溯性与管理能力。
• 工业实践者在指定和演化数据密集型系统需求时面临重大挑战，主要源于动态数据依赖关系与非确定性行为。
• 将数据为中心的 artefact 整合到 RE 流程中，有助于提升对系统行为的理解，并促进各利益相关方之间的沟通。
• 研究强调需要开发超越传统功能性与非功能性需求的新建模构件，以捕捉数据与模型生命周期相关关切。
• 持续调查揭示了当前 RE 实践在生产环境中系统性处理数据质量与模型性能需求方面的空白。