[论文解读] What is Software Quality for AI Engineers? Towards a Thinning of the Fog

Valentina Golendukhina, Valentina Lenarduzzi+1 more|arXiv (Cornell University)|Mar 23, 2022

Software Engineering Research被引用 6

一句话总结

本研究通过针对10家奥地利中小型企业的半结构化访谈，调查了人工智能/机器学习（AI/ML）组件的软件质量保障（SQA）实践。研究识别出在开发、集成和维护过程中出现的12项关键质量问题，其根本原因包括代码质量差、缺乏培训以及测试不足——为提升AI工程中的SQA提供了基础性洞见。

ABSTRACT

It is often overseen that AI-enabled systems are also software systems and therefore rely on software quality assurance (SQA). Thus, the goal of this study is to investigate the software quality assurance strategies adopted during the development, integration, and maintenance of AI/ML components and code. We conducted semi-structured interviews with representatives of ten Austrian SMEs that develop AI-enabled systems. A qualitative analysis of the interview data identified 12 issues in the development of AI/ML components. Furthermore, we identified when quality issues arise in AI/ML components and how they are detected. The results of this study should guide future work on software quality assurance processes and techniques for AI/ML components.

研究动机与目标

• 了解奥地利中小型企业在AI/ML组件开发过程中如何应用软件质量保障（SQA）实践。
• 识别在现实环境中AI/ML组件开发、集成和维护过程中出现的具体质量问题。
• 研究在工业背景下AI/ML系统中质量问题的发现时机与方式。
• 为改进AI工程师的SQA流程与培训提供可操作的洞见，弥补当前实践中的空白。

提出的方法

• 对10家开发AI增强系统的奥地利中小企业代表进行了半结构化访谈。
• 聚焦于从业者在整个AI/ML开发生命周期（开发、集成和维护）中的实践经验。
• 采用定性数据分析方法，识别AI/ML质量保障中的重复主题与问题。
• 使用结构化访谈指南，通过开放式问题探索SQA策略、挑战及检测机制。
• 通过四位研究人员的同行评审与交叉核对，验证研究发现，以确保一致性和可靠性。
• 根据问题的来源、检测时间点及根本原因，对质量问题进行分类与记录。

实验结果

研究问题

• RQ1 中小企业在AI/ML组件的开发、集成和维护过程中，主要采用哪些软件质量保障（SQA）策略？
• RQ2 在工业环境中，AI/ML组件的开发与维护过程中会浮现哪些具体质量问题？
• RQ3 根据从业者反馈，AI/ML系统中的质量问题是在何时以及如何被发现的？
• RQ4 据中小企业AI工程师报告，AI/ML组件中软件质量差的根本原因是什么？
• RQ5 当前AI/ML的SQA实践与传统软件工程实践有何不同？存在哪些空白？

主要发现

• 在AI/ML组件开发过程中识别出12项不同的质量问题，包括与代码质量、配置以及模型训练相关的问题。
• 许多质量问题源于AI工程师在软件工程实践方面缺乏正式培训，导致编码标准差和技术债务累积。
• 质量问题通常在集成和维护阶段出现，尤其是由于数据管道变更、模型版本更新及库更新所致。
• 质量问题的检测往往具有被动性和非正式性，依赖人工检查或错误报告，而非系统性测试或监控。
• 大量问题与ML库（如TensorFlow）的错误使用有关，包括参数配置错误和数组大小不匹配。
• 软件工程与机器学习社区之间在术语和期望上存在显著差异，加剧了SQA流程中的混淆与错误。