[论文解读] What Makes Agile Test Artifacts Useful? An Activity-Based Quality Model from a Practitioners' Perspective

Jannik Fischbach, Henning Femmer+3 more|arXiv (Cornell University)|Sep 3, 2020

Software Engineering Research被引用 4

一句话总结

本研究基于来自12家公司的18名从业者的工业调查，提出了一种基于活动的测试资产质量模型（ABAQM），用于敏捷测试资产。该模型识别出16个具体的质量因素，使测试资产（如验收标准、测试文档和单元测试）在实践中更具实用性，强调语言清晰度、可追溯性和自动化，以提升测试效率和质量。

ABSTRACT

Background: The artifacts used in Agile software testing and the reasons why these artifacts are used are fairly well-understood. However, empirical research on how Agile test artifacts are eventually designed in practice and which quality factors make them useful for software testing remains sparse. Aims: Our objective is two-fold. First, we identify current challenges in using test artifacts to understand why certain quality factors are considered good or bad. Second, we build an Activity-Based Artifact Quality Model that describes what Agile test artifacts should look like. Method: We conduct an industrial survey with 18 practitioners from 12 companies operating in seven different domains. Results: Our analysis reveals nine challenges and 16 factors describing the quality of six test artifacts from the perspective of Agile testers. Interestingly, we observed mostly challenges regarding language and traceability, which are well-known to occur in non-Agile projects. Conclusions: Although Agile software testing is becoming the norm, we still have little confidence about general do's and don'ts going beyond conventional wisdom. This study is the first to distill a list of quality factors deemed important to what can be considered as useful test artifacts.

研究动机与目标

• 识别敏捷测试人员在实际项目中使用测试资产时面临的实际挑战。
• 理解为何某些质量因素在敏捷测试工作流中被视为有益或有害。
• 开发一个基于实证研究的、基于活动的质量模型，从从业者视角定义高质量测试资产应具备的特征。
• 超越抽象的规范标准，将质量标准建立在实际测试活动和利益相关者需求的基础之上。

提出的方法

• 通过一对一访谈对来自七个领域12家公司的18名经验丰富的敏捷从业者开展了定性工业调查。
• 应用基于活动的测试资产质量模型（ABAQM）框架，将资产属性与利益相关者活动及质量结果关联起来。
• 采用迭代问卷设计，结合试点测试和内部/外部验证，确保问题的相关性和清晰度。
• 对访谈记录进行主题分析，提取挑战和质量因素，并通过成员核对确保可信度。
• 将识别出的质量因素映射到具体测试资产（如验收标准、单元测试）上，并与利益相关者活动建立关联。
• 通过内部审查和参与者反馈验证研究发现，以减少研究者偏见并增强建构效度。

实验结果

研究问题

• RQ1 敏捷从业者在其日常测试活动中使用测试资产时面临哪些挑战？
• RQ2 从测试人员及其他利益相关者的视角看，哪些具体质量因素会影响敏捷测试资产的实用性？
• RQ3 测试资产的质量因素如何与敏捷测试工作流中所支持的活动相关联？
• RQ4 现有规范标准在多大程度上未能捕捉敏捷测试资产的实际质量需求？

主要发现

• 识别出九项关键挑战，其中‘缺乏可追溯性’和‘验收标准不明确’是最常被提及的问题。
• 最关键的質量因素包括語言表達的清晰度、各資產之間的正確可追溯性，以及測試資產的版本控制一致性。
• 從業者報告指出，測試結果記錄不完整以及測試數據缺失顯著降低了測試的有效性。
• 自動化驗收測試經常被指出是缺失或未充分實施的因素，導致手動工作量增加。
• 單元測試經常因代碼覆蓋率不足和缺乏維護而受到批評，從而削弱了長期測試的可靠性。
• 本研究揭示，儘管敏捷原則提倡最小化文檔，但團隊在品質保證和團隊協作方面仍高度依賴設計良好的測試資產。