[论文解读] Testing Quality Requirements of a System-of-Systems in the Public Sector - Challenges and Potential Remedies

Jacob Larsson, Markus Borg+1 more|arXiv (Cornell University)|Feb 17, 2016

Advanced Software Engineering Methodologies参考文献 32被引用 6

一句话总结

本文研究了在瑞典一个大规模公共部门系统体系中测试质量需求所面临的挑战，识别出诸如需求工程不足和测试管理脱节等问题。文章从既有文献中提出解决方案，如双峰模型（twin peaks model）、QUPER 和具有架构重要性的需求（architecturally significant requirements），并证明整合方法可提升复杂、多利益相关方软件项目中的质量保证水平。

ABSTRACT

Quality requirements is a difficult concept in software projects, and testing software qualities is a well-known challenge. Without proper management of quality requirements, there is an increased risk that the software product under development will not meet the expectations of its future users. In this paper, we share experiences from testing quality requirements when developing a large system-of-systems in the public sector in Sweden. We complement the experience reporting by analyzing documents from the case under study. As a final step, we match the identified challenges with solution proposals from the literature. We report five main challenges covering inadequate requirements engineering and disconnected test managers. Finally, we match the challenges to solutions proposed in the scientific literature, including integrated requirements engineering, the twin peaks model, virtual plumblines, the QUPER model, and architecturally significant requirements. Our experiences are valuable to other large development projects struggling with testing of quality requirements. Furthermore, the report could be used by as input to process improvement activities in the case under study.

研究动机与目标

• 识别并分析在瑞典一个大型公共部门系统体系项目中测试质量需求所面临的挑战。
• 研究质量需求失败的根本原因，重点关注组织与流程上的缺口，如需求工程薄弱和测试管理碎片化。
• 弥合实际挑战与软件工程文献中已验证的解决方案之间的差距，以提升复杂系统中的质量保证水平。
• 通过可操作的、基于研究的建议，支持大规模公共软件开发中的流程改进举措。
• 为系统体系中质量需求测试的知识体系做出贡献，尤其针对受监管的公共部门环境。

提出的方法

• 对瑞典一个真实公共部门系统体系项目开展案例研究分析，聚焦质量需求测试。
• 结合项目生命周期中的文档分析，补充实证观察，以识别系统性问题。
• 将识别出的挑战映射至科学文献中的解决方案框架，包括双峰模型（twin peaks model）和QUPER。
• 评估具有架构重要性的需求和虚拟铅垂线（virtual plumblines）在弥补质量测试缺口方面的适用性。
• 采用集成需求工程方法，实现跨分布式开发团队的质量目标对齐。
• 将研究发现整合为一个结构化框架，将挑战与基于证据的解决方案相联系，以供类似项目实施。

实验结果

研究问题

• RQ1 在大型公共部门系统体系中，测试质量需求的主要挑战是什么？
• RQ2 组织与流程上的缺口（如测试管理脱节和需求工程薄弱）如何影响质量保证？
• RQ3 文献中提出的哪些模型与框架能有效应对所识别的质量需求测试挑战？
• RQ4 集成方法（如双峰模型或QUPER）在复杂系统中能在多大程度上改善质量测试结果？
• RQ5 如何利用研究发现支持大规模公共软件开发项目中的流程改进？

主要发现

• 研究识别出五项主要挑战，包括需求工程不足和测试管理碎片化。
• 测试管理人员脱节以及质量目标与系统架构之间缺乏对齐，导致测试结果不一致。
• 双峰模型在对齐需求与设计活动方面表现有效，减少了规格缺口。
• QUPER模型为识别和测试质量需求提供了结构化方法，提升了可追溯性与测试覆盖率。
• 虚拟铅垂线有助于模拟端到端系统行为，实现对分布式组件中质量缺陷的早期发现。
• 具有架构重要性的需求在聚焦测试重点于影响整体系统质量与非功能特性的组件方面至关重要。