[论文解读] On the Impact of the Model-based Representation of Inconsistencies to Manual Reviews: Results from a Controlled Experiment - Extended Version

Marian Daun, Jennifer Brings+1 more|arXiv (Cornell University)|Jul 10, 2017

Software Engineering Research参考文献 36被引用 6

一句话总结

本研究通过一项受控实验，评估了两种基于模型的不一致需求表示方法——独立图表与带注释的集成图表——的效果。结果表明，集成图表显著提升了评审效率，同时未降低有效性，支持在人工需求评审中使用集成图表以简化不一致性的检测。

ABSTRACT

To ensure fulfilling stakeholder wishes, it is crucial to validate the documented requirements. This is often complicated by the fact that the wishes and intentions of different stakeholders are somewhat contradictory, which manifests itself in inconsistent requirements. To aid requirements engineers in identifying and resolving inconsistent requirements, we investigated the usefulness for manual reviews of two different model-based representation formats for inconsistent requirements; one that represent the inconsistent requirements in separate diagrams and one that represents them integrated into one diagram using annotations. The results from a controlled experiment show that the use of such integrated review diagrams can significantly increase efficiency of manual reviews, without sacrificing effectiveness.

研究动机与目标

• 调查不同基于模型的不一致需求表示方法对人工评审过程的影响。
• 比较独立图表与带注释的集成图表在识别不一致性方面的效率与有效性。
• 评估基于模型的表示方法是否能更有效地支持需求工程师解决利益相关者的冲突愿望。
• 为可视化格式对需求工程中人工评审表现的影响提供实证证据。

提出的方法

• 通过一项受控实验，比较两种可视化格式：独立图表与带注释的集成图表，参与者为软件工程从业者。
• 设计了两种基于模型的表示方法：一种使用独立图表表示不一致需求，另一种通过视觉注释将不一致性整合到单一图表中。
• 收集了两种格式下评审时间、检测到的不一致性数量以及评审准确性的数据。
• 使用统计分析比较两种表示格式的性能指标。
• 根据需求工程经验筛选参与者，以确保评审条件的真实可靠。
• 使用真实世界的需求场景标准化评审任务，以保证生态效度。

实验结果

研究问题

• RQ1 与独立图表相比，使用带注释的集成图表是否能提高人工评审的效率？
• RQ2 使用集成图表时，人工评审的有效性（以不一致性检测能力衡量）是否得以保持或提升？
• RQ3 不同基于模型的表示方法如何影响完成不一致需求人工评审所花费的时间？
• RQ4 参与者在识别不一致性方面，对集成图表的有用性感知程度是否显著高于独立图表？

主要发现

• 与独立图表相比，带注释的集成图表显著减少了评审时间，表明效率得到提升。
• 使用集成图表时，不一致性检测率保持较高水平，表明有效性未受影响。
• 参与者表示在使用集成图表识别不一致性时，感知到更高的可用性和清晰度。
• 结果表明，集成的基于模型的表示方法可在不牺牲准确性的情况下，支持更快、更直观的人工评审。
• 统计分析证实，集成图表格式在评审效率方面具有显著优势。
• 本研究为集成可视化表示方法可增强需求工程中人工评审流程提供了实证证据。