[论文解读] Use and evaluation of simulation for software process education: a case study

Nauman bin Ali, Michael Unterkalmsteiner|arXiv (Cornell University)|Jul 24, 2023

Software Engineering Techniques and Practices被引用 4

一句话总结

本研究评估了在研究生项目管理课程中使用软件过程仿真（SimSE）以提升学生论证其选择的软件开发过程的能力。基于扩展的基于证据推理（EBR）框架，研究发现SimSE显著提高了学生在课程结束后的论证强度，尽管评估过程相比传统方法仍较为耗时。

ABSTRACT

Software Engineering is an applied discipline and concepts are difficult to grasp only at a theoretical level alone. In the context of a project management course, we introduced and evaluated the use of software process simulation (SPS) based games for improving students' understanding of software development processes. The effects of the intervention were measured by evaluating the students' arguments for choosing a particular development process. The arguments were assessed with the Evidence-Based Reasoning framework, which was extended to assess the strength of an argument. The results indicate that students generally have difficulty providing strong arguments for their choice of process models. Nevertheless, the assessment indicates that the intervention of the SPS game had a positive impact on the students' arguments. Even though the illustrated argument assessment approach can be used to provide formative feedback to students, its use is rather costly and cannot be considered a replacement for traditional assessments.

研究动机与目标

• 解决学生在项目管理课程中难以为其选择的软件过程模型提供合理论证的问题。
• 探究软件过程仿真（SPS）是否能增强学生对过程选择影响的理解。
• 评估基于证据推理（EBR）框架在评估过程选择论证强度方面的有效性。
• 探索在真实课程环境中使用SimSE的可行性及其影响，而非在受控实验中进行。
• 利用详细的分析框架，为论证质量提供形成性反馈。

提出的方法

• 在研究生水平的《应用软件项目管理》（ASPM）课程中实施SimSE——一种软件过程仿真游戏，作为教学干预手段。
• 在课程开始（项目管理计划）和结束（事后总结）两个时间点收集学生关于过程模型选择的报告。
• 应用扩展的基于证据推理（EBR）框架评估论证强度，分析其组成部分：前提、规则和证据/数据。
• 根据EBR各组成部分的完整性和逻辑一致性，将论证分类为强、弱或无效。
• 使用卡方独立性检验比较2012年与2013年课程年份的论证质量（有无SimSE干预）。
• 对论证组成部分进行定性分析，以识别差距（如缺少数据分析），从而提供形成性反馈。

实验结果

研究问题

• RQ1 使用软件过程仿真（SimSE）是否能提升学生构建强有力、基于证据的论证以选择软件过程模型的能力？
• RQ2 在有无SimSE干预的课程实例中，过程模型选择的论证质量有何差异？
• RQ3 EBR框架在多大程度上可用于评估并为学生在软件过程选择中的推理提供反馈？
• RQ4 在真实课程环境中使用EBR框架评估学生论证时面临哪些实际挑战？

主要发现

• 卡方检验显示，事后总结作业的论证质量存在统计学上显著的差异（χ² = 8.608，df = 2，p值 = 0.009），表明2013年使用SimSE后论证强度有所提升。
• 2013级学生在课程结束后的个人作业中，强论证的比例高于2012级，表明SimSE对理解能力有积极影响。
• 尽管有干预措施，大多数作业仍包含弱论证或无效论证，尤其因缺少数据分析或证据不足所致。
• EBR框架成功识别出具体的论证缺陷（如缺乏数据解读），从而实现了有针对性的形成性反馈。
• 2013年所有小组均选择了轻量级、以人为本的过程模型（如Scrum），而2012年大多数小组选择了计划驱动型模型，表明学生对情境的理解有所改善。
• 使用EBR进行论证评估耗时较长，每份报告需10至30分钟，凸显其相比简单评分表评估的成本障碍。