[论文解读] Useful Statistical Methods for Human Factors Research in Software Engineering: A Discussion on Validation with Quantitative Data

Lucas Gren, Alfredo Goldman|Chalmers Research (Chalmers University of Technology)|Apr 4, 2019

Software Engineering Techniques and Practices参考文献 26被引用 6

一句话总结

本文倡导在软件工程领域的人因研究中采用成熟的统计验证技术——Cronbach’s alpha、重测信度和探索性因子分析。它展示了这些方法如何提升调查工具的建构效度与信度，确保度量真正反映预期的心理构念，从而提高实证软件工程研究的科学严谨性。

ABSTRACT

In this paper we describe the usefulness of statistical validation techniques for human factors survey research. We need to investigate a diversity of validity aspects when creating metrics in human factors research, and we argue that the statistical tests used in other fields to get support for reliability and construct validity in surveys, should also be applied to human factors research in software engineering more often. We also show briefly how such methods can be applied (Test-Retest, Cronbach's α, and Exploratory Factor Analysis).

研究动机与目标

• 解决软件工程研究中人因调查缺乏严谨统计验证的问题。
• 突出技术性软件工程实践与人因研究中心理测量验证应用不足之间的差距。
• 倡导在软件工程调查研究中采纳心理学与社会科学领域中已确立的统计方法，以加强研究的科学性。
• 通过确保调查工具在统计分析前具备可靠性和有效性，提升人因研究的科学可信度。
• 降低因基于未经验证或测量不佳的构念而发表研究，导致结论误导的风险。

提出的方法

• 利用重测信度评估调查响应随时间的稳定性，确保测量的一致性。
• 应用Cronbach’s alpha评估多项目调查量表的内部一致性与信度。
• 采用探索性因子分析（EFA）识别潜在构念，并将相关调查项目归入一致的因子。
• 使用Kaiser-Meyer-Olkin（KMO）度量和Bartlett球形检验评估进行EFA前的抽样充分性与相关性结构。
• 应用特征值>1及因子旋转（正交或斜交）从调查数据中提取并解释有意义的因子。
• 依赖偏像相关矩阵识别并剔除项目间相关性较低的条目，以提升量表质量。

实验结果

研究问题

• RQ1 统计验证技术如何提升软件工程中人因调查的信度与效度？
• RQ2 为何在缺乏测量工具验证的情况下对调查数据进行推论性统计检验存在问题？
• RQ3 Cronbach’s alpha和因子分析等既定心理测量方法在软件工程研究中的适用性与益处有多大？
• RQ4 正确应用探索性因子分析于软件工程调查数据时，其关键假设与步骤是什么？
• RQ5 软件工程研究界如何缩小与更成熟的社会科学领域在统计验证实践方面的差距？

主要发现

• Cronbach’s alpha、重测信度和探索性因子分析等统计验证技术显著提升了人因研究中调查工具的信度与建构效度。
• KMO > 0.5和Bartlett球形检验显著是进行有意义因子分析的前提条件，确保项目间存在足够的相关性。
• Cronbach’s alpha值高于0.7通常被视为内部一致性可接受，而低于0.5则表明信度较差，需修订条目。
• 因子分析有助于识别调查条目是否聚合成一致的构念，斜交旋转可揭示潜在因子间的相关性，从而提升构念解释力。
• 目前许多软件工程中的人因研究缺乏此类验证，尽管进行了统计检验，但结论仍存疑。
• 采纳的主要障碍是研究人员统计素养不足，而非工具不可用，因为大多数方法已在广泛使用的统计软件中实现。