[论文解读] Using Cognitive Dimensions Questionnaire to Evaluate the Usability of Security APIs

Chamila Wijayarathna, Nalin Asanka Gamagedara Arachchilage+2 more|arXiv (Cornell University)|Jan 1, 2017

Software Engineering Research被引用 1

一句话总结

本研究评估了认知维度问卷——包括原始的Clarke（2004）版本和改进的专用安全版本——在识别安全API可用性问题方面的有效性。改进后的问卷揭示了显著更多的可用性问题（每位参与者11.6个， vs. 原始版本的8.0个），并捕捉到了观察法所遗漏的高层次洞察，证明其在检测安全API设计中认知可用性问题方面的价值。

ABSTRACT

Usability issues that exist in security APIs cause programmers to embed those security APIs incorrectly to the applications they develop. This results in introduction of security vulnerabilities to those applications. One of the main reasons for security APIs to be not usable is currently there is no proper method by which the usability issues of security APIs can be identified. We conducted a study to assess the effectiveness of the cognitive dimensions questionnaire based usability evaluation methodology in evaluating the usability of security APIs. We used a cognitive dimensions based generic questionnaire to collect feedback from programmers who participated in the study. Results revealed interesting facts about the prevailing usability issues in four commonly used security APIs and the capability of the methodology to identify those issues.

研究动机与目标

• 评估认知维度问卷在评估安全API可用性方面的适用性。
• 比较Clarke（2004）原始问卷与专为安全API设计的改进版本在识别可用性问题方面的有效性。
• 通过程序员参与者的实证评估，识别四个广泛使用安全API中的可用性问题。
• 为安全API开发者提供一种系统化的方法，以在部署前检测并修复可用性缺陷。

提出的方法

• 对7名程序员参与者开展实证研究，使用四种安全API：Bouncycastle、Jasypt、Apache Shiro和Java加密架构（JCA）。
• 参与者完成使用目标安全API进行代码阅读、编写和调试的编程任务。
• 通过两种认知维度问卷收集可用性反馈：Clarke（2004）原始的12维度框架，以及包含安全特定维度的改进15维度版本。
• 结合观察数据（任务表现和代码成果）与问卷反馈，识别可用性问题。
• 采用交集分析比较通过观察与问卷反馈发现的问题。
• 应用分析师三角测量法以提高可靠性，尽管当前分析由单名研究人员完成。

实验结果

研究问题

• RQ1 认知维度问卷方法在识别安全API可用性问题方面的有效性如何？
• RQ2 原始Clarke（2004）问卷与改进的安全专用版本在识别可用性问题方面有何差异？
• RQ3 问卷揭示了哪些类型的问题是直接观察和代码分析所遗漏的？
• RQ4 问卷反馈如何提供关于可用性问题的高层次洞察，而这些洞察在任务表现中无法直接观察到？

主要发现

• 问卷方法平均成功捕捉了74%的全部识别出的可用性问题（标准差 = 17.6%），表明其具有强大的反馈收集效率。
• 仅25.8%通过观察和代码分析识别出的可用性问题也被问卷捕捉到，表明两种方法之间重叠有限。
• 改进问卷每位参与者揭示了11.6个可用性问题（标准差 = 4.6），显著多于原始问卷的8.0个问题/人（标准差 = 3.7）。
• 问卷捕捉到每位参与者8.8个问题（标准差 = 3.8），这些问题是通过任务表现或代码分析无法观察到的，尤其体现在渐进式评估、过早承诺和可测试性等认知维度上。
• 问卷提供了关于问题的高层次洞察，例如函数参数不明确（如Scrypt.generate()），即使问题未被明确陈述。
• 改进问卷中引入的安全特定维度，提升了对关键可用性缺陷的检测能力，如对安全知识前置要求不清晰、难以避免误用等。