[论文解读] Searching publications on software testing

C.A. Middelburg|arXiv (Cornell University)|Aug 16, 2010

Software Testing and Debugging Techniques参考文献 38被引用 17

一句话总结

本文研究了工业界实践中软件测试的形式化，发现目前尚无理论或形式化方法能够捕捉其核心实用概念——在特定条件下执行代码，观察其效果，并评估结果。研究揭示了一个关键缺口：尽管数十年来持续研究，软件测试仍缺乏严谨的理论基础以将其与其它分析方法区分开来，且在存在其他分析方法时，也缺乏基于证据的合理依据来说明为何测试更优。

ABSTRACT

This note concerns a search for publications in which the pragmatic concept of a test as conducted in the practice of software testing is formalized, a theory about software testing based on such a formalization is presented or it is demonstrated on the basis of such a theory that there are solid grounds to test software in cases where in principle other forms of analysis could be used. This note reports on the way in which the search has been carried out and the main outcomes of the search. The message of the note is that the fundamentals of software testing are not yet complete in some respects.

研究动机与目标

• 确定文献中是否存在对软件测试实用概念的形式化版本。
• 评估软件测试理论是否基于对实际测试流程的扎实理解。
• 调查在其他分析形式可用时，是否存在理论基础支持选择软件测试而非其他分析方法。
• 识别尽管已有数十年的实践与研究，为何软件测试在概念上仍发展不足。

提出的方法

• 使用 Google Scholar、ACM 数字图书馆、IEEE Xplore、SpringerLink、ScienceDirect、DBLP 和计算机科学文献目录进行系统性搜索。
• 自 1951 年起，以五年为间隔进行搜索，使用全文查询检索 'program testing' 和 'software testing'，以覆盖历史背景。
• 追踪引用网络，识别基础性与相关性出版物，重复该过程直至不再发现新的相关文献。
• 将全文搜索结果与期刊文献库及文献目录中的定向搜索结果进行对比，以确保完整性。
• 分析出版物中是否包含对测试概念的形式化，以及是否提供测试优于其他分析方法的理论依据。
• 评估现有理论是否承认代码执行与效果观察在测试中的核心作用。

实验结果

研究问题

• RQ1 是否存在任何电子可获取的出版物，正式定义了软件测试的实用概念，即包含代码执行、条件设定、效果观察与评估？
• RQ2 现有的软件测试理论是否提供了坚实的理论基础，以将其与其它软件分析形式区分开来？
• RQ3 在其他分析技术可用的情况下，是否存在理论基础支持优先选择软件测试而非其他分析方法？
• RQ4 为何测试的核心特征——执行与效果观察——在软件测试的理论模型中始终被系统性地忽略？

主要发现

• 没有任何电子可获取的出版物正式将软件测试的实用概念定义为包含代码执行、条件设定、效果观察与评估。
• 现有的软件测试理论并未纳入执行与观察这一核心要素，尽管它在测试实践中具有中心地位。
• 尽管某些理论看似承认测试涉及执行代码与观察结果，但其理论发展过程中仍系统性地遗忘了这一基础概念。
• 在其他分析方法可用时，尚无基于证据的合理依据说明为何应优先选择软件测试。
• 文献中缺乏一种形式化理论，以区分软件测试与其他静态或形式化分析方法。
• 国际电联的推荐标准 Z.500 是少数深入讨论测试的文件之一，但其并未对测试概念进行形式化。