[论文解读] Synthesizing adaptive test strategies from temporal logic specifications

Roderick Bloem, Robert Könighofer+2 more|arXiv (Cornell University)|Oct 3, 2016

Software Testing and Debugging Techniques参考文献 40被引用 1

一句话总结

本文提出一种方法，利用时序逻辑规范自动合成反应式系统的自适应测试策略，通过部分信息下的反应式合成生成可检测从单次出现到持久故障的各类故障的测试。该方法确保对可控与不可控系统行为均实现测试覆盖，在工业规模规范上表现出有效性。

ABSTRACT

Constructing good test cases is difficult and time-consuming, especially if the system under test is still under development and its exact behavior is not yet fixed. We propose a new approach to compute test cases for reactive systems from a given temporal logic specification. The tests are guaranteed to reveal certain simple bugs (like occasional bit-flips) in every realization of the specification and for every behavior of the uncontrollable part of the system's environment. We aim at unveiling faults for the lowest of four fault occurrence frequencies possible (ranging from a single occurrence to persistence). Based on well-established hypotheses from fault-based testing, we argue that such tests are also sensitive for more complex bugs. Since the specification may not define the system behavior completely, we use reactive synthesis algorithms (with partial information) to compute adaptive test strategies that react to behavior at runtime. We work out the underlying theory and present first experiments demonstrating that our approach can be applied to industrial specifications and that the resulting strategies are capable of detecting bugs that are hard to detect with random testing.

研究动机与目标

• 解决在系统行为未完全指定的早期开发阶段，为反应式系统生成有效测试用例的挑战。
• 确保测试用例能够检测到故障，无论环境的不可控行为如何，从而增强鲁棒性。
• 合成能够动态响应运行时系统行为的自适应测试策略，以提高故障检测能力。
• 验证从时序逻辑规范导出的测试对复杂错误具有敏感性，而不仅限于简单错误（如位翻转）。
• 在真实工业规范上展示方法的可行性与有效性，超越随机测试的局限性。

提出的方法

• 该方法使用时序逻辑规范定义期望的系统行为和故障条件。
• 应用具有部分信息的反应式合成，生成能够响应运行时输入和系统响应的自适应测试策略。
• 该方法假设故障假设已确立，确保可检测从单次出现到持久故障的所有故障。
• 它生成的策略可保证在规范的每个实现和每种环境行为下，均能暴露某些简单故障。
• 该方法整合故障敏感性假设，将检测能力扩展至更复杂的故障，而不仅限于基本故障。
• 在工业规模规范上开展实验，以验证该方法的可扩展性与有效性。

实验结果

研究问题

• RQ1 能否利用时序逻辑规范合成可检测所有四类故障频率级别的测试策略？
• RQ2 当系统行为未完全指定时，如何合成自适应测试策略？
• RQ3 所生成的测试在多大程度上能检测出超越简单位翻转的复杂故障？
• RQ4 该方法能否有效应用于真实工业规范？
• RQ5 该方法在检测难以发现的故障方面，如何优于随机测试？

主要发现

• 合成的测试策略能够检测从单次出现到持久故障的所有四类故障频率级别。
• 该方法生成的自适应策略能够响应运行时行为，确保对不可控环境输入具有鲁棒性。
• 由于底层故障假设的存在，从该方法导出的测试对复杂故障具有敏感性，而不仅限于位翻转等简单故障。
• 该方法适用于工业规模规范，展示了实际可行性。
• 所生成的测试策略在检测细微且难以发现的故障方面优于随机测试。
• 实验结果证实，即使在系统行为部分未定义的情况下，该方法仍能生成有效且系统化的测试用例。