[论文解读] Regression Testing of Virtual Prototypes Using Symbolic Execution

Bin Lin, Dejun Qian|arXiv (Cornell University)|Jan 22, 2016

Software Testing and Debugging Techniques参考文献 26被引用 5

一句话总结

本文提出了一种基于符号执行的回归测试方法，用于跨软件版本的虚拟原型验证。通过从新版本中收集路径约束，并利用这些约束引导旧版本中的符号执行，该方法系统性地比较设备状态以检测行为差异，在真实世界的虚拟原型中表现出高效且有效的回归缺陷检测能力。

ABSTRACT

Recently virtual platforms and virtual prototyping techniques have been widely applied for accelerating software development in electronics companies. It has been proved that these techniques can greatly shorten time-to-market and improve product quality. One challenge is how to test and validate a virtual prototype. In this paper, we present how to conduct regression testing of virtual prototypes in different versions using symbolic execution. Suppose we have old and new versions of a virtual prototype, we first apply symbolic execution to the new version and collect all path constraints. Then the collected path constraints are used for guiding the symbolic execution of the old version. For each path explored, we compare the device states between two versions to check if they behave the same. We have applied this approach to a widely-used virtual prototype and detected numerous differences. The experimental results show that our approach is useful and efficient.

研究动机与目标

• 为解决电子与嵌入式系统在迭代开发周期中验证虚拟原型的挑战。
• 通过自动化检测旧版与新版虚拟原型之间的行为差异，降低手动回归测试的工作量与风险。
• 通过在虚拟平台中早期且精确地识别回归缺陷，提升上市速度与产品质量。
• 提供一种可扩展且精确的方法，利用符号执行验证不同版本虚拟原型之间的功能一致性。

提出的方法

• 对虚拟原型的新版本应用符号执行，以提取执行路径上的所有路径约束。
• 重用新版本中收集到的路径约束，引导旧版本中的符号执行，确保路径探索的一致性。
• 针对两个版本中对应的每条路径，比较设备状态（如寄存器值、内存内容）以检测行为差异。
• 该方法利用符号执行同时探索多条输入路径的能力，提升测试覆盖率与精度。
• 使用约束求解器生成满足路径约束的输入，以系统性地探索复杂的控制流。
• 将该方法集成到虚拟平台环境中，以支持嵌入式软件的真实世界验证。

实验结果

研究问题

• RQ1 符号执行能否有效识别不同版本虚拟原型之间的行为回归？
• RQ2 如何重用新版本的路径约束来指导旧版本的测试？
• RQ3 该方法在检测真实世界虚拟原型中的功能差异时，其可扩展性与精度如何？
• RQ4 与传统回归测试相比，该方法在测试覆盖率和误报率方面表现如何？

主要发现

• 该方法成功检测出广泛使用的虚拟原型在旧版与新版之间的多种行为差异。
• 通过利用新版本的约束系统性地探索路径，该方法实现了较高的测试覆盖率。
• 符号执行的使用减少了手动测试用例的创建需求，并提升了回归测试的精度。
• 实验评估证实了该方法在真实嵌入式系统开发工作流中的高效性与实用性。