[论文解读] Reinforcement Learning-Driven Test Generation for Android GUI Applications using Formal Specifications

Yavuz Köroglu, Alper Şen|arXiv (Cornell University)|Nov 13, 2019

Software Testing and Debugging Techniques参考文献 40被引用 12

一句话总结

FARLEAD-Android 是一个针对 Android GUI 应用程序的全自动测试生成框架，利用强化学习（RL）生成满足用户定义的线性时序逻辑（LTL）规范的测试。它通过将形式化规范作为显式的测试预言机，相较于随机测试、Monkey 测试和 QBEa，在生成功能正确测试方面表现更优，实现了更高的有效性和效率，能够精准针对特定的 GUI 行为。

ABSTRACT

There have been many studies on automated test generation for mobile Graphical User Interface (GUI) applications. These studies successfully demonstrate how to detect fatal exceptions and achieve high code and activity coverage with fully automated test generation engines. However, it is unclear how many GUI functions these engines manage to test. Furthermore, these engines implement only implicit test oracles. We propose Fully Automated Reinforcement LEArning-Driven Specification-Based Test Generator for Android (FARLEAD-Android). FARLEAD-Android accepts a GUI-level formal specification as a Linear-time Temporal Logic (LTL) formula. By dynamically executing the Application Under Test (AUT), it learns how to generate a test that satisfies the LTL formula using Reinforcement Learning (RL). The LTL formula does not just guide the test generation but also acts as a specified test oracle, enabling the developer to define automated test oracles for a wide variety of GUI functions by changing the formula. Our evaluation shows that FARLEAD-Android is more effective and achieves higher performance in generating tests for specified GUI functions than three known approaches, Random, Monkey, and QBEa. To the best of our knowledge, FARLEAD-Android is the first fully automated mobile GUI testing engine that uses formal specifications.

研究动机与目标

• 为自动化 GUI 测试中现有工具虽能实现高代码和活动覆盖率，但难以有效测试关键 GUI 功能这一空白提供解决方案。
• 通过将形式化规范（特别是 LTL）集成到测试过程中，实现完全自动化的测试生成，并提供显式的测试预言机。
• 通过允许开发人员使用 LTL 公式指定期望的 GUI 行为，减少手动定义测试预言机的工作量。
• 通过使用强化学习学习最优动作序列以满足 LTL 规范，提升测试生成的效率和有效性。
• 通过将测试编码为 LTL 公式而非设备特定的动作序列，实现可移植的、与设备无关的测试生成。

提出的方法

• FARLEAD-Android 使用一个强化学习代理，以动态、实时的方式与被测应用（AUT）交互，学习最优动作序列。
• 强化学习代理根据当前状态是否满足 LTL 规范的部分内容来获得奖励，从而引导其生成完全满足公式的测试。
• 状态空间包括 GUI 组件状态、活动转换以及上下文属性（如崩溃检测），而动作则为 GUI 交互操作（如点击、滑动）。
• LTL 公式同时作为测试预言机和目标函数，使强化学习代理能够学习生成满足形式化行为要求的测试策略。
• 该框架支持虚拟设备（Android 模拟器）和物理 Android 设备，生成的测试以 LTL 公式形式存储，确保可移植性和可重用性。
• 当 LTL 公式被成功满足时，强化学习训练过程会提前终止，避免不必要的探索，降低执行成本。

实验结果

研究问题

• RQ1 基于强化学习的测试生成器能否有效生成满足 Android GUI 应用程序形式化 LTL 规范的测试？
• RQ2 FARLEAD-Android 在生成功能正确测试方面，相较于随机测试、Monkey 测试和 QBEa 等传统方法的性能如何？
• RQ3 LTL 规范的详细程度在多大程度上影响测试生成的有效性和效率？
• RQ4 基于 LTL 的测试预言机机制是否能够检测出超出致命异常和覆盖率指标的功能性错误？
• RQ5 通过将测试逻辑编码为 LTL 公式而非动作序列，是否可行实现可移植的、与设备无关的测试？

主要发现

• FARLEAD-Android 在生成满足给定 LTL 规范的测试方面优于随机测试、Monkey 测试和 QBEa，展现出更高的有效性，能够更精准地针对特定 GUI 功能。
• 通过将 LTL 作为显式测试预言机使用，该框架在测试生成方面实现了更高性能，能够精确验证 GUI 行为，而不仅限于崩溃检测或覆盖率。
• 在 LTL 公式被满足时提前终止强化学习过程，相比标准的 RL-LTL 方法，显著减少了所需步骤数，降低了执行成本。
• 使用 LTL 公式编码测试可实现与设备无关的测试生成，因为逻辑抽象掉了设备特定的坐标和操作。
• 该框架成功复现了已知的缺陷，并在实验应用中发现了两个新缺陷，已通过问题跟踪系统报告给开发人员。
• FARLEAD-Android 的有效性随着 LTL 规范的细化而提升，表明规范的精确性直接带来更优的测试生成结果。