[论文解读] SyGuS-Comp 2016: Results and Analysis

Rajeev Alur, Dana Fisman+2 more|arXiv (Cornell University)|Nov 23, 2016

Software Testing and Debugging Techniques参考文献 9被引用 7

一句话总结

本文介绍了并分析了2016年SyGuS-Comp的成果，这是第三届语法引导合成（SyGuS）求解器竞赛。该竞赛引入了一个新的基于示例编程（PBE）赛道，涵盖位向量和字符串理论，对13个求解器在10个赛道中的表现进行了评估，并识别出Cvc4-1.5.1和EUSolver为表现最佳的求解器，其中Cvc4-1.5.1解决了306个基准中的195个，EUSolver在平均表达式紧凑性方面优于其他高性能求解器。

ABSTRACT

Syntax-Guided Synthesis (SyGuS) is the computational problem of finding an implementation f that meets both a semantic constraint given by a logical formula phi in a background theory T, and a syntactic constraint given by a grammar G, which specifies the allowed set of candidate implementations. Such a synthesis problem can be formally defined in SyGuS-IF, a language that is built on top of SMT-LIB. The Syntax-Guided Synthesis Competition (SyGuS-Comp) is an effort to facilitate, bring together and accelerate research and development of efficient solvers for SyGuS by providing a platform for evaluating different synthesis techniques on a comprehensive set of benchmarks. In this year's competition six new solvers competed on over 1500 benchmarks. This paper presents and analyses the results of SyGuS-Comp'17.

研究动机与目标

• 评估并比较13个不同SyGuS求解器在综合性基准测试套件上的表现。
• 引入并评估一个新的基于示例编程（PBE）赛道，包含两个子赛道：位向量和字符串。
• 分析求解器在各类问题中的行为表现，包括数组、不变量、整数算术和运动规划等。
• 提供一种标准化、社区驱动的基准格式，以加速程序合成领域的研究与开发。
• 识别不同问题类型和求解器族之间在求解有效性、效率和表达式大小方面的趋势。

提出的方法

• 竞赛使用SyGuS-IF语言，该语言是SMT-LIB的扩展，用于以逻辑约束和语法定义合成问题。
• 每个基准定义了一个使用语法G、背景理论T中的逻辑公式φ以及输入/输出行为约束的待合成函数。
• 使用评估平台StarExec在受控条件下执行所有求解器，设置时间和内存限制。
• 从多个维度分析结果：解决的基准数量、求解时间（最快与总时间）、以及表达式大小。
• PBE赛道使用扩展了E匹配及字符串/整数操作的SyGuS格式，基准来源于真实用例。
• 通过柱状图和热力图可视化性能指标，以比较不同类别和问题类型下的求解器表现。

实验结果

研究问题

• RQ1 在SyGuS-Comp 2016基准测试套件的多样化问题类别中，哪些求解器表现最佳？
• RQ2 引入包含字符串和位向量理论的新PBE赛道，如何影响求解器的性能和表达能力？
• RQ3 在不同求解器族之间，解决方案的完整性（解决的基准数量）与解决方案紧凑性（表达式大小）之间存在何种权衡？
• RQ4 从SyGuS-Comp 2014到2016年，求解器能力如何演变，特别是在处理复杂基准如不变量合成和整数算术方面？
• RQ5 不同算法方法——枚举式、符号式、SMT基础式或随机式——在特定问题领域中表现如何？

主要发现

• Cvc4-1.5.1在通用赛道中解决了306个基准中的195个，是所有求解器中最高的，且在157个基准中为最快求解。
• EUSolver在所有赛道中总共解决了206个基准，为最高值，且平均表达式紧凑性显著优于Cvc4-1.5.1，其平均表达式大小为30,595.7，而Cvc4-1.5.1为31,580.5。
• 枚举式求解器解决了139个基准，主要在不变量生成和编译器优化任务中表现优异，但在完整性和速度方面均落后于其他求解器。
• 新增的包含字符串和位向量理论的PBE赛道成功扩展了SyGuS的应用范围，EUSolver和Cvc4-1.5.1在这些新类别中表现出色。
• Cvc4-1.5.1和EUSolver的平均表达式大小显著高于其他求解器（11.9–17.1），但这很可能是由于其更高的基准覆盖度所致。
• 许多早期竞赛中曾极具挑战性的基准在2016年被成功解决，表明求解器技术与算法成熟度取得了显著进步。