[论文解读] The Reactive Synthesis Competition (SYNTCOMP): 2018-2021
本文对2018至2021年间的反应式合成竞赛（SYNTCOMP）进行了全面分析，评估了LTL、安全性和parity游戏规范下合成工具的性能与演变。研究引入了新的基准家族，报告了按解决方案质量与可扩展性排序的工具表现，并记录了求解器性能的可测量改进，特别是Strix和ltlsynt工具，同时提出了未来规则变更以增强竞赛的相关性。
We report on the last four editions of the reactive synthesis competition (SYNTCOMP 2018-2021). We briefly describe the evaluation scheme and the experimental setup of SYNTCOMP. Then, we introduce new benchmark classes that have been added to the SYNTCOMP library and give an overview of the participants of SYNTCOMP. Finally, we present and analyze the results of our experimental evaluations, including a ranking of tools with respect to quantity and quality - that is, the total size in terms of logic and memory elements - of solutions.
研究动机与目标
- 通过标准化、独立的竞赛框架，评估反应式合成工具的最先进技术。
- 评估工具在多种规范格式（LTL、安全性、parity游戏）下的可扩展性、解决方案质量与鲁棒性改进。
- 扩展并整理一个持续增长的公开基准库，以反映现实世界的合成挑战。
- 通过竞赛结果的经验分析，识别工具性能趋势，并指导未来开发。
- 更新竞赛规则与基础设施，以维持长期的社区参与度与工业相关性。
提出的方法
- 竞赛使用标准化的基准格式，并通过GitHub上的集中式、公开托管仓库（CC-BY许可）进行管理。
- 使用实际可实现与不可实现的基准对工具进行评估，时间指标包括墙钟时间与用户CPU时间，解决方案质量通过与非门数量进行度量。
- 使用cactus图可视化随已解决基准数量增加的性能表现，时间与输出大小采用对数刻度。
- 评估包含参数化基准家族（如mux、shift、arbiter），以评估在结构化、复杂规范下的可扩展性。
- 按赛道（LTL、安全性、parity）聚合结果，并分析排名一致性、异常值表现及工具特定优势。
- 未来规则变更包括合并串行与并行赛道、将时间限制提高至10,000秒墙钟时间与40,000秒用户CPU时间，以及继续使用StarExec进行执行。
实验结果
研究问题
- RQ12018至2021年间，反应式合成工具的性能与解决方案质量如何演变？
- RQ2哪些基准家族对当前合成工具构成最大挑战？工具排名在这些家族中如何变化？
- RQ3新规范格式（如parity游戏）在多大程度上促进了工具开发与竞赛多样性？
- RQ4工具在mux、shift与arbiter等参数化家族中的可扩展性表现如何？
- RQ5规则变更（如时间限制与赛道整合）对工具性能与竞赛公平性有何影响？
主要发现
- Strix与ltlsynt在LTL合成赛道中始终位列前茅，Strix在各类基准家族中均表现出色。
- 在mux与shift基准家族中，非Strix工具在求解时间上优于Strix，表明在组合逻辑合成中存在工具特异性优势。
- 在collector_v2与detector家族中，最佳工具的求解时间相比Strix提升了逾十倍，凸显了在特定问题类别中的性能差距。
- 在round_robin_arbiter与full_arbiter等arbiter家族中，Strix虽整体排名领先，但表现不一致，表明在相似规范下性能存在波动。
- 2021年引入parity游戏赛道成功吸引了工具开发者参与，多个团队扩展其工具以同时参与LTL赛道。
- 竞赛的基准库显著增长，2021年共使用26个参数化LTL家族，支持了详细的可扩展性与性能分析。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。