[论文解读] The Design of the Fifth Answer Set Programming Competition

Francesco Calimeri, Martin Gebser+2 more|arXiv (Cornell University)|May 14, 2014

Logic, Reasoning, and Knowledge参考文献 27被引用 10

一句话总结

本文介绍了在2014年维也纳逻辑之夏期间举行的第五届答案集编程（ASP）竞赛的设计，该竞赛引入了重新设计的竞赛框架，以推动ASP-Core-2标准的实施。竞赛将赛道重新组织为基于语言特性的分类，而非问题复杂度，从而促进不同求解器能力的参与，并对聚合、选择规则和优化等特性提供更细致的求解器性能评估，进而推动ASP求解的标准化与前沿水平评估。

ABSTRACT

Answer Set Programming (ASP) is a well-established paradigm of declarative programming that has been developed in the field of logic programming and nonmonotonic reasoning. Advances in ASP solving technology are customarily assessed in competition events, as it happens for other closely-related problem-solving technologies like SAT/SMT, QBF, Planning and Scheduling. ASP Competitions are (usually) biennial events; however, the Fifth ASP Competition departs from tradition, in order to join the FLoC Olympic Games at the Vienna Summer of Logic 2014, which is expected to be the largest event in the history of logic. This edition of the ASP Competition series is jointly organized by the University of Calabria (Italy), the Aalto University (Finland), and the University of Genova (Italy), and is affiliated with the 30th International Conference on Logic Programming (ICLP 2014). It features a completely re-designed setup, with novelties involving the design of tracks, the scoring schema, and the adherence to a fixed modeling language in order to push the adoption of the ASP-Core-2 standard. Benchmark domains are taken from past editions, and best system packages submitted in 2013 are compared with new versions and solvers. To appear in Theory and Practice of Logic Programming (TPLP).

研究动机与目标

• 通过大规模、标准化的竞赛，评估答案集编程（ASP）求解的最前沿水平。
• 通过强制符合标准并鼓励现有系统更新，推动ASP-Core-2语言标准的采纳。
• 将竞赛赛道重新设计为围绕语言特性而非问题复杂度，以实现对求解器能力的更精准评估。
• 在衡量随时间推移的进展的同时，全面呈现求解器在不同特性（如聚合、查询、优化）上的性能表现。
• 与FLoC奥林匹克运动会及ICLP 2014保持一致，提升在逻辑与人工智能研究社区中的可见度与影响力。

提出的方法

• 基于支持的语言特性（如选择规则、聚合、查询、优化）重新设计竞赛赛道，而非基于问题复杂度。
• 引入简化且改进的评分系统，特别是针对优化问题，以更准确反映求解器性能。
• 要求所有参赛系统支持ASP-Core-2标准，确保一致性并推动标准化。
• 允许团队提交其求解器的更新版本，从而实现对性能进展的可衡量比较。
• 对几乎所有领域的问题编码进行了修订，以更好地反映当前的语言特性，提升公平性与清晰度。
• 将系统分类为SP（串行）和MP（多线程）两类，以考虑并行执行能力。

实验结果

研究问题

• RQ1 如何使竞赛设计更好地反映现代ASP求解器中语言特性的多样性？
• RQ2 ASP-Core-2标准在ASP社区中的采纳程度如何？竞赛设计在多大程度上能加速其采纳？
• RQ3 不同求解器架构（本地方求解器与基于翻译的求解器）在各种语言特性和问题类型上的表现如何？
• RQ4 更新后的求解器版本在效率和功能支持方面与旧版本相比有何差异？
• RQ5 基于特性的赛道结构是否能提供比基于复杂度的分类更具信息量和科学价值的求解器能力评估？

主要发现

• 竞赛成功推动了ASP-Core-2标准的采纳，所有参赛系统均需符合该标准。
• 基于语言特性的新型赛道结构，使得对不同求解器能力的性能评估更加细致且富有信息量。
• 本地方ASP求解器如clasp和wasp在所有赛道中均表现出色，尤其在处理复杂特性（如聚合和优化）方面表现突出。
• 基于翻译的系统如lp2sat3+glucose和lp2mip2表现出竞争力，尤其在优化和决策问题中，凸显了SAT与MIP后端的有效性。
• 通过纳入更新后的求解器版本，实现了对性能进展的可测量评估，多个团队在关键基准测试中实现了性能提升。
• 竞赛结构使各求解器家族在特定问题类别（如查询处理或优化）中的优势更加清晰，为未来研究方向提供了支持。