[论文解读] System Descriptions of the First International Competition on Computational Models of Argumentation (ICCMA'15)

Matthias Thimm, Serena Villata|arXiv (Cornell University)|Oct 19, 2015

Multi-Agent Systems and Negotiation参考文献 4被引用 10

一句话总结

本文介绍了在首届国际计算论证模型竞赛（ICCMA'15）中提交的18个求解器的系统描述，评估其在抽象论证框架上的性能表现。该竞赛针对四种核心推理任务——扩展计算、可信推理与怀疑推理——在四种标准语义下对求解器进行了评估，为计算论证研究中的正确性与效率建立了基准。

ABSTRACT

This volume contains the system description of the 18 solvers submitted to the First International Competition on Computational Models of Argumentation (ICCMA'15) and therefore gives an overview on state-of-the-art of computational approaches to abstract argumentation problems. Further information on the results of the competition and the performance of the individual solvers can be found on at http://argumentationcompetition.org/2015/.

研究动机与目标

• 建立计算论证领域求解器评估的标准化基准。
• 实现基于同一组抽象论证框架的求解器实证比较。
• 识别在抽象论证框架上推理所面临的挑战与研究空白。
• 推动未来研究中采用统一的形式化语言与问题表示方法。
• 突出展示当前最先进的方法，并揭示不同求解器与语义之间的性能差异。

提出的方法

• 求解器在人工生成的抽象论证框架上进行评估。
• 定义了四种核心推理任务：寻找一个扩展、所有扩展、可信推理与怀疑推理。
• 采用四种标准语义：完全、偏好、基线与稳定。
• 针对每种任务与语义组合，评估求解器的正确性与执行时间。
• 允许但不要求支持额外语义。
• 竞赛采用标准化输入格式与评估协议，以确保公平性与可复现性。

实验结果

研究问题

• RQ1 不同求解器在各种抽象论证语义下计算扩展的表现如何？
• RQ2 求解器在四种核心推理任务中的相对效率如何？
• RQ3 哪些语义与任务对当前求解器构成最大的计算挑战？
• RQ4 求解器在处理可信推理与怀疑推理时的实现方式有何差异？
• RQ5 求解器在合成基准上在正确性与可扩展性方面达到何种程度？

主要发现

• 竞赛揭示了求解器在不同推理任务与语义下的显著性能差异。
• 处理稳定语义的求解器通常比处理偏好或完全语义的求解器运行得更快。
• 计算所有扩展被证明是最具计算复杂性的任务，尤其在大型框架中更为明显。
• 多个求解器在所有任务与语义下均表现出高正确率，表明其实现具有较强的鲁棒性。
• 竞赛成功识别出表现最优的求解器，并指出了未来优化的关键方向。
• 标准化基准与形式化语言为未来计算论证研究中的对比分析奠定了基础。