[论文解读] Towards a Benchmark of Natural Language Arguments

Elena Cabrio, Serena Villata|arXiv (Cornell University)|May 5, 2014

Multi-Agent Systems and Negotiation参考文献 13被引用 3

一句话总结

本文介绍了两个从在线辩论和电影《十二怒汉》中人工标注的自然语言论证数据集，利用文本蕴涵技术识别支持与攻击关系。由此生成的双极论证图可用于论证系统评估，具有较高的标注者间一致性（kappa = 0.74），且结构复杂度适合在真实场景中评估推理与可视化工具。

ABSTRACT

The connections among natural language processing and argumentation theory are becoming stronger in the latest years, with a growing amount of works going in this direction, in different scenarios and applying heterogeneous techniques. In this paper, we present two datasets we built to cope with the combination of the Textual Entailment framework and bipolar abstract argumentation. In our approach, such datasets are used to automatically identify through a Textual Entailment system the relations among the arguments (i.e., attack, support), and then the resulting bipolar argumentation graphs are analyzed to compute the accepted arguments.

研究动机与目标

• 为解决自然语言处理中缺乏真实世界、现实情境的论证系统评估数据集的问题。
• 构建一个自然语言论证基准，支持关系识别与论证可接受性推理。
• 通过真实辩论和电影剧本中的叙事性论证，实现论证工具的测试。
• 超越人工构造的示例，转向自然语篇中发现的复杂、真实论证结构。
• 探索抽象论证在建模具有内部语篇关系的结构化嵌套论证时的局限性。

提出的方法

• 构建了两个数据集：一个来自在线辩论（Debatepedia/ProCon），另一个来自电影《十二怒汉》。
• 使用文本蕴涵判断（蕴涵、矛盾、中性）对论证对进行标注，以识别支持或攻击关系。
• 使用Cohen's kappa（0.74）测量40对子集的标注者间一致性，确认标注过程的可靠性。
• 从标注对构建双极论证图，节点为论证，边表示支持关系（绿色）或攻击关系（红色）。
• 应用可接受性语义计算生成图中的获胜论证。
• 通过语言学专业标注员的逐一手动标注，并辅以自动化一致性验证，确保数据质量。

实验结果

研究问题

• RQ1 如何系统性地从现实世界来源收集并标注自然语言论证，以支持论证基准？
• RQ2 文本蕴涵系统在自然语言论证中识别支持与攻击关系的准确性在多大程度上可实现？
• RQ3 与抽象模型相比，现实世界论证图表现出怎样的结构复杂度？
• RQ4 现有论证框架能否有效处理具有内部结构和子论证的论证？
• RQ5 自然语言中论证关系的手动标注有多可靠？何种度量指标可验证此类数据集？

主要发现

• Debatepedia/ProCon数据集的论证图平均每个论证有9条连接，而《十二怒汉》数据集平均每个论证有27条连接，表明其结构复杂度更高。
• 关系标注的标注者间一致性达到实质性水平，Cohen's kappa为0.74，证实了标注过程的可靠性。
• 两个数据集生成的论证图均为无环图，且主要由重建链构成，表明其结构比理论论证中通常假设的更简单。
• 这些数据集以机器可读格式公开提供，可直接用于测试论证工具和推理系统。
• 本研究揭示了抽象论证在建模具有内部结构的论证时的局限性，推动未来对结构化论证数据集的研究。
• 手动标注对高质量数据至关重要，但未来工作可结合自动化抽取与人工验证。