[论文解读] SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations Between Pairs of Nominals

Iris Hendrickx, Su‐Nam Kim+7 more|arXiv (Cornell University)|Nov 23, 2019

Biomedical Text Mining and Ontologies参考文献 5被引用 447

一句话总结

简要结论：提出一个针对名词对之间语义关系的多路分类任务，提供数据集创建、标注指南，以及对来自10个队伍的28个系统的广泛评估。UTD在完整训练集上以超过82% 的F1获得最高性能。

ABSTRACT

In response to the continuing research interest in computational semantic analysis, we have proposed a new task for SemEval-2010: multi-way classification of mutually exclusive semantic relations between pairs of nominals. The task is designed to compare different approaches to the problem and to provide a standard testbed for future research. In this paper, we define the task, describe the creation of the datasets, and discuss the results of the participating 28 systems submitted by 10 teams.

研究动机与目标

• 定义一个标准化的多路（9+1）名词对语义关系分类任务。
• 创建一个大规模的带标注的数据集，并为 Robust 评估提供训练和测试划分。
• 提供标注指南和评估指标以比较多样化的方法。
• 在不同训练数据规模下评估系统性能，以理解数据对模型的影响。

提出的方法

• 组装九种互斥的语义关系加上一个 Other 分类，并提供谨慎的指南以尽量减少重叠。
• 遵循三轮标注过程以获得高质量的标注实例并计算标注者之间的一致性。
• 发布训练集（8,000 个样本）和测试集（1,717 个样本，包括 SemEval-1 Task 4 的 891 个再标注样本）。
• 提供一个详细的评分器，包括混淆矩阵、准确率、精确度、召回率和 F1（微观和宏观），以及对（9+1）关系的宏观F1。
• 对最终宏观F1 指标使用方向感知评估。
• 鼓励在不同训练数据规模下（TD1–TD4）进行评估，以研究数据对性能的影响。

实验结果

研究问题

• RQ1 一个标准化的 10 路标签方案（9 种关系 + Other）是否能可靠地区分名词对的语义关系？
• RQ2 数据量对不同系统的分类器性能有何影响？
• RQ3 不同模型结构和资源如何影响在统一任务和数据集上的性能？
• RQ4 哪些关系最容易或最难分类，原因是什么？
• RQ5 系统融合是否优于最好的单一系统？

主要发现

• 最优系统（UTD）在 TD4 上实现了超过 82% 的宏观-F1，领先第二名超过 4 个百分点。
• 在所有系统中，从 TD1 到 TD4 的提升显著，但对许多系统而言 TD3 到 TD4 的增益在逐渐递减。
• 多标签与二分类器：某些架构在多路分类（含 Other）上受益，而其他则依赖于二进制策略；TD4 在不同方法间的性能差异依赖于系统。
• CE（因果关系）通常是最容易分类的关系；IA（工具-代理）和 PP（产品-生产者）是最困难的关系之一，在某些设定中 IA 也显示出较高的标注一致性。
• 通过多数表决进行的系统组合对顶尖系统的提升有限，表明顶尖系统的优势很难被简单的集合方法超越。
• 多个系统从更丰富的资源（WordNet、Google n-grams、Cyc）中获益，但集成复杂性使得收益在不同设置中不一致。
• 在所有系统中存在 152 个持续被错误分类的实例，显示出基于浅层特征的方法的局限性以及需要更深入的词汇推理。