[论文解读] SemEval-2013 Task 4: Free Paraphrases of Noun Compounds

Iris Hendrickx, Preslav Nakov+4 more|arXiv (Cornell University)|Nov 23, 2019

Natural Language Processing Techniques参考文献 15被引用 51

一句话总结

本文定义了 SemEval-2013 Task 4，要求系统为两词名词短语生成并排序自由形式同义改写，并用两种匹配模式（同构和非同构）与人类生成的黄金标准进行比较评估。共有三个系统参与，在两种评估模式下都没有击败天真的基线。

ABSTRACT

In this paper, we describe SemEval-2013 Task 4: the definition, the data, the evaluation and the results. The task is to capture some of the meaning of English noun compounds via paraphrasing. Given a two-word noun compound, the participating system is asked to produce an explicitly ranked list of its free-form paraphrases. The list is automatically compared and evaluated against a similarly ranked list of paraphrases proposed by human annotators, recruited and managed through Amazon's Mechanical Turk. The comparison of raw paraphrases is sensitive to syntactic and morphological variation. The "gold" ranking is based on the relative popularity of paraphrases among annotators. To make the ranking more reliable, highly similar paraphrases are grouped, so as to downplay superficial differences in syntax and morphology. Three systems participated in the task. They all beat a simple baseline on one of the two evaluation measures, but not on both measures. This shows that the task is difficult.

研究动机与目标

• 通过自由形式同义改写来解释名词短语的任务引入。
• 创建并发布一个大规模、可自由获取的 NC 同义改写数据集。
• 开发一个评估框架，反映人类对改写的偏好，并能处理句法/形态的变异。
• 鼓励生成并对比对超出固定关系集的改写进行排序。

提出的方法

• 通过众包（Mechanical Turk）收集 NC 的自由形式同义改写并进行人工清理。
• 按 NC 的出现频率对改写进行排序，以形成黄金标准列表。
• 规范化并归并高度相似的改写，以减少评估中的表面差异。
• 提供一个基于 Java 的评分器，使用 n-gram 重叠并带有等级权重来比较系统和黄金改写。
• 在两种模式下评估系统：同构（一对一匹配）和非同构（以精确为重点）。
• 建立一个产生常见介词短语改写的天真的基线，并与提交的系统进行比较。

实验结果

研究问题

• RQ1 系统能否生成并对两名词短语的自由形式改写进行排序，使其与人类判断保持一致？
• RQ2 自由形式改写任务，与基于模板的 NC 解释任务相比有什么不同？
• RQ3 使用同构与非同构评估对系统评分有何影响？
• RQ4 系统是否在两种评估模式下都优于简单基线？
• RQ5 在大规模测试集中，NC 改写数据的特征和多样性如何？

主要发现

Team	isomorphic	non-isomorphic
SFS	23.1	17.9
IIITH	23.1	25.8
MELODI-Primary	13.0	54.8
MELODI-Contrast	13.6	53.6
Naive Baseline	13.8	40.6

• 共有三个系统参与；在两种评估模式下，均未超过天真的基线。
• 在非同构模式下，MELODI 在系统中获得最高分，但在同构模式下仍未击败基线。
• 基线经常匹配流行的仅介词改写，凸显了一个用于精确评估的简单且有力的基线。
• 同构与非同构评估模式为系统性能提供互补洞察（精准度 vs 召回）。
• 该任务设置产生了一个多样化、自由生成的改写数据集，具有丰富的 NC 解释，体现了该任务的难度。