[论文解读] Revisiting Joint Modeling of Cross-document Entity and Event Coreference Resolution

Shany Barhom, Vered Shwartz+4 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 27被引用 8

一句话总结

本文提出了一种用于跨文档实体与事件共指消解的联合神经架构，通过利用提及跨度、上下文嵌入以及谓词-论元结构来建模实体与事件之间的相互依赖关系。该方法在ECB+数据集上实现了最先进性能，事件共指消解F1值相比之前工作提升了9.5分，并首次报告了该数据集上的实体共指消解结果，通过联合建模进一步提升了性能。

ABSTRACT

Recognizing coreferring events and entities across multiple texts is crucial for many NLP applications. Despite the task's importance, research focus was given mostly to within-document entity coreference, with rather little attention to the other variants. We propose a neural architecture for cross-document coreference resolution. Inspired by Lee et al (2012), we jointly model entity and event coreference. We represent an event (entity) mention using its lexical span, surrounding context, and relation to entity (event) mentions via predicate-arguments structures. Our model outperforms the previous state-of-the-art event coreference model on ECB+, while providing the first entity coreference results on this corpus. Our analysis confirms that all our representation elements, including the mention span itself, its context, and the relation to other mentions contribute to the model's success.

研究动机与目标

• 为解决跨文档实体共指消解这一研究较少的任务，该任务相较于文档内共指消解或事件共指消解受到的关注更少。
• 通过联合建模实体与事件提及，利用谓词-论元结构揭示其相互依赖关系，从而提升跨文档共指消解性能。
• 在ECB+数据集上首次报告实体共指消解结果，该数据集此前仅支持事件共指消解的评估。
• 分析提及跨度、上下文以及语义依赖关系表示在提及表征中对模型性能的贡献。

提出的方法

• 该模型通过其词汇跨度、周围上下文以及通过谓词-论元结构与其他提及之间的语义依赖关系来表示每个提及。
• 基于学习到的表征，采用成对提及共指打分器将提及聚类为共指簇。
• 联合模型通过使事件表征了解其论元实体的共指簇，反之亦然，从而整合实体与事件共指消解。
• 该模型使用连续向量表示语义依赖关系，优于之前工作中使用的二值特征。
• 训练一个独立的非联合变体模型，分别在实体和事件任务上进行训练，以消融分析联合建模的优势。
• 使用t-SNE可视化分析不同表征组件的聚类质量。

实验结果

研究问题

• RQ1 联合建模实体与事件共指消解在跨文档共指消解任务上的性能提升机制是什么？
• RQ2 提及跨度、上下文以及语义依赖关系表征对共指消解性能的贡献分别是什么？
• RQ3 神经网络模型是否能在ECB+数据集上同时实现实体与事件共指消解的最先进结果？
• RQ4 谓词-论元结构抽取错误与共指聚类错误在实体与事件提及之间如何传播？

主要发现

• 与非联合模型相比，联合模型在事件共指消解F1上提升1.0分，在实体共指消解F1上提升1.2分，p < 0.001，证实了联合建模的优势。
• 非联合模型在ECB+数据集上的事件共指消解性能相比之前最先进模型提升了9.5 CoNLL F1分。
• 该模型首次报告了ECB+数据集上的实体共指消解结果，为该任务建立了新的基准。
• 消融实验确认，所有表征组件——提及跨度、上下文以及语义依赖关系——均对性能有贡献，其中语义依赖关系尤其显著。
• t-SNE可视化显示，仅使用上下文向量即可产生合理准确的聚类，而依赖提及向量即使不包含提及跨度，也能基于谓词-论元结构将聚类清晰分离。
• 错误分析显示，22%的事件错误源于提及共享共指论元，通常是因为在不同时间发生的相似事件被错误关联。