[论文解读] Neural Coreference Resolution with Deep Biaffine Attention by Joint Mention Detection and Mention Clustering

Rui Zhang, Cícero Nogueira dos Santos+3 more|arXiv (Cornell University)|May 13, 2018

Topic Modeling被引用 3

一句话总结

该论文提出了一种神经共指消解模型，通过双线性注意力机制联合优化提及检测与提及聚类，用于指代物评分。通过引入提及检测损失和双线性注意力机制，该模型在使用5模型集成的情况下，在CoNLL-2012英文测试集上实现了SOTA性能，F1得分为69.2%。

ABSTRACT

Coreference resolution aims to identify in a text all mentions that refer to the same real-world entity. The state-of-the-art end-to-end neural coreference model considers all text spans in a document as potential mentions and learns to link an antecedent for each possible mention. In this paper, we propose to improve the end-to-end coreference resolution system by (1) using a biaffine attention model to get antecedent scores for each possible mention, and (2) jointly optimizing the mention detection accuracy and the mention clustering log-likelihood given the mention cluster labels. Our model achieves the state-of-the-art performance on the CoNLL-2012 Shared Task English test set.

研究动机与目标

• 通过联合优化提及检测与提及聚类，提升端到端神经共指消解性能。
• 通过使用深度神经网络并最小化特征工程，减少对人工设计特征和句法分析器的依赖。
• 通过显式建模提及的回指性（anaphoricity），利用提及检测损失来应对非回指性（singleton）提及比例过高的挑战。
• 通过用双线性注意力机制替代前馈网络，提升指代物评分的准确性。
• 通过在训练过程中利用提及检测损失，提升模型对未见提及的泛化能力。

提出的方法

• 使用双向LSTM与注意力机制编码跨度，生成上下文表征。
• 应用前馈网络预测提及得分，损失函数显式优化提及检测的准确性。
• 采用双线性注意力机制计算候选跨度之间的指代物评分，直接建模共指概率。
• 联合优化两个目标：提及检测损失与提及聚类的对数似然，使用真实聚类标签。
• 将长度不超过10个词的所有跨度视为潜在提及，无需额外的提及检测器。
• 使用预训练词嵌入与基于CNN的字符嵌入，丰富词表示。

实验结果

研究问题

• RQ1 与分别训练相比，联合优化提及检测与聚类是否能提升共指消解性能？
• RQ2 在指代物评分中用双线性注意力机制替代前馈网络，是否能带来更好的共指预测效果？
• RQ3 提及检测损失是否能提升模型识别训练数据中未出现提及的能力？
• RQ4 该模型在长跨度上的表现如何，这些跨度在先前系统中常被漏检？
• RQ5 联合训练策略在多大程度上减少了流水线系统中的级联错误？

主要发现

• 该模型在使用5模型集成的情况下，于CoNLL-2012英文测试集上实现了新的SOTA F1得分69.2%。
• 单模型F1得分为67.8%，在精度方面优于先前SOTA模型，尤其在长跨度上表现更优。
• 消融实验表明，若移除提及检测损失或双线性注意力机制，F1得分下降0.3–0.4分，证实了两个组件的贡献。
• 该模型检测到1,048个Lee等人（2017）未识别出的提及，其中包括662个未出现在训练数据中的提及，表明泛化能力显著提升。
• 对于长度为5个词或以上的跨度，提及检测性能显著提高，且在所有跨度宽度上均表现出更高精度，这得益于显式检测损失的引入。
• 双线性注意力机制提升了指代物评分，从而改善了共指链接，提高了聚类的精度。