[论文解读] Neural Segmental Hypergraphs for Overlapping Mention Recognition

Bailin Wang, Wei Lu|arXiv (Cornell University)|Oct 3, 2018

Topic Modeling参考文献 34被引用 19

一句话总结

本文提出了一种神经分段超图（SH）模型，通过一种新颖的超图表示方法捕捉重叠的实体提及，实现 O(cmn) 复杂度的高效推理。通过建模重叠跨度之间的相互作用——尤其是同类型、左对齐的提及——该方法在三个基准数据集上实现了重叠提及识别的最先进性能，同时在非重叠数据上也保持了鲁棒性。

ABSTRACT

In this work, we propose a novel segmental hypergraph representation to model overlapping entity mentions that are prevalent in many practical datasets. We show that our model built on top of such a new representation is able to capture features and interactions that cannot be captured by previous models while maintaining a low time complexity for inference. We also present a theoretical analysis to formally assess how our representation is better than alternative representations reported in the literature in terms of representational power. Coupled with neural networks for feature learning, our model achieves the state-of-the-art performance in three benchmark datasets annotated with overlapping mentions.

研究动机与目标

• 为解决现有模型在识别重叠实体提及方面的局限性，这类提及在 ACE 和 GENIA 等真实世界数据集中很常见。
• 开发一种能捕捉重叠跨度之间复杂相互作用的表示方法，特别是同类型、左对齐的提及，这些提及常被先前方法所遗漏。
• 通过保持较低的时间复杂度（O(cmn)）来确保计算效率，同时利用神经网络实现更丰富的特征学习。
• 通过在非重叠提及数据集上实现具有竞争力的性能，证明模型具备良好的泛化能力，表明其在主要设计目标之外也具有鲁棒性。

提出的方法

• 提出一种分段超图表示，其中超边连接词级节点和跨度级节点（I-节点），显式建模重叠提及。
• 采用基于超图的解码框架，支持 O(cmn) 时间复杂度的高效推理，其中 c 为最大提及长度，m 为类型数，n 为词数。
• 使用双向 LSTMs 学习上下文相关的词级和跨度级表示，以实现提及检测的丰富特征学习。
• 引入字符级嵌入和注意力机制，增强表示学习，尤其针对罕见或未登录词的提及。
• 利用 I-节点之间的超边，建模同类型相邻重叠提及之间的句法和语义依赖关系。
• 应用具有类似 CRF 解码的结构化预测框架，确保重叠跨度的一致性预测。

实验结果

研究问题

• RQ1 一种新颖的超图表示能否在保持低计算复杂度的同时，有效建模任意组合的重叠提及？
• RQ2 所提出的分段超图模型在表示能力与理论限制方面，相较于现有方法有何差异？
• RQ3 该模型在多大程度上能够捕捉重叠提及之间的相互作用，特别是同类型、左对齐的跨度？
• RQ4 该模型是否能在非重叠提及数据集上实现良好泛化，表明其在主要设计目标之外也具备鲁棒性？

主要发现

• 所提出的神经分段超图模型在三个基准数据集上均取得了最先进性能：ACE-05（92.1）、GENIA（89.7）和 CoNLL-2003（89.6），优于先前方法。
• 在长度约束（c=6）下，该模型的解码速度与 Muis 和 Lu（2017）相当，平均处理速度超过每秒 1,000 个词。
• 消融实验表明，若禁用 I-节点之间的连接，ACE-05 上的 F1 会降至约 70.0%，GENIA 上降至 71.4%，证实建模跨度内相互作用的重要性。
• 采用字符嵌入的模型（SH + char）在 ACE-05 上达到 90.5 的 F1，甚至优于仅针对非重叠提及设计的模型。
• 在 CoNLL-2003 上（该数据集不含重叠提及），该模型达到 89.6 的 F1，与未专门针对重叠提及设计的最先进模型相比具有竞争力。
• 理论分析证实，分段超图表示相比其他模型具有更优的表示能力，避免了先前方法中存在的结构歧义问题。