[论文解读] Sequence-to-Nuggets: Nested Entity Mention Detection via Anchor-Region Networks

Hongyu Lin, Yaojie Lu+2 more|arXiv (Cornell University)|Jun 10, 2019

Topic Modeling参考文献 35被引用 9

一句话总结

本文提出锚区域网络（ARNs），一种序列到片段的模型，通过首先识别锚词（核心词）再利用短语结构规律识别其周围的提及边界，从而检测嵌套实体提及。ARNs 使用一种新颖的袋损失（Bag Loss）目标函数，实现了无需锚词标注的端到端训练，在 ACE2005、GENIA 和 TAC-KBP2017 基准上达到最先进性能。

ABSTRACT

Sequential labeling-based NER approaches restrict each word belonging to at most one entity mention, which will face a serious problem when recognizing nested entity mentions. In this paper, we propose to resolve this problem by modeling and leveraging the head-driven phrase structures of entity mentions, i.e., although a mention can nest other mentions, they will not share the same head word. Specifically, we propose Anchor-Region Networks (ARNs), a sequence-to-nuggets architecture for nested mention detection. ARNs first identify anchor words (i.e., possible head words) of all mentions, and then recognize the mention boundaries for each anchor word by exploiting regular phrase structures. Furthermore, we also design Bag Loss, an objective function which can train ARNs in an end-to-end manner without using any anchor word annotation. Experiments show that ARNs achieve the state-of-the-art performance on three standard nested entity mention detection benchmarks.

研究动机与目标

• 解决序列标注命名实体识别模型因标记重叠约束而无法处理嵌套实体提及的局限性。
• 利用嵌套提及中的核心词驱动短语结构，其中每个提及都有一个唯一的主词，用以指示其实体类型。
• 开发一种无需标注锚词即可端到端训练的嵌套提及检测模型。
• 设计一种损失函数，基于类型相关性自动选择每个提及中最具指示性的词作为锚词。
• 通过建模实体提及中的结构规律，提升在标准嵌套命名实体识别基准上的性能。

提出的方法

• ARNs 采用两阶段架构：首先由锚检测器识别实体提及的潜在核心词（锚点）。
• 随后，区域识别器确定以检测到的锚点为中心的每个提及的完整跨度（边界）。
• 该模型利用规则化的短语结构（如 DET NN of NP）来约束并引导每个锚点周围的边界预测。
• 引入袋损失（Bag Loss）作为可微分的目标函数，基于其与提及实体类型的语义相关性，从每个提及中选择最佳锚点词。
• 袋损失基于至少一个锚点的假设，确保每个提及至少有一个锚点，并在无需显式标注的情况下，鼓励正确锚点的选择。
• 训练过程对每个提及的可能锚点进行边缘化处理，但采用加权选择策略，优先选择与实体类型高度相关的词语。

实验结果

研究问题

• RQ1 与标准序列标注方法相比，建模嵌套提及中的核心词驱动短语结构是否能提升检测性能？
• RQ2 如何训练神经网络实现嵌套提及检测的端到端训练，而无需标注核心词？
• RQ3 一种能自动选择提及中最具指示性的词作为锚点的损失函数，是否优于将锚点视为潜在变量的替代方法？
• RQ4 在多大程度上，语义上强相关于实体类型的锚点词能提升检测准确率？
• RQ5 嵌套提及检测中出现的错误类型有哪些？这些错误在多大程度上可归因于长距离句法依赖？

主要发现

• ARNs 在 ACE2005 上取得 74.9 的 F1 分数，GENIA 上为 74.8，TAC-KBP2017 上为 74.6，优于先前方法。
• 仅锚检测器在 ACE2005 上即达到 82.9 的 F1 分数，表明 ARNs 中性能差距的主要来源是边界预测，而非锚点检测。
• 锚点检测与完整 ARNs 之间的性能差距（ACE2005 上为 8.0 F1）表明，边界识别仍是挑战，尤其在复杂句法结构中。
• 错误分析显示，后置定语和定语从句是主要错误来源，原因在于当前模型难以捕捉长距离依赖。
• 各类实体类型的最优质锚点词具有强语义指示性（例如，'department' 对应 ORG 类型），验证了模型学习有意义核心词的能力。
• 袋损失优于基于边缘化的替代方法，因为它显式鼓励正确锚点选择并惩罚无关词语，而对称边缘化方法则不具备此特性。