[论文解读] Template-Based Named Entity Recognition Using BART

Leyang Cui, Yu Wu+3 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 29被引用 11

一句话总结

本文提出一种基于模板的少样本命名实体识别方法，采用 BART 模型，将 NER 视为序列到序列生成任务，通过填充模板（例如，'曼谷是一个地点实体'）对候选跨度进行打分。该方法在低资源领域显著优于微调后的 BERT 和基于度量的方法，在 CoNLL03 上达到 92.55 的 F1 值，在 MIT Movie、MIT Restaurant 和 ATIS 上分别实现 10.88–15.34 的 F1 提升。

ABSTRACT

There is a recent interest in investigating few-shot NER, where the low-resource target domain has different label sets compared with a resource-rich source domain. Existing methods use a similarity-based metric. However, they cannot make full use of knowledge transfer in NER model parameters. To address the issue, we propose a template-based method for NER, treating NER as a language model ranking problem in a sequence-to-sequence framework, where original sentences and statement templates filled by candidate named entity span are regarded as the source sequence and the target sequence, respectively. For inference, the model is required to classify each candidate span based on the corresponding template scores. Our experiments demonstrate that the proposed method achieves 92.55% F1 score on the CoNLL03 (rich-resource task), and significantly better than fine-tuning BERT 10.88%, 15.34%, and 11.73% F1 score on the MIT Movie, the MIT Restaurant, and the ATIS (low-resource task), respectively.

研究动机与目标

• 解决在标签集合与资源丰富源领域不同的低资源领域中少样本命名实体识别的挑战。
• 克服现有基于相似度的度量方法的局限性，这些方法无法更新模型参数，且依赖于文本模式的相似性。
• 实现在无需微调输出层或要求一致标签集合的情况下，对新实体类型进行零样本和少样本适应。
• 通过利用预训练模型（如 BART）的生成能力，提升从源领域到目标领域的知识迁移效果。
• 通过允许在不发生灾难性遗忘或从头开始重新训练的情况下，逐步添加新实体类型，支持持续学习。

提出的方法

• 将 NER 视为序列到序列的生成问题：输入为原始句子，目标为填充了候选跨度和实体类型的模板（例如，'曼谷是一个地点实体'）。
• 使用模板在源领域数据上微调 BART，以学习为每个跨度生成正确实体断言的能力。
• 在推理阶段，枚举输入句子中的所有候选跨度，并利用模型生成对应模板的概率对每个跨度进行打分。
• 使用模板表示非实体，如 '<span> 不是一个命名实体'，以实现对跨度的二分类。
• 利用预训练语言模型的泛化能力，实现在写作风格和标签集合不同的领域之间迁移知识。
• 通过在不修改输出层或从头开始重新训练的情况下微调新领域数据，实现持续学习。

实验结果

研究问题

• RQ1 能否在不重新训练输出层的情况下，有效将类似 BART 的生成式预训练模型适配于具有任意新实体类型的少样本 NER？
• RQ2 在低资源跨领域设置下，基于模板的 NER 与传统序列标注方法及基于度量的少样本方法相比表现如何？
• RQ3 该方法在具有不同写作风格和标签分布的领域之间具有多大程度的泛化能力？
• RQ4 在少样本场景下，该方法是否能提升低频和中频实体类型的性能？
• RQ5 该模型能否通过逐步整合新实体类型，在不发生灾难性遗忘的情况下支持持续学习？

主要发现

• 所提出的方法在 CoNLL03 基准上达到 92.55 的 F1 值，表明其在资源丰富 NER 任务中表现强劲。
• 在低资源领域，该模型在 MIT Movie、MIT Restaurant 和 ATIS 上分别比微调后的 BERT 提升了 10.88、15.34 和 11.73 的 F1 值。
• 该方法在中频和低频实体类型上表现出更优的鲁棒性，在 MIT Restaurant、MIT Movie 和 ATIS 上分别比 BERT 提升了 6.6、6.9 和 5.4 的 F1 值。
• 在持续学习实验中，将 CoNLL03 模型在 MIT Movie 和 MIT Restaurant 上微调后，CoNLL03 性能仅出现轻微下降，表明具有强大的领域泛化能力。
• t-SNE 可视化显示，基于模板的 BART 输出嵌入比 BERT 的数据集聚类型嵌入更具领域无关性且分布更稀疏，表明其具有更好的跨领域泛化能力。
• 错误分析表明，当标签语义（如 'SONG'）与源领域标签（如 'PERSON'）相距较远时性能会下降，但该方法在这些罕见或语义距离较远的标签上仍优于 BERT。