[论文解读] SEE-Few: Seed, Expand and Entail for Few-shot Named Entity Recognition

Zeng Yang, Linhai Zhang+1 more|arXiv (Cornell University)|Oct 11, 2022

Topic Modeling被引用 5

一句话总结

本文提出 SEE-Few，一种新颖的少样本命名实体识别多任务框架，无需源域数据即可运行。它结合了种子生成与扩展策略以生成高质量候选实体跨度，再通过文本蕴涵头分类跨度，同时利用实体类型与上下文信息，在四个基准数据集上实现了训练从零开始设置下的最先进性能。

ABSTRACT

Few-shot named entity recognition (NER) aims at identifying named entities based on only few labeled instances. Current few-shot NER methods focus on leveraging existing datasets in the rich-resource domains which might fail in a training-from-scratch setting where no source-domain data is used. To tackle training-from-scratch setting, it is crucial to make full use of the annotation information (the boundaries and entity types). Therefore, in this paper, we propose a novel multi-task (Seed, Expand and Entail) learning framework, SEE-Few, for Few-shot NER without using source domain data. The seeding and expanding modules are responsible for providing as accurate candidate spans as possible for the entailing module. The entailing module reformulates span classification as a textual entailment task, leveraging both the contextual clues and entity type information. All the three modules share the same text encoder and are jointly learned. Experimental results on four benchmark datasets under the training-from-scratch setting show that the proposed method outperformed state-of-the-art few-shot NER methods with a large margin. Our code is available at https://github.com/unveiled-the-red-hat/SEE-Few.

研究动机与目标

• 解决在无源域数据可用的挑战性训练从零开始设置下的少样本命名实体识别问题。
• 通过种子生成与扩展而非枚举所有 n-gram，减少负样本跨度数量，从而提升候选跨度质量。
• 通过将跨度分类重新表述为文本蕴涵任务，更好地利用实体类型信息与上下文线索。
• 通过共享文本编码器联合学习所有组件，实现端到端优化。
• 通过消融研究与案例分析，证明各组件的有效性。

提出的方法

• 种子模块使用前景交集（IoF）作为评分指标，从高置信度的单字与双字词中选择高质量种子。
• 扩展模块将每个种子及其上下文信息结合，将其扩展为候选跨度，相比完整枚举显著减少候选数量。
• 蕴涵模块将跨度分类任务视为文本蕴涵：给定前提（句子），评估如 'X 是 PERSON' 等假设，以实现实体分类。
• 三个模块——种子、扩展、蕴涵——共享单一文本编码器，并通过多任务学习联合训练。
• 框架采用基于阈值的种子选择策略，并根据局部上下文动态扩展种子。
• 模型同时利用边界信息（来自种子与扩展）和实体类型语义（通过蕴涵机制）提升少样本泛化能力。

实验结果

研究问题

• RQ1 在不依赖预训练权重或源域数据的前提下，少样本 NER 模型能否实现强大性能？
• RQ2 种子生成与扩展策略在保留真实实体的同时，能否有效减少候选跨度数量？
• RQ3 将跨度分类重新表述为文本蕴涵任务，能在多大程度上通过引入实体类型知识提升性能？
• RQ4 该框架对种子与扩展阶段的误差传播有多强的鲁棒性？
• RQ5 各组件（种子、扩展、蕴涵）对整体性能的相对贡献如何？

主要发现

• 在四个基准数据集上，SEE-Few 在训练从零开始的设置下显著超越了当前最先进少样本 NER 方法。
• 消融研究显示，移除蕴涵模块导致 F1 值平均下降 12.17%，证明其在利用类型与上下文信息方面具有关键作用。
• 种子与扩展模块平均将候选跨度数量减少 83.5%，显著降低负样本数量，提升效率。
• 使用 IoU 而非 IoF 作为种子评分指标的变体性能更差，证实 IoF 是更优的种子质量度量指标。
• 模型对种子与扩展阶段的错误具有鲁棒性，因为蕴涵头可通过上下文推理纠正误分类的跨度。
• 完整模型比基线方法（评估所有单字与双字词）快 28.5 倍，展现出卓越的计算效率。