[论文解读] Simple and Effective Few-Shot Named Entity Recognition with Structured Nearest Neighbor Learning

Yi Yang, Arzoo Katiyar|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 20被引用 14

一句话总结

本文提出 StructShot，一种简单的 few-shot NER 系统，该系统使用监督 NER 模型提取上下文表征，并在特征空间中应用最近邻分类，结合 Viterbi 解码以建模标签依赖关系。该方法在 few-shot NER 基准测试中达到最先进性能，F1 分数相比元学习基线模型提升 6% 至 16% 绝对点。

ABSTRACT

We present a simple few-shot named entity recognition (NER) system based on nearest neighbor learning and structured inference. Our system uses a supervised NER model trained on the source domain, as a feature extractor. Across several test domains, we show that a nearest neighbor classifier in this feature-space is far more effective than the standard meta-learning approaches. We further propose a cheap but effective method to capture the label dependencies between entity tags without expensive CRF training. We show that our method of combining structured decoding with nearest neighbor learning achieves state-of-the-art performance on standard few-shot NER evaluation tasks, improving F1 scores by $6\%$ to $16\%$ absolute points over prior meta-learning based systems.

研究动机与目标

• 为解决元学习方法在 few-shot NER 中的局限性，特别是处理 O（非实体）类别以及建模标签依赖关系的问题。
• 开发一种无需元训练或基于 episode 的学习的简单而有效的 few-shot NER 系统。
• 提出一种标准化的 few-shot NER 评估设置，使用基准数据集的标准开发集和测试集。
• 通过利用实例级表征而非类别级原型，提升零样本和 few-shot 泛化能力。
• 证明在深度特征空间中进行最近邻分类比原型网络在 NER 任务中更有效，尤其在 O 类上表现更优。

提出的方法

• 该系统使用在源领域上微调过的预训练监督 NER 模型（例如 BERT）来提取上下文 token 表征。
• 在推理阶段，通过在上下文表征空间中基于余弦相似度查找支持集中的最近邻，对每个测试 token 进行分类。
• 通过在最近邻预测结果上应用 Viterbi 解码器来建模标签依赖关系，确保序列标注的全局一致性。
• 该方法避免学习类别原型，而是将每个支持样本视为一个代表性实例，从而更好地捕捉 O 类内部的语义多样性。
• 该方法在包含一 shot 和五 shot 示例的域内与域外 few-shot NER 场景中均被应用。
• 引入了一种标准化评估协议，其中支持集从标准开发集中采样，模型在标准测试集上进行评估。

实验结果

研究问题

• RQ1 在深度特征空间中进行最近邻分类是否能在 few-shot NER 中超越元学习方法？
• RQ2 为何现有元学习方法在 few-shot NER 的 O 类上表现不佳？
• RQ3 结构化解码能否提升序列标注任务中基于实例的分类性能？
• RQ4 是否可能在不进行元训练或基于 episode 的适应的情况下实现最先进 few-shot NER 性能？
• RQ5 当 O 类在语义上具有异质性时，最近邻学习与原型网络的性能表现如何比较？

主要发现

• 在标准基准测试中，与先前基于元学习的 few-shot NER 系统相比，StructShot 的 F1 分数提升了 6% 至 16% 绝对点。
• 最近邻分类器在预测 O 类时显著优于原型网络，因为它避免了为语义多样的 O token 学习一个噪声较大的统一原型。
• 在 I2B2 和 WNUT 数据集中，StructShot 在五 shot 设置下分别实现了 DATE 类 66.1 的 F1 和 person 类 57.8 的 F1，优于先前方法。
• 该系统在高度模糊的类别（如 AGE、MED-REC 和 IDNUM）上表现不佳，这些类别均为数值型，表明需要引入领域特定线索。
• 对于 PATIENT 和 DOCTOR 等类别，性能下降，因误分类源于语义线索重叠，表明表面形式如 'Dr.' 可能有助于提升消歧能力。
• 该方法在跨领域场景中泛化良好，在域内与域外 few-shot NER 迁移设置中均表现出色。