[论文解读] TKDP: Threefold Knowledge-enriched Deep Prompt Tuning for Few-shot Named Entity Recognition

Jiang Liu, Hao Fei+6 more|arXiv (Cornell University)|Jun 6, 2023

Topic Modeling被引用 6

一句话总结

该论文提出TKDP，一种三重知识增强的深度提示调优框架，将语义素、标签和上下文知识整合到软提示嵌入中，用于 few-shot 命名实体识别。通过将知识增强的提示注入预训练语言模型的多个层，TKDP 在所有五个数据集上的 F1 值相比基线提示调优方法最高提升 11.53%，在 5-、10- 和 20-shot 设置下显著优于八个强基线模型。

ABSTRACT

Few-shot named entity recognition (NER) exploits limited annotated instances to identify named mentions. Effectively transferring the internal or external resources thus becomes the key to few-shot NER. While the existing prompt tuning methods have shown remarkable few-shot performances, they still fail to make full use of knowledge. In this work, we investigate the integration of rich knowledge to prompt tuning for stronger few-shot NER. We propose incorporating the deep prompt tuning framework with threefold knowledge (namely TKDP), including the internal 1) context knowledge and the external 2) label knowledge & 3) sememe knowledge. TKDP encodes the three feature sources and incorporates them into the soft prompt embeddings, which are further injected into an existing pre-trained language model to facilitate predictions. On five benchmark datasets, our knowledge-enriched model boosts by at most 11.53% F1 over the raw deep prompt method, and significantly outperforms 8 strong-performing baseline systems in 5-/10-/20-shot settings, showing great potential in few-shot NER. Our TKDP can be broadly adapted to other few-shot tasks without effort.

研究动机与目标

• 为解决现有提示调优方法在 few-shot NER 中对内部和外部知识利用不足的问题。
• 探究整合多种知识源——语义素、标签和上下文——对提升 few-shot NER 性能的影响。
• 开发一种深度提示调优框架，有效将三种类型的知识融合到软提示嵌入中，以在标注数据有限的情况下实现更好的泛化能力。
• 在多样化的 few-shot NER 基准上展示所提方法的有效性与广泛适应性。

提出的方法

• TKDP 在提示调优框架中融合了三重知识：来自 HowNet 的语义素知识、标签描述以及上下文句子特征。
• 通过将语义素嵌入注入输入表示和标签表示，增强文本和标签的表征，以获得更丰富的语义信息。
• 基于增强后的表征生成知识增强的软提示嵌入，并将其注入预训练语言模型（PLM）的多个层中。
• 该框架采用多层注入策略，将提示嵌入插入 PLM 的不同深度，以实现与上下文表征的深层交互。
• 模型端到端训练，以优化 BIO 序列标注任务，注意力机制使模型能够聚焦于相关联的知识增强提示标记。
• 消融实验验证了每类知识的贡献，以及提示深度和长度超参数的有效性。

实验结果

研究问题

• RQ1 将语义素、标签和上下文知识注入软提示是否能显著提升 few-shot NER 性能？
• RQ2 提示的深度和长度如何影响 few-shot NER 中的模型性能？
• RQ3 在低资源设置下，知识增强的提示调优是否优于标准深度提示调优及其他基于提示的基线方法？
• RQ4 在推理过程中，PLM 中的注意力机制如何与知识增强的提示标记进行交互？

主要发现

• 在所有五个基准数据集上，TKDP 的 F1 值相比未集成知识的原始深度提示调优方法最高提升 11.53%。
• 在 5-、10- 和 20-shot 设置下，该模型显著优于八个强基线系统，包括提示调优、p-tuning、prefix-tuning 以及基于离散模板的方法。
• 消融实验表明，语义素、标签和上下文三类知识各自独立且协同贡献于性能提升。
• 随着提示深度的增加，模型性能持续提升，最优结果出现在 12 层，表明更深的集成能增强知识利用效率。
• 提示长度在部分数据集（如 WNUT-2017 和 JNLPBA）上影响更显著，较长的提示能带来更好结果，表明其具备更强的知识注入能力。
• 注意力可视化显示，知识增强的提示能更有效地关注相关输入标记，如实体提及 "Jim Courier" 和 "U.S."，从而实现正确预测。