[论文解读] Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition

Shining Liang, Ming Gong+5 more|arXiv (Cornell University)|Jun 1, 2021

Topic Modeling参考文献 47被引用 5

一句话总结

本文提出了一种新型框架——强化迭代知识蒸馏（RIKD），用于跨语言命名实体识别，通过基于强化学习的实例选择器，利用未标注的目标语言数据，提升从源语言教师模型到目标语言学生模型的知识迁移效果。该方法通过迭代选择信息量丰富、噪声较低的训练样本，在多个低资源语言上实现了最先进性能，工业评估中相比先前方法最高提升3.07 F1分。

ABSTRACT

Named entity recognition (NER) is a fundamental component in many applications, such as Web Search and Voice Assistants. Although deep neural networks greatly improve the performance of NER, due to the requirement of large amounts of training data, deep neural networks can hardly scale out to many languages in an industry setting. To tackle this challenge, cross-lingual NER transfers knowledge from a rich-resource language to languages with low resources through pre-trained multilingual language models. Instead of using training data in target languages, cross-lingual NER has to rely on only training data in source languages, and optionally adds the translated training data derived from source languages. However, the existing cross-lingual NER methods do not make good use of rich unlabeled data in target languages, which is relatively easy to collect in industry applications. To address the opportunities and challenges, in this paper we describe our novel practice in Microsoft to leverage such large amounts of unlabeled data in target languages in real production settings. To effectively extract weak supervision signals from the unlabeled data, we develop a novel approach based on the ideas of semi-supervised learning and reinforcement learning. The empirical study on three benchmark data sets verifies that our approach establishes the new state-of-the-art performance with clear edges. Now, the NER techniques reported in this paper are on their way to become a fundamental component for Web ranking, Entity Pane, Answers Triggering, and Question Answering in the Microsoft Bing search engine. Moreover, our techniques will also serve as part of the Spoken Language Understanding module for a commercial voice assistant. We plan to open source the code of the prototype framework after deployment.

研究动机与目标

• 为解决在缺乏昂贵人工标注的情况下，将高性能NER模型部署于低资源语言的挑战。
• 在标注数据稀缺的工业环境中，有效利用大规模未标注的目标语言数据。
• 通过从未标注数据中动态选择最具信息量的训练实例，提升跨语言NER中的知识蒸馏效果。
• 开发一种可扩展、可投入生产的框架，在减少对人工标注数据依赖的同时，保持在多种语言上的高性能。

提出的方法

• 强化实例选择器使用策略网络，基于编码了模型置信度、预测一致性、语义特征和输入长度的状态向量，决定保留哪些未标注的目标语言样本用于蒸馏。
• 状态向量包含诸如预测置信度（f_conf）、教师与学生预测之间的一致性（f_agree）、语义表示（f_semantic）、实体特征（f_entities）和输入长度（f_length）等特征。
• 该框架执行迭代知识蒸馏，学生模型在多轮中仅使用未标注的目标语言数据和教师模型的预测结果进行优化。
• 强化学习通过最大化源自教师与学生模型预测一致性与信息量的密集奖励信号，优化选择策略。
• 该方法避免依赖标注的目标数据，转而利用模型预测提供的弱监督信号来引导蒸馏过程。
• 最终框架专为工业部署设计，消融实验验证了f_conf、f_agree和f_semantic等关键状态特征的重要性。

实验结果

研究问题

• RQ1 能否有效利用强化学习从未标注的目标语言数据中选择信息丰富且低噪声的实例，以提升跨语言知识蒸馏效果？
• RQ2 所提出的RIKD框架与现有知识蒸馏及半监督学习方法在跨语言NER中的表现相比如何？
• RQ3 状态向量中的哪些特征对RIKD中实例选择器的性能贡献最大？
• RQ4 RIKD在多大程度上能减少对标注目标语言数据的依赖，同时保持或提升NER性能？
• RQ5 RIKD能否在真实世界工业应用中成功部署，处理大规模、多语言数据？

主要发现

• RIKD在跨语言NER任务上实现了新的最先进性能，在工业测试集上相比先前方法最高提升3.07 F1分。
• 在CoNLL-2003基准上，RIKD在六个目标语言上的平均F1得分为65.36，显著优于基线选择策略。
• 消融实验表明，f_conf、f_agree和f_semantic是状态向量中最关键的特征，对选择准确率和整体性能贡献最大。
• 强化选择方法每批次丢弃38.8%至60.8%的训练样本，表明能有效过滤噪声或无信息量的实例。
• 在真实世界Microsoft Bing部署中，RIKD相比Wu et al. (2020k)的平均F1提升3.07分，展现出强大的泛化能力和工业适用性。
• 该方法在多种语言上表现稳健，包括低资源语言如阿拉伯语（52.38 F1）和中文（32.14 F1），相比基线有显著提升。