[论文解读] UniTrans: Unifying Model Transfer and Data Transfer for Cross-Lingual Named Entity Recognition with Unlabeled Data

Qianhui Wu, Zijia Lin+3 more|arXiv (Cornell University)|Jul 15, 2020

Topic Modeling参考文献 21被引用 5

一句话总结

UniTrans 提出了一种统一的跨语言命名实体识别框架，通过在未标注的目标语言数据上进行增强的知识蒸馏，整合了模型迁移与数据迁移。通过利用来自蒸馏教师模型的软标签以及在未标注数据上通过投票机制生成的硬标签，UniTrans 在四种目标语言上均实现了最先进性能，通过教师模型集成实现了 0.24 的 F1 分数提升。

ABSTRACT

Prior works in cross-lingual named entity recognition (NER) with no/little labeled data fall into two primary categories: model transfer based and data transfer based methods. In this paper we find that both method types can complement each other, in the sense that, the former can exploit context information via language-independent features but sees no task-specific information in the target language; while the latter generally generates pseudo target-language training data via translation but its exploitation of context information is weakened by inaccurate translations. Moreover, prior works rarely leverage unlabeled data in the target language, which can be effortlessly collected and potentially contains valuable information for improved results. To handle both problems, we propose a novel approach termed UniTrans to Unify both model and data Transfer for cross-lingual NER, and furthermore, to leverage the available information from unlabeled target-language data via enhanced knowledge distillation. We evaluate our proposed UniTrans over 4 target languages on benchmark datasets. Our experimental results show that it substantially outperforms the existing state-of-the-art methods.

研究动机与目标

• 解决现有零资源跨语言命名实体识别方法仅依赖模型迁移或数据迁移的局限性。
• 通过利用模型迁移的上下文感知能力与数据迁移的任务特定标签监督能力，统一模型迁移与数据迁移。
• 利用常被忽略的未标注目标语言数据，以提升泛化能力与模型鲁棒性。
• 通过结合教师模型生成的软标签与在未标注数据上通过投票机制生成的硬标签，增强知识蒸馏。
• 证明同时整合两种迁移方式与未标注数据，可稳定超越现有最先进方法。

提出的方法

• 通过源语言数据的词对词翻译并复制实体标签，构建伪目标语言训练集。
• 训练三个独立的命名实体识别模型：一个在源语言数据上训练（$\Theta_{src}$），一个在伪目标语言数据上训练（$\Theta_{trans}$），一个在伪数据上微调以作为教师模型（$\Theta_{teach}$）。
• 使用教师模型 $\Theta_{teach}$ 为未标注目标语言数据中的每个词生成软标签分布（概率向量）。
• 在 $\Theta_{src}$、$\Theta_{teach}$ 和 $\Theta_{trans}$ 之间实施投票机制，为未标注目标数据中的一小部分词生成高置信度的 one-hot 硬标签。
• 通过知识蒸馏，使用未标注数据中的软标签与硬标签联合训练学生模型 $\Theta_{stu}$，结合两种监督信号。
• 通过训练多个使用不同随机种子的教师模型并平均其预测结果，扩展方法以实现教师模型集成，从而提升鲁棒性与性能。

实验结果

研究问题

• RQ1 结合模型迁移与数据迁移是否能将跨语言命名实体识别性能提升至超越单独使用任一方法的水平？
• RQ2 利用未标注目标语言数据是否能显著增强零资源跨语言命名实体识别中的模型泛化能力？
• RQ3 通过结合来自蒸馏教师模型的软标签与通过共识投票机制生成的硬标签，是否比仅使用一种监督形式更有效？
• RQ4 所提出的统一模型与数据迁移的教师模型，与独立的模型迁移或数据迁移基线相比表现如何？
• RQ5 通过教师模型集成是否能通过减少特征编码器中模型随机性带来的方差，进一步提升性能？

主要发现

• UniTrans 在全部四种目标语言（es, nl, de, no）上均取得了新的最先进 F1 分数，平均 F1 达到 79.55。
• 无论移除软标签损失 ($\mathcal{L}_{soft}^{\bm{\tilde{x}}}$) 还是硬标签损失 ($\mathcal{L}_{hard}^{\bm{\tilde{x}}}$)，性能均出现一致下降，验证了双重监督的有效性。
• 统一了模型与数据迁移的教师模型 $\Theta_{teach}$ 表现优于独立的模型迁移（$\Theta_{src}$）与数据迁移（$\Theta_{trans}$）基线，证实了二者互补性。
• 若排除未标注目标语言数据 ($\mathcal{D}_{T}$)，性能低于使用该数据的情况，证明了未标注数据在跨语言迁移中的价值。
• 使用 $M=5$ 个教师模型进行集成，平均 F1 分数提升 0.24，达到 79.79，表明可利用模型随机性实现更好的泛化。
• 所提方法优于数据组合基线，表明统一的知识蒸馏策略比简单拼接标注数据更有效。