[论文解读] TinyMBERT: Multi-Stage Distillation Framework for Massive Multi-lingual NER.

Subhabrata Mukherjee, Ahmed Hassan Awadallah|arXiv (Cornell University)|Apr 12, 2020

Topic Modeling被引用 4

一句话总结

本文提出 TinyMBERT，一种多阶段蒸馏框架，用于高效压缩多语言 BERT（MBERT）模型，以实现多语言命名实体识别（NER）。通过在分阶段优化方案中利用教师模型的内部表示，该方法在保留教师模型 95% F1 分数的同时，实现了高达 35 倍的参数压缩和 51 倍的延迟降低，覆盖 41 种语言。

ABSTRACT

Deep and large pre-trained language models are the state-of-the-art for various natural language processing tasks. However, the huge size of these models could be a deterrent to use them in practice. Some recent and concurrent works use knowledge distillation to compress these huge models into shallow ones. In this work we study knowledge distillation with a focus on multi-lingual Named Entity Recognition (NER). In particular, we study several distillation strategies and propose a stage-wise optimization scheme leveraging teacher internal representations that is agnostic of teacher architecture and show that it outperforms strategies employed in prior works. Additionally, we investigate the role of several factors like the amount of unlabeled data, annotation resources, model architecture and inference latency to name a few. We show that our approach leads to massive compression of MBERT-like teacher models by upto 35x in terms of parameters and 51x in terms of latency for batch inference while retaining 95% of its F1-score for NER over 41 languages.

研究动机与目标

• 为解决大规模预训练多语言模型在实际 NLP 应用中因计算和内存成本过高而导致的效率低下问题。
• 探索适用于多语言命名实体识别（NER）任务的有效知识蒸馏策略。
• 开发一种与教师模型架构无关的蒸馏框架，并利用内部表示以提升性能。
• 研究未标注数据、标注资源、模型架构以及推理延迟对蒸馏效果的影响。
• 在多语言 NER 任务中实现大规模模型压缩，同时保持性能损失最小。

提出的方法

• 提出一种分阶段蒸馏框架，逐步将大型多语言教师模型（MBERT）的知识迁移至更小的学生模型。
• 利用教师模型在多层中的内部表示（如隐藏状态）来指导学生模型的训练，提升知识迁移效果。
• 设计一种与架构无关的蒸馏策略，可在不修改教师模型的前提下应用于多种教师模型。
• 采用多阶段优化过程，每个阶段专注于特定的知识迁移目标，逐步提升学生模型性能。
• 在蒸馏过程中引入未标注数据，以增强低资源语言下的泛化能力和鲁棒性。
• 通过最小化模型大小和延迟来优化推理效率，同时在多语言 NER 基准上保持高 F1 分数。

实验结果

研究问题

• RQ1 与标准蒸馏方法相比，使用内部教师表示的分阶段蒸馏在多语言 NER 中如何提升学生模型的性能？
• RQ2 在覆盖 41 种语言的前提下，能在多大程度上实现模型压缩，同时保持高 F1 分数？
• RQ3 未标注数据量、标注资源可用性以及模型架构等因素如何影响蒸馏结果？
• RQ4 是否可以设计一种与教师模型架构无关的蒸馏框架，同时不牺牲性能？
• RQ5 在压缩后的多语言 NER 模型中，模型大小、推理延迟与 F1 分数之间存在何种权衡？

主要发现

• 所提出的多阶段蒸馏框架在多语言 NER 任务中优于以往的知识蒸馏策略。
• TinyMBERT 相较于原始 MBERT 教师模型，实现了高达 35 倍的参数量减少。
• 该框架将批量推理延迟降低了最多 51 倍，同时在 41 种语言上保持了教师模型 95% 的 F1 分数。
• 使用教师模型的内部表示显著提升了知识迁移效果，尤其在低资源语言场景下表现突出。
• 蒸馏过程对未标注数据量和标注资源的差异具有鲁棒性，表现出一致的性能提升。
• 与架构无关的设计使得该框架可在多种教师模型上有效应用，且无需修改其网络结构。