[论文解读] Understanding Knowledge Distillation in Non-autoregressive Machine Translation

Chunting Zhou, Graham Neubig+1 more|arXiv (Cornell University)|Nov 6, 2019

Natural Language Processing Techniques参考文献 33被引用 117

一句话总结

论文研究为什么序列级知识蒸馏有助于非自回归翻译（NAT），引入数据复杂性与忠诚度度量，分析多模型的教师-学生动态，并提出将蒸馏数据定制以适应NAT容量的方法，在WMT14 En-De上取得接近自回归基线的NAT最新最优结果。

ABSTRACT

Non-autoregressive machine translation (NAT) systems predict a sequence of output tokens in parallel, achieving substantial improvements in generation speed compared to autoregressive models. Existing NAT models usually rely on the technique of knowledge distillation, which creates the training data from a pretrained autoregressive model for better performance. Knowledge distillation is empirically useful, leading to large gains in accuracy for NAT models, but the reason for this success has, as of yet, been unclear. In this paper, we first design systematic experiments to investigate why knowledge distillation is crucial to NAT training. We find that knowledge distillation can reduce the complexity of data sets and help NAT to model the variations in the output data. Furthermore, a strong correlation is observed between the capacity of an NAT model and the optimal complexity of the distilled data for the best translation quality. Based on these findings, we further propose several approaches that can alter the complexity of data sets to improve the performance of NAT models. We achieve the state-of-the-art performance for the NAT-based models, and close the gap with the autoregressive baseline on WMT14 En-De benchmark.

研究动机与目标

• 研究为何知识蒸馏能提升NAT训练与性能。
• 量化蒸馏数据如何影响数据复杂性和翻译模式。
• 探究NAT容量与最佳蒸馏数据复杂性之间的关系。
• 提出将蒸馏数据定制以适应NAT容量、从而缩小与自回归模型之间差距的方法。

提出的方法

• 使用合成实验来可视化蒸馏导致的模式简化。
• 定义并计算数据级指标：条件熵（复杂性）和基于KL散度的忠实度（F(d)）。
• 在WMT14 En-De上对四个AT教师和六个NAT学生进行系统评估，使用真实目标和蒸馏目标。
• 分析解码策略（采样、Top-k采样、贪心、束搜索）及其对蒸馏质量的影响。
• 在数据级别进行改进实验（Born-Again Networks、Mixture-of-Experts、序列级插值）以调整蒸馏数据的复杂性和保真度。
• 报告NAT容量、蒸馏数据复杂性与跨模型翻译质量之间的相关性。

实验结果

研究问题

• RQ1 知识蒸馏如何降低NAT输出的多模态性，以及为什么这有助于NAT训练？
• RQ2 NAT模型容量与蒸馏训练数据的最优复杂性之间的关系是什么？
• RQ3 通过解码方法、BAN、MoE、插值等改变蒸馏数据，是否能进一步缩小NAT与自回归模型之间的性能差距？

主要发现

• 蒸馏降低了输出的模态和复杂性，且高容量的NAT模型需要更复杂的蒸馏数据以获得最佳性能。
• 更高容量的教师产生更复杂且更忠实于真实数据的蒸馏数据，从而提升NAT的BLEU。
• 束搜索蒸馏在保持忠实度的同时最有效地降低数据复杂性，提升NAT性能。
• 较弱的NAT模型受益于更简单复杂度的蒸馏数据，而较强的NAT模型则受益于更复杂的蒸馏数据。
• Born-Again Networks和mixture-of-experts能够定制蒸馏数据以降低复杂性或提升保真度，从而改进NAT结果。
• 简单的数据级插值（选择高BLEU的束假设）可以在某些模型中进一步提升NAT性能。