[论文解读] Token-Level Ensemble Distillation for Grapheme-to-Phoneme Conversion

Hao Sun, Xu Tan+5 more|arXiv (Cornell University)|Apr 6, 2019

Topic Modeling参考文献 31被引用 13

一句话总结

本文提出了一种用于音素转写（G2P）的逐 token 集成蒸馏方法，利用未标注数据和知识蒸馏技术提升准确率并减小模型规模。通过在未标注数据上训练多种基于 Transformer 的教师模型，并将其逐 token 的预测结果蒸馏到轻量化学生模型中，该方法在 CMUDict 数据集上实现了 19.88% 的新 SOTA WER，相比之前工作提升 4.22%，同时支持高效在线部署。

ABSTRACT

Grapheme-to-phoneme (G2P) conversion is an important task in automatic speech recognition and text-to-speech systems. Recently, G2P conversion is viewed as a sequence to sequence task and modeled by RNN or CNN based encoder-decoder framework. However, previous works do not consider the practical issues when deploying G2P model in the production system, such as how to leverage additional unlabeled data to boost the accuracy, as well as reduce model size for online deployment. In this work, we propose token-level ensemble distillation for G2P conversion, which can (1) boost the accuracy by distilling the knowledge from additional unlabeled data, and (2) reduce the model size but maintain the high accuracy, both of which are very practical and helpful in the online production system. We use token-level knowledge distillation, which results in better accuracy than the sequence-level counterpart. What is more, we adopt the Transformer instead of RNN or CNN based models to further boost the accuracy of G2P conversion. Experiments on the publicly available CMUDict dataset and an internal English dataset demonstrate the effectiveness of our proposed method. Particularly, our method achieves 19.88% WER on CMUDict dataset, outperforming the previous works by more than 4.22% WER, and setting the new state-of-the-art results.

研究动机与目标

• 解决 G2P 模型部署中的实际挑战：在标注数据有限的情况下提升准确率，并减小模型规模以适应在线系统。
• 利用大规模未标注音素序列提升模型泛化能力，无需人工标注。
• 在保持高准确率的前提下，减小大型或集成 G2P 模型的规模，以支持实时推理。
• 探究在序列到序列的 G2P 任务中，与序列级蒸馏相比，逐 token 知识蒸馏的有效性。
• 研究使用基于 Transformer 的架构相较于 RNN 和 CNN 在 G2P 转写任务中的性能提升。

提出的方法

• 在未标注的音素序列上训练教师模型，生成伪标注的音素序列及其概率分布。
• 采用逐 token 知识蒸馏，将教师模型的知识转移至更小的学生模型，其中每个 token 位置的软标签指导学生模型的训练。
• 构建由多样化模型（CNN、RNN、Transformer）组成的集成教师模型，以提升知识质量与模型鲁棒性。
• 不仅将知识蒸馏应用于标注数据，还应用于教师模型在未标注数据上生成的伪标签输出，从而有效扩展训练信号。
• 使用轻量化学生模型（1-1 层编码器-解码器）通过蒸馏进行训练，实现显著减少参数量与推理时间的同时保持高准确率。
• 采用 Transformer 架构作为基础模型，利用其自注意力机制实现比 RNN 或 CNN 模型更优的序列建模能力。

实验结果

研究问题

• RQ1 在未标注数据上训练的教师模型是否可通过知识蒸馏提升 G2P 准确率，而无需人工标注？
• RQ2 在 G2P 转写任务中，逐 token 蒸馏是否优于序列级蒸馏？
• RQ3 使用由 CNN、RNN、Transformer 组成的多样化模型作为教师，是否能实现比单一模型更优的知识迁移？
• RQ4 相较于 RNN 或 CNN，使用 Transformer 架构是否能提升 G2P 性能？
• RQ5 知识蒸馏是否能有效减小模型规模，同时在在线部署中保持或提升准确率？

主要发现

• 所提方法在 CMUDict 0.7b 数据集上实现了 19.88% 的新 SOTA WER，相比之前最佳结果提升 4.22% WER。
• 通过知识蒸馏引入未标注数据，相比不使用未标注数据的训练，WER 降低了近 1%。
• 逐 token 蒸馏实现 19.88% WER，显著优于序列级蒸馏（20.32% WER）。
• 使用教师模型集成将 WER 降低至 19.88%，而单个教师模型的 WER 为 21.05%，证明了模型多样性的优势。
• 参数量仅 185 万（1-1 层）的蒸馏学生模型实现 20.25% WER，相比 6-6 基线模型缩小 6 倍、推理速度提升 4 倍，同时保持高准确率。
• 在内部英文数据集上，方法将 WER 从 22.39%（CNN with NSGD）降低至 18.87%，证实其在公开基准之外的有效性。