[论文解读] Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders

Xu Chen, Bojie Hu+6 more|arXiv (Cornell University)|May 12, 2021

Natural Language Processing Techniques参考文献 32被引用 6

一句话总结

本文提出了一种新型端到端语音翻译框架——堆叠声学与文本编码（SATE），通过适配器模块和多教师知识蒸馏，将预训练的自动语音识别（ASR）与机器翻译（MT）编码器堆叠整合。当具备大规模预训练数据时，该方法在LibriSpeech En-Fr和MuST-C En-De基准上分别取得了18.3和25.2的SOTA BLEU分数，优于级联系统。

ABSTRACT

Encoder pre-training is promising in end-to-end Speech Translation (ST), given the fact that speech-to-translation data is scarce. But ST encoders are not simple instances of Automatic Speech Recognition (ASR) or Machine Translation (MT) encoders. For example, we find that ASR encoders lack the global context representation, which is necessary for translation, whereas MT encoders are not designed to deal with long but locally attentive acoustic sequences. In this work, we propose a Stacked Acoustic-and-Textual Encoding (SATE) method for speech translation. Our encoder begins with processing the acoustic sequence as usual, but later behaves more like an MT encoder for a global representation of the input sequence. In this way, it is straightforward to incorporate the pre-trained models into the system. Also, we develop an adaptor module to alleviate the representation inconsistency between the pre-trained ASR encoder and MT encoder, and develop a multi-teacher knowledge distillation method to preserve the pre-training knowledge. Experimental results on the LibriSpeech En-Fr and MuST-C En-De ST tasks show that our method achieves state-of-the-art BLEU scores of 18.3 and 25.2. To our knowledge, we are the first to develop an end-to-end ST system that achieves comparable or even better BLEU performance than the cascaded ST counterpart when large-scale ASR and MT data is available.

研究动机与目标

• 为解决端到端语音翻译（E2E ST）中语音到翻译数据有限的挑战。
• 探究为何在端到端语音翻译中，单独使用预训练的ASR与MT模型相较于级联系统表现欠佳。
• 设计一种统一的编码器架构，有效结合声学与文本表征学习，以提升翻译性能。
• 在微调过程中保留预训练知识，并解决ASR与MT编码器之间的表征不一致性问题。

提出的方法

• 提出一种堆叠编码器结构：首先通过预训练的ASR编码器处理声学特征，再将输出通过适配器模块传递给预训练的MT编码器。
• 引入三种变体的适配器模块——软表示、映射和融合，以弥合声学与文本编码器之间的表征差距。
• 采用多教师知识蒸馏，在微调阶段将预训练的ASR与MT模型的知识迁移至端到端语音翻译模型。
• 采用两阶段训练流程：先在ASR与MT数据上进行预训练，随后在ST数据上进行端到端微调并结合知识蒸馏。
• 通过局部性分析验证SATE模型同时学习了局部声学模式与全局语言依赖关系。
• 采用残差连接与层归一化以稳定训练并改善梯度流动。

实验结果

研究问题

• RQ1 为何单独使用预训练的ASR与MT模型在端到端语音翻译中无法提升性能？
• RQ2 如何在单一端到端语音翻译编码器中有效结合预训练的ASR与MT编码器，以发挥其互补优势？
• RQ3 在统一的端到端语音翻译模型中，何种机制可缓解ASR与MT编码器之间的表征不一致性？
• RQ4 多教师知识蒸馏能否在微调过程中保留预训练知识并提升语音翻译性能？
• RQ5 当具备大规模预训练数据时，所提出的SATE方法是否优于级联语音翻译系统？

主要发现

• 在MuST-C En-De基准的无限制设置下，SATE取得了25.2的SOTA BLEU分数，优于28.1 BLEU的级联基线模型。
• 在LibriSpeech En-Fr任务上，SATE实现了18.3的BLEU分数，展现出在标准基准上的强劲性能。
• 模型推理速度相比级联基线最高提升1.69倍，表明效率显著提升。
• 基于融合的适配器模块表现最佳，相比软表示提升0.3 BLEU，相比映射变体提升0.6 BLEU。
• 消融实验表明，移除任意一个预训练模块均会显著降低性能，其中ASR编码器对噪声语音的影响最大。
• 局部性分析显示，SATE同时学习了局部声学模式（如ASR）与全局语言依赖关系（如MT），证实了堆叠架构的成功。