[论文解读] Non-autoregressive End-to-end Speech Translation with Parallel Autoregressive Rescoring

Hirofumi Inaguma, Yosuke Higuchi+3 more|arXiv (Cornell University)|Sep 9, 2021

Natural Language Processing Techniques参考文献 94被引用 4

一句话总结

本文提出 Orthros，一种非自回归端到端语音翻译框架，通过使用并行自回归重打分机制，在不牺牲解码速度的前提下提升翻译质量。通过联合训练非自回归解码器与轻量级自回归解码器进行重打分，Orthros 在保持推理速度的同时，实现了与自回归模型相当的 BLEU 分数，尤其在使用 Conformer 编码器和基于 CTC 的解码器时，CPU 上的推理速度最高可提升 3.63 倍。

ABSTRACT

This article describes an efficient end-to-end speech translation (E2E-ST) framework based on non-autoregressive (NAR) models. End-to-end speech translation models have several advantages over traditional cascade systems such as inference latency reduction. However, conventional AR decoding methods are not fast enough because each token is generated incrementally. NAR models, however, can accelerate the decoding speed by generating multiple tokens in parallel on the basis of the token-wise conditional independence assumption. We propose a unified NAR E2E-ST framework called Orthros, which has an NAR decoder and an auxiliary shallow AR decoder on top of the shared encoder. The auxiliary shallow AR decoder selects the best hypothesis by rescoring multiple candidates generated from the NAR decoder in parallel (parallel AR rescoring). We adopt conditional masked language model (CMLM) and a connectionist temporal classification (CTC)-based model as NAR decoders for Orthros, referred to as Orthros-CMLM and Orthros-CTC, respectively. We also propose two training methods to enhance the CMLM decoder. Experimental evaluations on three benchmark datasets with six language directions demonstrated that Orthros achieved large improvements in translation quality with a very small overhead compared with the baseline NAR model. Moreover, the Conformer encoder architecture enabled large quality improvements, especially for CTC-based models. Orthros-CTC with the Conformer encoder increased decoding speed by 3.63x on CPU with translation quality comparable to that of an AR model.

研究动机与目标

• 为解决端到端语音翻译中的质量-速度权衡问题，通过加速非自回归（NAR）模型而不损失翻译质量。
• 提升 NAR 模型的可搜索性与假设选择能力，因其常因序列级打分能力弱而无法识别最优翻译。
• 开发一种统一框架，实现共享编码器与 NAR 及辅助自回归（AR）解码器的高效端到端联合训练。
• 通过多掩码训练与仅文本的 NAR 机器翻译任务联合预训练，提升条件掩码语言模型（CMLM）解码器的训练效果。
• 评估 Conformer 编码器在提升多语言方向与不同语音长度下 NAR 模型性能方面的有效性。

提出的方法

• 提出 Orthros，一种统一的 NAR 端到端语音翻译框架，包含共享编码器、非自回归（NAR）解码器和用于并行重打分的辅助浅层自回归（AR）解码器。
• 采用并行 AR 重打分：多个长度各异的 NAR 生成假设由 AR 解码器并行打分，以选择最佳翻译。
• 使用条件掩码语言模型（CMLM）和基于连接时序分类（CTC）的模型作为 NAR 解码器，分别称为 Orthros-CMLM 和 Orthros-CTC。
• 应用多掩码训练（MMT）以通过暴露于每个样本的多种输入视图，提升 CMLM 解码器的泛化能力。
• 引入与仅文本输入的 NAR 机器翻译任务的联合训练，通过辅助监督提升 CMLM 解码器性能。
• 采用 Conformer 编码器以增强表示学习，尤其在长时语音上表现更优，并显著提升所有 NAR 模型的性能。

实验结果

研究问题

• RQ1 并行自回归重打分是否能在不增加解码延迟的前提下显著提升非自回归语音翻译模型的翻译质量？
• RQ2 将轻量级自回归解码器作为重打分头集成到 NAR 模型中，是否能改善假设选择能力？
• RQ3 多掩码训练与仅文本 NAR MT 的联合预训练在提升 CMLM 解码器性能方面有多有效？
• RQ4 Conformer 编码器架构在多大程度上能提升 NAR 端到端语音翻译模型的翻译质量与对长时语音的鲁棒性？
• RQ5 具备并行 AR 重打分的 NAR 模型能否在保持高解码速度的同时，实现接近自回归模型的翻译质量？

主要发现

• 使用 Conformer 编码器的 Orthros-CTC 在 CPU 上实现了 3.63 倍的加速，同时 BLEU 分数与自回归模型相当。
• 并行 AR 重打分在所有模型与语言对中均一致提升了 BLEU 分数，且随着长度束大小 $ l $ 的增加，性能增益也持续提升。
• 采用多掩码训练与联合 NAR MT 预训练的 Orthros-CMLM 相比基线 CMLM 提升了 4.6 个 BLEU 分数，性能达到通过序列知识蒸馏训练的大规模自回归模型水平。
• Conformer 编码器显著提升了翻译质量，尤其在基于 CTC 的模型上，并增强了对长时语音（最长达 60 秒）的鲁棒性，在超过 30 秒的语音上甚至优于自回归模型。
• Oracle BLEU 分数表明，并行 AR 重打分可达到比迭代精炼更高的上限，表明 NAR 假设具有更好的可搜索性。
• 并行 AR 重打分的有效性在不同编码器与解码器架构间均保持一致，证明了其良好的泛化能力。