[论文解读] NeurST: Neural Speech Translation Toolkit

Chengqi Zhao, Mingxuan Wang+3 more|arXiv (Cornell University)|Dec 18, 2020

Natural Language Processing Techniques参考文献 34被引用 6

一句话总结

NeurST 是一个开源的轻量级工具包，专为端到端神经网络语音翻译而设计，使研究人员能够使用 PyTorch 和 TensorFlow 2 轻松构建、训练和评估最先进模型。它提供了可复现的基准测试，性能强劲——在 libri-trans 英法语数据集上达到 23.3 的去分词 BLEU 分数，在 MuST-C 英德语数据集上达到 17.2，通过优化的预训练和数据增强技术优于先前系统。

ABSTRACT

NeurST is an open-source toolkit for neural speech translation. The toolkit mainly focuses on end-to-end speech translation, which is easy to use, modify, and extend to advanced speech translation research and products. NeurST aims at facilitating the speech translation research for NLP researchers and building reliable benchmarks for this field. It provides step-by-step recipes for feature extraction, data preprocessing, distributed training, and evaluation. In this paper, we will introduce the framework design of NeurST and show experimental results for different benchmark datasets, which can be regarded as reliable baselines for future research. The toolkit is publicly available at https://github.com/bytedance/neurst/ and we will continuously update the performance of NeurST with other counterparts and studies at https://st-benchmark.github.io/.

研究动机与目标

• 为解决语音翻译研究中因预处理和训练实践不一致而导致的基准测试缺乏一致性与可复现性问题。
• 通过抽象复杂音频处理和训练流水线，简化自然语言处理研究人员对端到端语音翻译模型的开发与部署。
• 为多种语音翻译数据集提供标准化的、分步的模型构建指南，涵盖特征提取、数据预处理、分布式训练和评估。
• 通过使用最先进的基于 Transformer 的模型报告一致且高性能的结果，为未来研究建立可靠且强大的基线。
• 同时支持端到端 ST 和级联 ASR+MT 系统，实现不同架构和训练策略之间的公平比较。

提出的方法

• NeurST 将训练工作流抽象为四个模块化组件：数据集（数据输入抽象）、模型（神经网络架构实现）、任务（模型输入的数据流水线）和执行器（训练/推理执行逻辑）。
• 该工具包支持 PyTorch 和 TensorFlow 2 后端，确保与现有自然语言处理工作流的灵活性和兼容性。
• 它实现了经过优化的基于 Transformer 的模型，包含注意力机制和位置编码，专为语音到文本翻译任务而适配。
• NeurST 集成了关键训练技术，如混合精度训练、XLA 加速，以及通过 Horovod 和 Byteps 实现的分布式训练，以提升可扩展性。
• 该框架包含标准化的预处理流水线，包括音频特征提取（如梅尔频谱图）、分词和子词分段（SentencePiece）。
• 它支持高级技术，如 SpecAugment 数据增强、ASR 编码器和 MT 解码器的权重初始化，以及知识蒸馏，以提升泛化能力。

实验结果

研究问题

• RQ1 统一且易于使用的工具包是否能提升端到端语音翻译研究中的可复现性和基准测试一致性？
• RQ2 使用预训练的 ASR 模型对 ST 编码器进行预训练，对低资源语音翻译数据集的性能有何影响？
• RQ3 数据增强技术（如 SpecAugment）在多大程度上能提升端到端 ST 模型的鲁棒性和准确性？
• RQ4 在标准和大规模训练设置下，端到端 ST 模型与级联 ASR+MT 系统在 BLEU 性能上如何比较？
• RQ5 一个轻量级、面向自然语言处理的工具包是否能在不依赖 Kaldi 等重型语音工具包的情况下，实现主要 ST 基准测试的竞争力表现？

主要发现

• NeurST 在使用纯端到端 Transformer 模型、ASR 预训练和 SpecAugment 的 libri-trans 英法语测试集上达到 23.3 的去分词 BLEU 分数，优于先前工作（包括 ESPnet-ST）0.5 BLEU。
• 尽管级联模型的 WER 更低（6.4 vs. 8.8），端到端 ST 模型在 libri-trans 上仍比级联系统高出 0.4–0.5 BLEU，表明端到端方法具有更强的泛化能力。
• 在 MuST-C EN-DE tst-COMMON 上，NeurST 在完整预训练和 SpecAugment 的条件下达到 17.2 的不区分大小写的 BLEU 分数，与 fairseq-ST 和 ESPnet-ST 的结果相当或更优。
• 使用预训练的 ASR 模型对 ST 编码器进行预训练带来的性能提升最大，而初始化 MT 解码器仅带来微小改进。
• SpecAugment 在所有数据集和模型变体中均一致提升性能，证明其在语音翻译数据增强中的有效性。
• 在大规模设置下（IWSLT 2021），级联系统的 BLEU 达到 31.4，而端到端模型达到 29.7，存在 1.7 BLEU 的差距，但表明未来自监督学习和数据构建方法有望缩小这一差距。