[论文解读] The 2020 ESPnet update: new features, broadened applications, performance improvements, and future plans

Shinji Watanabe, Florian Boyer+13 more|arXiv (Cornell University)|Dec 23, 2020

Speech Recognition and Synthesis参考文献 74被引用 6

一句话总结

本文介绍了 ESPnet 的 2020 年更新版本，该工具包是一个端到端语音处理框架，其功能已从自动语音识别（ASR）扩展至文本到语音（TTS）、语音翻译（ST）、语音转换（VC）以及全面的语音增强（SE），包括波束成形、分离、去噪和混响消除。该框架支持使用 Transformer、Conformer 和高级数据增强技术对所有组件进行统一的端到端训练，在多个基准测试中实现了最先进性能，且通过 ESPnet2 实现了更高的可扩展性和可维护性。

ABSTRACT

This paper describes the recent development of ESPnet (https://github.com/espnet/espnet), an end-to-end speech processing toolkit. This project was initiated in December 2017 to mainly deal with end-to-end speech recognition experiments based on sequence-to-sequence modeling. The project has grown rapidly and now covers a wide range of speech processing applications. Now ESPnet also includes text to speech (TTS), voice conversation (VC), speech translation (ST), and speech enhancement (SE) with support for beamforming, speech separation, denoising, and dereverberation. All applications are trained in an end-to-end manner, thanks to the generic sequence to sequence modeling properties, and they can be further integrated and jointly optimized. Also, ESPnet provides reproducible all-in-one recipes for these applications with state-of-the-art performance in various benchmarks by incorporating transformer, advanced data augmentation, and conformer. This project aims to provide up-to-date speech processing experience to the community so that researchers in academia and various industry scales can develop their technologies collaboratively.

研究动机与目标

• 将 ESPnet 从端到端自动语音识别（ASR）扩展至支持广泛的语音处理应用。
• 实现前端语音增强与后端 ASR/TTS/ST 模型的统一端到端训练，以提升性能并简化部署流程。
• 通过引入 ESPnet2（一个重构的深度神经网络训练系统，支持分布式训练和实时特征提取）提升系统的可扩展性和可维护性。
• 支持 Conformer、Transformer、数据增强以及 RNN-Transducer 等先进技术，以提升 ASR 和 TTS 的性能。
• 提供可复现的、一体化的训练配方，在多个基准测试（包括多说话人 ASR 的 WSJ0-2mix）中实现最先进结果。

提出的方法

• 该框架采用通用的序列到序列建模方法，将 ASR、TTS、ST、VC 和 SE 等多样化语音应用统一在单一端到端训练范式下。
• ESPnet2 引入了新的训练系统，支持分布式训练、从原始波形实时转换为特征表示，并改进了大规模训练的内存管理。
• 语音增强模块以完全可微分的方式实现，支持使用信号级目标或基于 ASR 的目标进行端到端优化。
• 采用神经波束成形器（如 MVDR、WPD、wMPDR）和掩码网络实现多通道语音分离与增强，并与 ASR 损失联合优化。
• 通过共享优化的串行流水线实现增强与识别模块的联合训练，采用组合损失函数（包括多说话人场景下的排列不变训练 PIT）。
• 系统支持基于 DNN 的 WPE 混响消除模块集成，并支持与 ASR 目标联合训练，实现混响消除与语音识别的端到端联合优化。

实验结果

研究问题

• RQ1 如何设计一个统一的端到端框架，以支持包括 ASR、TTS、ST、VC 和语音增强在内的多样化语音处理任务？
• RQ2 ESPnet2 在训练可扩展性、内存效率和可维护性方面相较于以往系统带来了哪些改进，尤其针对大规模语音处理模型？
• RQ3 在多说话人和噪声环境下，端到端联合训练语音增强与 ASR 模块是否能优于或至少匹配传统流水线方法的性能？
• RQ4 结合 Conformer 和 Transformer 等先进架构以及数据增强技术，能否在多个语音处理基准测试中显著提升性能？
• RQ5 在单一统一且可微分的框架中，集成波束成形、分离、去噪和混响消除等多种语音增强技术，在多任务联合优化中效果如何？

主要发现

• ESPnet 现已支持广泛的端到端语音应用，包括 TTS、ST、VC 以及高级语音增强技术（波束成形、分离、去噪、混响消除），所有模块均可联合训练。
• ESPnet2 的引入显著提升了系统的可扩展性，支持分布式训练和从原始波形实时提取特征，解决了以往的内存瓶颈问题。
• 增强与识别模块的联合训练在 WSJ0-2mix 等基准数据集上的表现与基线流水线系统相当或更优。
• 采用 Conformer、Transformer 和数据增强技术后，在多个 ASR 和 TTS 基准测试中均实现了最先进性能。
• 完全可微分的语音增强模块（包括 BeamformerNet 和 DNN-WPE）支持使用信号级目标或基于 ASR 的目标实现端到端优化。
• 截至 2020 年 12 月，该框架在 GitHub 上获得 3.1K 颗星标和 321 次引用，反映出其在社区中的广泛采用与持续活跃开发。