[论文解读] PyKaldi2: Yet another speech toolkit based on Kaldi and PyTorch

Liang Lu, Xiong Xiao+2 more|arXiv (Cornell University)|Jul 12, 2019

Speech Recognition and Synthesis参考文献 12被引用 17

一句话总结

PyKaldi2 是一个语音识别工具包，将 Kaldi 与 PyTorch 集成，支持通过在线生成的词网实现端到端序列训练，采用 MMI、sMBR 和 MPE 等准则。其在 Librispeech 上取得了具有竞争力的词错误率（WER）表现，序列训练提升了准确性，而在线噪声/混响模拟则增强了鲁棒性，尤其在远场条件下效果显著。

ABSTRACT

We introduce PyKaldi2 speech recognition toolkit implemented based on Kaldi and PyTorch. While similar toolkits are available built on top of the two, a key feature of PyKaldi2 is sequence training with criteria such as MMI, sMBR and MPE. In particular, we implemented the sequence training module with on-the-fly lattice generation during model training in order to simplify the training pipeline. To address the challenging acoustic environments in real applications, PyKaldi2 also supports on-the-fly noise and reverberation simulation to improve the model robustness. With this feature, it is possible to backpropogate the gradients from the sequence-level loss to the front-end feature extraction module, which, hopefully, can foster more research in the direction of joint front-end and backend learning. We performed benchmark experiments on Librispeech, and show that PyKaldi2 can achieve reasonable recognition accuracy. The toolkit is released under the MIT license.

研究动机与目标

• 为 Kaldi 与 PyTorch 之间搭建桥梁，实现 Kaldi 语音识别流程与 PyTorch 深度学习能力的无缝集成。
• 通过训练期间的在线词网生成，简化流程，实现端到端的序列判别性训练（MMI、sMBR、MPE）。
• 通过将模拟过程与前端特征提取模块的反向传播相结合，实现端到端的联合学习，提升模型在真实声学环境下的鲁棒性。
• 通过 Horovod 支持分布式训练，实现多 GPU 上的可扩展、高效序列训练。
• 提供一个灵活可扩展的工具包，支持基于词网与无词网的 MMI 训练，并为未来支持高级训练方案预留扩展空间。

提出的方法

• 利用 PyKaldi 作为 Python 包装器，访问 Kaldi 的 HMM 与 FST 功能，同时使用 PyTorch 进行神经网络训练与优化。
• 在训练期间实现在线词网生成，简化流程，支持与 GPU 上的模型更新并行进行的实时词网计算。
• 通过在每个小批量中卷积干净语音与随机房间脉冲响应（RIR），并添加多样化的噪声类型（如来自 CHiME-4、MUSAN、Noisex92 的噪声），实现在线数据模拟，以增强鲁棒性。
• 通过将模拟与词网计算集成到计算图中，实现序列级损失（如 MMI）通过前端特征提取模块的反向传播。
• 利用 Horovod 实现多 GPU 分布式训练，显著加速序列训练中的词网生成与损失计算。
• 提供模块化代码结构，包含专用组件用于数据输入输出、模拟、数据加载、模型定义、自定义损失运算，以及用于训练与解码的可执行程序。

实验结果

研究问题

• RQ1 在 Kaldi-PyTorch 混合工具包中，通过在线生成词网是否能在不牺牲训练效率的前提下简化序列训练流程？
• RQ2 在线噪声与混响模拟在远场及多人说话环境下的 ASR 模型鲁棒性提升方面，其效果如何？
• RQ3 在 Librispeech 上，PyKaldi2 中的序列判别性训练（MMI、sMBR、MPE）是否能持续提升词错误率（WER）表现，优于交叉熵训练？
• RQ4 将前端模拟与端到端反向传播相结合，对联合前端与后端学习的效率与效果如何？
• RQ5 PyKaldi2 中初步实现的无词网 MMI（LFMMI）与标准基于词网的训练相比，性能如何？

主要发现

• PyKaldi2 在 Librispeech 上实现了具有竞争力的 ASR 性能：使用 460 小时交叉熵（CE）训练的模型，结合数据模拟，在远场条件下优于使用 960 小时 MMI 训练的模型（WER 11.6% vs. 11.8%）。
• 在线模拟显著提升了鲁棒性：在 460 小时数据上使用模拟训练的 CE 模型在远场条件下达到 11.6% WER，优于在 960 小时数据上未使用模拟训练的 MMI 模型。
• 通过模拟训练的模型在近讲条件下实现了 5.6% 的 WER，证明了动态数据增强在提升真实场景鲁棒性方面的有效性。
• 通过 Horovod 实现的分布式训练实现了高吞吐量，16 块 GPU 每小时可训练高达 170 小时数据，显著加速了序列训练。
• 基于在线词网的序列训练相比交叉熵训练，持续提升了 WER 表现，验证了判别性准则的价值。
• 初步实现的无词网 MMI（LFMMI）在 Librispeech dev-clean 上取得了超过 8% 的 WER，但性能仍低于基于词网的训练，表明在数据加载与分块处理方面仍有改进空间。