[论文解读] WeNet: Production First and Production Ready End-to-End Speech Recognition Toolkit.

Binbin Zhang, Di Wu+9 more|arXiv (Cornell University)|Feb 2, 2021

Speech Recognition and Synthesis参考文献 6被引用 18

一句话总结

WeNet 是一个以生产环境为首要目标的端到端（E2E）语音识别工具包，旨在弥合研究与实际部署之间的差距。它在 AISHELL-1 数据集上实现了低字符错误率（CER）和高效的推理，无论是在流式还是非流式场景下均表现出色，适用于生产环境部署。

ABSTRACT

In this paper, we present a new open source, production first and production ready end-to-end (E2E) speech recognition toolkit named WeNet. The main motivation of WeNet is to close the gap between the research and the production of E2E speech recognition models. WeNet provides an efficient way to ship ASR applications in several real-world scenarios, which is the main difference and advantage to other open source E2E speech recognition toolkits. This paper introduces WeNet from three aspects, including model architecture, framework design and performance metrics. Our experiments on AISHELL-1 using WeNet, not only give a promising character error rate (CER) on a unified streaming and non-streaming two pass (U2) E2E model but also show reasonable RTF and latency, both of these aspects are favored for production adoption. The toolkit is publicly available at this https URL

研究动机与目标

• 弥合研究原型与生产就绪的端到端语音识别系统之间的差距。
• 实现在真实世界应用中高效部署端到端 ASR 模型。
• 通过统一的双阶段（U2）模型架构，支持流式与非流式推理。
• 优化生产环境中的推理效率与延迟。
• 提供可扩展的开源工具包，适用于工业规模的 ASR 应用。

提出的方法

• 设计一种支持流式与非流式推理的统一双阶段（U2）端到端模型架构。
• 实现针对低延迟和实时性能优化的高效推理流水线。
• 利用高效的神经网络组件和推理优化技术，以支持生产环境部署。
• 将训练与推理工作流整合到一个统一的、生产就绪的框架中。
• 使用单一模型架构同时处理流式与非流式推理，降低系统复杂性。
• 通过硬件感知优化，提升模型推理效率，实现低 RTF（实时因子）与低延迟。

实验结果

研究问题

• RQ1 如何在保持高准确率的前提下，使端到端语音识别模型具备生产就绪能力？
• RQ2 哪些架构与工程选择能够实现端到端 ASR 在真实系统中的高效部署？
• RQ3 统一模型是否能在流式与非流式推理场景中均实现具有竞争力的性能？
• RQ4 端到端模型在类似生产环境设置下的延迟与实时因子（RTF）特性如何？
• RQ5 WeNet 工具包在部署就绪性方面与现有开源端到端 ASR 工具包相比有何差异？

主要发现

• WeNet 使用统一的双阶段（U2）端到端模型在 AISHELL-1 数据集上实现了具有前景的字符错误率（CER）。
• 该模型表现出合理的实时因子（RTF）和低延迟，适合生产环境部署。
• 该工具包通过单一模型架构支持流式与非流式推理。
• WeNet 专为生产环境设计，其优化确保了在真实场景中的高效推理。
• 开源工具包公开可用且已具备生产就绪能力，可实现端到端 ASR 应用的快速部署。
• 该框架成功弥合了研究原型与工业规模 ASR 部署之间的差距。