[论文解读] Recent Advances in End-to-End Automatic Speech Recognition

Jinyu Li|arXiv (Cornell University)|Nov 2, 2021

Speech Recognition and Synthesis被引用 53

一句话总结

本文综述端到端（E2E）ASR模型、它们的体系结构、训练标准、流式能力、多语言建模，以及面向行业的部署考量，强调相对于传统混合式模型的当前优势与实际挑战。

ABSTRACT

Recently, the speech community is seeing a significant trend of moving from deep neural network based hybrid modeling to end-to-end (E2E) modeling for automatic speech recognition (ASR). While E2E models achieve the state-of-the-art results in most benchmarks in terms of ASR accuracy, hybrid models are still used in a large proportion of commercial ASR systems at the current time. There are lots of practical factors that affect the production model deployment decision. Traditional hybrid models, being optimized for production for decades, are usually good at these factors. Without providing excellent solutions to all these factors, it is hard for E2E models to be widely commercialized. In this paper, we will overview the recent advances in E2E models, focusing on technologies addressing those challenges from the industry's perspective.

研究动机与目标

• 解释从混合式到端到端ASR的转变，以及影响部署决策的行业因素。
• 概述主要的E2E模型家族（CTC、AED、RNN-T）及其流式能力。
• 讨论编码器架构（LSTM、Transformer、Conformer）及流式延迟的考量。
• 介绍超出标准损失的训练准则，包括教师-学生学习和MWER，并探讨多语言与自适应主题。

提出的方法

• 描述并比较三大主要的E2E ASR方法：CTC、基于注意力的编码器-解码器（AED）和RNN-Transducer（RNN-T）。
• 解释CTC如何通过基于简单路径的损失放松标签对齐，以及注意力和自监督如何缓解独立性假设。
• 详述AED的训练，结合联合CTC与流式注意力策略以控制延迟。
• 介绍RNN-T结构及通过受限对齐、FastEmit和自对齐方法实现低延迟流式的训练改进。
• 概述包括LSTM、带延迟控制的BLSTM、Transformer和Conformer在内的编码器选项，以改善上下文建模。
• 讨论流式注意力遮蔽与上下文扩展技术，以在准确性和延迟之间取得平衡。
• 总结诸如教师-学生学习和MWER等替代训练准则。

实验结果

研究问题

• RQ1 ASR的主导端到端架构是什么，以及它们在准确性和流式能力方面的权衡？
• RQ2 编码器选择（LSTM、Transformer、Conformer）如何影响E2E ASR的性能和延迟？
• RQ3 哪些训练准则和技术有助于缩小训练目标与实际ASR指标之间的差距？
• RQ4 如何使E2E模型具备多语言能力或适应多语言/领域？
• RQ5 在行业环境中，哪些策略最能解决延迟、适应性和资源约束等部署考量？

主要发现

• RNN-T被定位为行业中领先的流式E2E模型，因为其输出具有自然的流式性且精度具有竞争力。
• Transformer和Conformer编码器在长程依赖建模方面提供更强的能力，在某些情况下甚至超过基于LSTM的编码器。
• AED的流式策略（如MoChA、MILK、触发注意力）已被探索，但通常存在延迟或稳定性权衡，在流式任务中更偏向RNN-T。
• 各种训练增强（联合CTC-AED训练、教师-学生学习、MWER）被视为改善收敛、延迟和准确性的途径，尽管收益因模型类型而异。
• 存在多种多语言建模方法，包括通用多语言模型和可配置多语言模型（CMM），并有用于代码切换和语言识别集成的额外技术。
• 延迟与内存效率的改进（如受限对齐、FastEmit、自对齐）被视为实际部署中的重要进展。