[论文解读] One In A Hundred: Select The Best Predicted Sequence from Numerous Candidates for Streaming Speech Recognition

Zhengkun Tian, Jiangyan Yi+4 more|arXiv (Cornell University)|Oct 28, 2020

Speech Recognition and Synthesis参考文献 22被引用 5

一句话总结

该论文提出了一种两阶段流式语音识别模型，通过CTC解码器生成数百个候选转录结果，并利用基于Transformer的条件语言模型选择最佳结果，从而在AISHELL-1普通话数据集上实现了高达20%的字符错误率（CER）相对降低，同时保持了低延迟的流式推理性能。

ABSTRACT

The RNN-Transducers and improved attention-based encoder-decoder models are widely applied to streaming speech recognition. Compared with these two end-to-end models, the CTC model is more efficient in training and inference. However, it cannot capture the linguistic dependencies between the output tokens. Inspired by the success of two-pass end-to-end models, we introduce a transformer decoder and the two-stage inference method into the streaming CTC model. During inference, the CTC decoder first generates many candidates in a streaming fashion. Then the transformer decoder selects the best candidate based on the corresponding acoustic encoded states. The second-stage transformer decoder can be regarded as a conditional language model. We assume that a large enough number and enough diversity of candidates generated in the first stage can compensate the CTC model for the lack of language modeling ability. All the experiments are conducted on a Chinese Mandarin dataset AISHELL-1. The results show that our proposed model can implement streaming decoding in a fast and straightforward way. Our model can achieve up to a 20% reduction in the character error rate than the baseline CTC model. In addition, our model can also perform non-streaming inference with only a little performance degradation.

研究动机与目标

• 为解决流式CTC模型中语言上下文建模能力不足的问题，该问题限制了流式语音识别的性能。
• 通过结合CTC的高效性与基于Transformer解码器的语言建模能力，提升流式推理的效率与准确性。
• 验证大规模多样化CTC生成的候选结果能否弥补CTC模型在序列级语言建模方面的固有缺陷。
• 在最小性能损失的前提下，同时支持流式与非流式推理。

提出的方法

• 一个延迟可控的流式Transformer编码器（LC-STE）实时处理输入特征，通过局部自注意力机制和有限的未来上下文层，保持低延迟。
• 在预选择阶段，CTC解码器以流式方式生成最多100个候选转录结果。
• 基于Transformer的解码器对所有候选结果执行单步评分，利用对应的声学编码器状态作为条件语言模型。
• 最终假设选择为所有候选结果中平均得分最高的那个。
• 通过联合训练编码器、CTC解码器和Transformer解码器，确保对齐与性能优化。
• 通过禁用实时约束，该模型可同时支持流式（带延迟控制）与非流式推理。

实验结果

研究问题

• RQ1 大规模且多样的CTC生成候选结果是否能补偿CTC模型在语言建模能力上的不足？
• RQ2 采用基于Transformer的评分器的两阶段推理流程是否能相比标准CTC模型提升流式语音识别性能？
• RQ3 所提方法是否能在保持低延迟的同时，实现与非流式或更复杂端到端模型相当的性能？
• RQ4 CTC解码阶段的束宽（beam width）如何影响两阶段系统的最终性能？
• RQ5 在使用OAH方法时，流式效率与识别准确率之间的权衡关系如何？

主要发现

• 所提出的OAH模型在AISHELL-1数据集上相比基线CTC模型，字符错误率（CER）最高实现20%的相对降低。
• 当束宽为50时，该模型在测试集上达到7.41%的CER，优于基线CTC模型及其他流式模型（如Sync-Transformer和SA-Transducer）。
• 该模型保持了0.0380的实时因子（RTF），显著优于SA-Transducer（RTF 0.1536）和Speech-Transformer（RTF 0.0564）。
• 非流式推理的CER为7.05%，与流式版本相比仅出现轻微性能下降。
• 束宽超过50会导致性能下降，可能是因为高分但低质量的候选结果引入了更多噪声。
• 采用OAH机制的模型优于通过外部语言模型（如RNNLM或TransLM重打分）增强的CTC模型，证明了内部两阶段机制的有效性。