[论文解读] Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech Recognition

Zhengkun Tian, Jiangyan Yi+4 more|arXiv (Cornell University)|May 16, 2020

Natural Language Processing Techniques参考文献 21被引用 10

一句话总结

该论文提出了一种用于端到端语音识别的脉冲触发非自回归变换器（ST-NAT），通过CTC模块预测目标序列长度，并利用类似脉冲的后验概率触发解码器输入。该模型在AISHELL-1数据集上实现了0.0056的实时因子（RTF），超越了所有主流模型，同时在词错误率（WER）为7.67%的情况下保持了具有竞争力的准确率。

ABSTRACT

Non-autoregressive transformer models have achieved extremely fast inference speed and comparable performance with autoregressive sequence-to-sequence models in neural machine translation. Most of the non-autoregressive transformers decode the target sequence from a predefined-length mask sequence. If the predefined length is too long, it will cause a lot of redundant calculations. If the predefined length is shorter than the length of the target sequence, it will hurt the performance of the model. To address this problem and improve the inference speed, we propose a spike-triggered non-autoregressive transformer model for end-to-end speech recognition, which introduces a CTC module to predict the length of the target sequence and accelerate the convergence. All the experiments are conducted on a public Chinese mandarin dataset AISHELL-1. The results show that the proposed model can accurately predict the length of the target sequence and achieve a competitive performance with the advanced transformers. What's more, the model even achieves a real-time factor of 0.0056, which exceeds all mainstream speech recognition models.

研究动机与目标

• 解决非自回归语音识别模型中目标序列长度估计不准确或次优的问题。
• 通过使用脉冲触发注意力动态确定目标长度，减少冗余计算并提升推理速度。
• 通过利用CTC模块输出作为长度预测器和注意力引导输入，提升模型收敛性和性能。
• 在不牺牲识别准确率的前提下实现高速推理，尤其适用于低延迟应用场景。
• 集成神经语言模型以进一步提升识别质量，同时保持快速推理速度。

提出的方法

• 引入CTC模块，生成指示输入序列中目标标记位置的类似脉冲的后验概率。
• 使用脉冲位置处的编码器状态作为解码器的主要输入，替代固定长度的掩码序列。
• 在推理过程中统计脉冲数量，以确定精确的目标序列长度，从而消除冗余计算。
• 将CTC损失作为辅助训练目标，以加速收敛并改善输入与输出之间的对齐。
• 将ST-NAT模型输出与神经语言模型结合，以优化预测并降低词错误率。
• 采用二维卷积前端进行语音特征提取，随后在编码器和解码器中分别使用多头自注意力和前馈网络层。

实验结果

研究问题

• RQ1 CTC模块能否在非自回归语音识别模型中有效预测目标序列长度？
• RQ2 与固定长度掩码序列相比，使用脉冲触发的编码器状态作为解码器输入是否能提升模型性能？
• RQ3 将CTC损失作为辅助目标是否能加速训练并改善收敛性？
• RQ4 所提出的ST-NAT模型在保持具有竞争力的识别准确率的同时，能在多大程度上降低推理延迟？
• RQ5 ST-NAT模型在速度和准确率方面与当前最先进的端到端语音识别模型相比如何？

主要发现

• ST-NAT模型实现了0.0056的实时因子（RTF），比所有主流语音识别模型更快。
• 该模型在AISHELL-1测试集上的词错误率（WER）降低至7.67%，与Speech-Transformer和LAS等先进模型相当或更优。
• CTC模块成功以高精度预测目标序列长度，导致的词或字符遗漏错误少于2%。
• 结合语言模型的ST-NAT在测试集上的词错误率降至7.02%，表明通过外部语言建模可显著提升性能。
• 尽管参数量相近，ST-NAT在准确率和推理速度上均优于NAT-MASKED（一种使用固定长度掩码的基线非自回归模型）。
• 可视化结果证实，脉冲位置与词语发音边界高度吻合，验证了模型捕捉有意义时间结构的能力。