[论文解读] Syllable based DNN-HMM Cantonese Speech to Text System

Timothy Wong, Claire W.Y. Li+7 more|arXiv (Cornell University)|Feb 13, 2024

Speech Recognition and Synthesis参考文献 19被引用 3

一句话总结

本论文提出一种基于音节的DNN-HMM声学模型，用于粤语语音转写识别，比较了初始韵尾（IF）与声韵尾（ONC）音节单元。采用Kaldi工具包配合GPU加速训练及i-vector说话人自适应，基于ONC的模型实现9.66%的词错误率（WER）和1.388的实时因子（RTF），优于其他配置。

ABSTRACT

This paper reports our work on building up a Cantonese Speech-to-Text (STT) system with a syllable based acoustic model. This is a part of an effort in building a STT system to aid dyslexic students who have cognitive deficiency in writing skills but have no problem expressing their ideas through speech. For Cantonese speech recognition, the basic unit of acoustic models can either be the conventional Initial-Final (IF) syllables, or the Onset-Nucleus-Coda (ONC) syllables where finals are further split into nucleus and coda to reflect the intra-syllable variations in Cantonese. By using the Kaldi toolkit, our system is trained using the stochastic gradient descent optimization model with the aid of GPUs for the hybrid Deep Neural Network and Hidden Markov Model (DNN-HMM) with and without I-vector based speaker adaptive training technique. The input features of the same Gaussian Mixture Model with speaker adaptive training (GMM-SAT) to DNN are used in all cases. Experiments show that the ONC-based syllable acoustic modeling with I-vector based DNN-HMM achieves the best performance with the word error rate (WER) of 9.66% and the real time factor (RTF) of 1.38812.

研究动机与目标

• 为有书写困难但口语表达能力完整的阅读障碍学生开发定制化的语音转写系统。
• 评估在粤语语音转写中使用初始韵尾（IF）与声韵尾（ONC）音节单元的音节级声学建模效果。
• 通过DNN-HMM框架中的i-vector说话人自适应技术提升识别准确率。
• 利用深度神经网络与Kaldi工具包优化实时性能与词错误率（WER）。
• 建立一个鲁棒、低延迟的语音转写系统，适用于粤语教育场景。

提出的方法

• 系统采用混合DNN-HMM架构，使用随机梯度下降法并借助GPU加速进行训练。
• 声学建模采用音节单元，比较初始韵尾（IF）与声韵尾（ONC）结构。
• 应用基于i-vector的说话人自适应训练（SAT），以提升跨说话人的泛化能力。
• GMM-SAT与DNN模型之间共享输入特征，以确保训练一致性。
• 使用Kaldi工具包进行端到端系统训练与解码，采用标准配方配置。
• 使用词错误率（WER）与实时因子（RTF）评估系统性能。

实验结果

研究问题

• RQ1 在粤语语音转写中，使用基于ONC的音节单元是否比传统的IF单元提升识别准确率？
• RQ2 在DNN-HMM系统中，基于i-vector的说话人自适应在多大程度上降低了词错误率？
• RQ3 带有与不带说话人自适应的基于音节的DNN-HMM系统，其实时性能（RTF）如何？
• RQ4 音节单元的选择（IF vs. ONC）对模型复杂度与推理效率有何影响？
• RQ5 基于音节的DNN-HMM系统能否在实时教育应用中实现低WER与可接受的RTF？

主要发现

• 采用i-vector自适应的ONC基音节模型实现了最低的词错误率9.66%。
• 系统实现了1.388的实时因子，表明其推理效率高，适合实时部署。
• 基于i-vector的DNN-HMM配置在WER方面优于基于IF的模型与未自适应的模型。
• ONC单元在捕捉粤语内部音节语音变化方面，比IF单元更为有效。
• DNN与i-vector自适应的结合显著提升了系统在多样化说话人中的鲁棒性。
• 该系统在针对阅读障碍学习者的辅助技术应用方面展现出强大潜力。