[论文解读] Subword Dictionary Learning and Segmentation Techniques for Automatic Speech Recognition in Tamil and Kannada

A Madhavaraj, Bharathi Pilar+1 more|arXiv (Cornell University)|Jul 27, 2022

Speech Recognition and Synthesis被引用 8

一句话总结

本论文提出了一种基于扩展-BPE、BPE和Morfessor的子词建模方法，用于泰米尔语和卡纳达语的自动语音识别（ASR），在WFST框架内结合最大似然估计与Viterbi估计，从大规模文本语料中学习子词词典。该方法将词错误率（WER）最高降低了6.63%，并实现了0%的未登录词（OOV）率，显著优于在高度黏着语中使用词级ASR的基线模型。

ABSTRACT

We present automatic speech recognition (ASR) systems for Tamil and Kannada based on subword modeling to effectively handle unlimited vocabulary due to the highly agglutinative nature of the languages. We explore byte pair encoding (BPE), and proposed a variant of this algorithm named extended-BPE, and Morfessor tool to segment each word as subwords. We have effectively incorporated maximum likelihood (ML) and Viterbi estimation techniques with weighted finite state transducers (WFST) framework in these algorithms to learn the subword dictionary from a large text corpus. Using the learnt subword dictionary, the words in training data transcriptions are segmented to subwords and we train deep neural network ASR systems which recognize subword sequence for any given test speech utterance. The output subword sequence is then post-processed using deterministic rules to get the final word sequence such that the actual number of words that can be recognized is much larger. For Tamil ASR, We use 152 hours of data for training and 65 hours for testing, whereas for Kannada ASR, we use 275 hours for training and 72 hours for testing. Upon experimenting with different combination of segmentation and estimation techniques, we find that the word error rate (WER) reduces drastically when compared to the baseline word-level ASR, achieving a maximum absolute WER reduction of 6.24% and 6.63% for Tamil and Kannada respectively.

研究动机与目标

• 解决泰米尔语和卡纳达语等高度黏着语言中词汇量无限的问题，这些语言的词级ASR因未登录词（OOV）率过高而性能受限。
• 开发有效的子词建模技术，以应对形态复杂性，降低低资源、形态丰富的语言中的OOV率。
• 通过BPE、扩展-BPE和Morfessor等数据驱动算法，从大规模文本语料中学习子词词典，从而提升ASR性能。
• 在WFST框架内集成最大似然估计与Viterbi估计，以优化子词切分与模型训练。
• 通过在真实泰米尔语和卡纳达语语音数据集上进行大量实验，证明子词建模的有效性，显示其在WER上显著优于词级基线模型。

提出的方法

• 提出一种扩展-BPE算法，通过引入额外的合并启发式规则，增强标准BPE在泰米尔语和卡纳达语中对形态结构的捕捉能力。
• 在加权有限状态转换器（WFST）框架内，使用最大似然（ML）与Viterbi估计技术，从大规模文本语料中学习最优子词切分。
• 使用BPE、扩展-BPE和Morfessor工具构建子词词典，所有子词均包含单个字符，以确保OOV率为0%。
• 利用Kaldi工具包训练基于深度神经网络（DNN）的声学模型，其子词词典源自所学词典。
• 在子词序列上应用n-gram语言模型（最高至6-gram），以提升语言建模能力与泛化性能。
• 通过确定性规则后处理子词输出，以重构最终的词级序列，实现在子词训练基础上的完整词级识别。

实验结果

研究问题

• RQ1 子词建模能否在泰米尔语和卡纳达语等高度黏着语言的自动语音识别中显著降低词错误率（WER）？
• RQ2 在WER与OOV率降低方面，BPE、扩展-BPE和Morfessor等不同子词词典构建技术的表现如何比较？
• RQ3 在泰米尔语和卡纳达语的子词ASR系统中，最大似然切分是否优于Viterbi切分？
• RQ4 数据驱动的子词建模技术（如扩展-BPE和Morfessor）在低资源、形态丰富的语言中，能在多大程度上降低OOV率？
• RQ5 在使用不同切分与估计技术时，n-gram语言模型阶数的变化对子词ASR性能有何影响？

主要发现

• 所提出的子词ASR系统相较于词级基线模型，泰米尔语WER最高降低6.24%，卡纳达语最高降低6.63%。
• 扩展-BPE在使用Viterbi切分与6-gram子词语言模型时表现最佳，泰米尔语WER为14.97%，卡纳达语WER为12.82%。
• 所有基于BPE的方法（标准与扩展）均实现了0%的未登录词（OOV）率，原因在于子词词典中包含了单个字符。
• 最大似然（ML）切分优于Viterbi切分，通过考虑所有可能的切分路径，更有效地降低了WER。
• 对于泰米尔语，最佳WER为14.97%，采用扩展-BPE与Viterbi切分结合6-gram子词语言模型，相较于基线模型绝对提升9.73%。
• 对于卡纳达语，最佳WER为12.82%，采用扩展-BPE与Viterbi切分结合6-gram子词语言模型，相较于基线模型绝对提升9.13%。