[论文解读] Text-To-Speech Data Augmentation for Low Resource Speech Recognition

Rodolfo Zevallos|arXiv (Cornell University)|Apr 1, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出了一种基于文本到语音（TTS）的数据增强方法，用于低资源的黏着性语言（如克丘亚语），结合序列到序列（seq2seq）文本生成与TTS技术，合成出人工文本和音频。该方法在克丘亚语自动语音识别（ASR）模型上实现了8.73%的词错误率（WER）相对降低，显著提升了低资源语音识别性能。

ABSTRACT

Nowadays, the main problem of deep learning techniques used in the development of automatic speech recognition (ASR) models is the lack of transcribed data. The goal of this research is to propose a new data augmentation method to improve ASR models for agglutinative and low-resource languages. This novel data augmentation method generates both synthetic text and synthetic audio. Some experiments were conducted using the corpus of the Quechua language, which is an agglutinative and low-resource language. In this study, a sequence-to-sequence (seq2seq) model was applied to generate synthetic text, in addition to generating synthetic speech using a text-to-speech (TTS) model for Quechua. The results show that the new data augmentation method works well to improve the ASR model for Quechua. In this research, an 8.73% improvement in the word-error-rate (WER) of the ASR model is obtained using a combination of synthetic text and synthetic speech.

研究动机与目标

• 为解决在训练低资源语言的自动语音识别（ASR）模型时，转录语音数据有限的关键挑战。
• 通过生成人工训练数据，提升黏着性语言（特别是克丘亚语）的ASR性能。
• 开发并评估一种结合序列到序列文本生成与文本到语音合成的混合数据增强框架。
• 证明人工数据在降低低资源ASR场景下词错误率（WER）方面的有效性。

提出的方法

• 训练一个序列到序列（seq2seq）模型，从现有的克丘亚语转录语音数据中生成人工文本。
• 训练一个独立的文本到语音（TTS）模型，将生成的人工文本转换为人工音频。
• 将生成的人工文本和音频对与真实训练数据结合，用于增强ASR训练集。
• 使用增强后的数据集对预训练的ASR模型进行微调，以提升其鲁棒性和泛化能力。
• 使用克丘亚语语料库进行评估，该语料库是一种低资源、黏着性语言，转录数据有限。
• 通过生成语义合理、语音上有效的语句，实现语言和声学层面的数据增强。

实验结果

研究问题

• RQ1 在低资源、黏着性语言（如克丘亚语）中，人工文本和音频生成能否提升ASR性能？
• RQ2 结合seq2seq + TTS的数据增强流程在降低ASR模型词错误率（WER）方面有多有效？
• RQ3 人工数据的质量是否会影响ASR模型在低资源环境下的泛化能力？
• RQ4 人工文本与人工音频对ASR性能提升的相对贡献分别是什么？

主要发现

• 所提出的增强方法在克丘亚语ASR模型上实现了8.73%的词错误率（WER）相对改进。
• 人工文本与人工音频的结合带来了最高的性能提升，优于单独使用任一模态。
• seq2seq模型成功生成了语言上有效的克丘亚语文本，保留了黏着性语言典型的形态复杂性。
• TTS模型生成了自然流畅的人工语音，对ASR微调具有显著效果。
• 该方法在真实转录数据稀缺的低资源环境中表现出强鲁棒性。
• 结果证实，通过TTS和seq2seq生成人工数据可有效扩展训练数据，并提升ASR泛化能力。