[论文解读] Synt++: Utilizing Imperfect Synthetic Data to Improve Speech Recognition

Ting-Yao Hu, Mohammadreza Armandpour+4 more|arXiv (Cornell University)|Oct 21, 2021

Speech Recognition and Synthesis被引用 4

一句话总结

Synt++ 通过两种关键技术改进了语音识别：使用拒绝采样过滤低质量的合成语音样本，并在训练过程中为真实数据和合成数据分别使用独立的批量归一化统计量，从而缓解真实与合成语音数据之间的分布差异。与直接使用合成数据相比，该方法将 WER 最多降低 13%，将误接受率最多降低 18%。

ABSTRACT

With recent advances in speech synthesis, synthetic data is becoming a viable alternative to real data for training speech recognition models. However, machine learning with synthetic data is not trivial due to the gap between the synthetic and the real data distributions. Synthetic datasets may contain artifacts that do not exist in real data such as structured noise, content errors, or unrealistic speaking styles. Moreover, the synthesis process may introduce a bias due to uneven sampling of the data manifold. We propose two novel techniques during training to mitigate the problems due to the distribution gap: (i) a rejection sampling algorithm and (ii) using separate batch normalization statistics for the real and the synthetic samples. We show that these methods significantly improve the training of speech recognition models using synthetic data. We evaluate the proposed approach on keyword detection and Automatic Speech Recognition (ASR) tasks, and observe up to 18% and 13% relative error reduction, respectively, compared to naively using the synthetic data.

研究动机与目标

• 解决语音识别训练中真实与合成语音数据之间的分布差异问题。
• 缓解由不完美的合成数据引起的伪影、过采样/欠采样以及域偏移问题。
• 在不依赖完美合成的前提下，利用合成数据提升自动语音识别（ASR）和关键词检测性能。
• 开发一种实用框架，提升模型在使用不完美合成数据训练时的鲁棒性。

提出的方法

• 使用拒绝采样算法，根据训练好的判别器对样本是真实还是合成的置信度，过滤合成样本。
• 判别器用于区分真实与合成语音样本，其输出概率用于指导合成样本的随机接受或拒绝。
• 在训练过程中，为真实数据和合成数据分别计算并维护独立的批量归一化（BN）统计量。
• 在推理阶段，仅使用真实数据的 BN 统计量，以避免合成数据统计量带来的域偏移。
• 该方法端到端应用于 ASR 和关键词检测模型，无需修改网络架构。
• 在 LibriSpeech 和 Speech Commands 数据集上，使用 WER 和误接受率等标准指标对方法进行了评估。

实验结果

研究问题

• RQ1 拒绝采样能否有效降低合成语音数据中的伪影和分布不匹配对 ASR 性能的影响？
• RQ2 为真实与合成数据分别使用独立的批量归一化统计量，是否能提升模型泛化能力并降低错误率？
• RQ3 与直接使用合成数据相比，结合 Synt++ 技术后，合成数据在多大程度上能提升 ASR 和关键词检测性能？
• RQ4 Synt++ 在低资源和全资源设置下，对不同模型规模和数据量的场景下表现如何？

主要发现

• 在 LibriSpeech 960h 数据集上，Synt++ 相较于直接使用真实与合成数据训练，实现了最高达 13% 的相对 WER 降低。
• 在 LibriSpeech 100h 数据集上，Synt++ 相较于使用真实与合成数据的基线模型，将 WER 降低了 18%。
• 在关键词检测任务中，Synt++ 相较于未过滤的合成数据使用方式，将平均误接受率降低了最多 18%。
• 消融实验确认，拒绝采样和双批量归一化均对性能提升有显著贡献。
• 该方法在不同模型规模（22M 和 116M 参数）和不同数据设置中均表现出一致的性能提升。
• 结果表明，Synt++ 有效缓解了分布偏移问题，并实现了对不完美合成数据的可靠利用。