[论文解读] Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition

Jong-Hyeon Park, Myungwoo Oh+1 more|arXiv (Cornell University)|Apr 12, 2019

Speech Recognition and Synthesis参考文献 18被引用 7

一句话总结

本文提出了一种基于生成对抗网络（GAN）的无监督语音领域自适应方法，通过解耦表示学习提升在嘈杂环境下的自动语音识别（ASR）鲁棒性。通过使用两个专用编码器分离上下文与领域表征，并应用自适应实例归一化，该模型有效去除了噪声，同时保留了语音内容，在CHiME4语料库上实现了6.55%至15.70%的相对词错误率（WER）降低，且在从嘈杂到清晰语音以及性别不匹配的语音自适应场景中均表现出有效性。

ABSTRACT

In general, the performance of automatic speech recognition (ASR) systems is significantly degraded due to the mismatch between training and test environments. Recently, a deep-learning-based image-to-image translation technique to translate an image from a source domain to a desired domain was presented, and cycle-consistent adversarial network (CycleGAN) was applied to learn a mapping for speech-to-speech conversion from a speaker to a target speaker. However, this method might not be adequate to remove corrupting noise components for robust ASR because it was designed to convert speech itself. In this paper, we propose a domain adaptation method based on generative adversarial nets (GANs) with disentangled representation learning to achieve robustness in ASR systems. In particular, two separated encoders, context and domain encoders, are introduced to learn distinct latent variables. The latent variables allow us to convert the domain of speech according to its context and domain representation. We improved word accuracies by 6.55~15.70\% for the CHiME4 challenge corpus by applying a noisy-to-clean environment adaptation for robust ASR. In addition, similar to the method based on the CycleGAN, this method can be used for gender adaptation in gender-mismatched recognition.

研究动机与目标

• 为解决因训练与测试环境之间存在领域差异，导致ASR系统性能下降的问题，特别是在嘈杂或不匹配条件下。
• 开发一种无需源域与目标域之间成对训练数据的无监督领域自适应方法。
• 通过解耦语音内容与领域特异性属性（如噪声类型、说话人身份）以提升ASR鲁棒性，实现更精确的自适应。
• 实现有效的语音到语音转换，同时保留关键语音特征（如共振峰和泛音）并去除干扰噪声。

提出的方法

• 引入两个独立的编码器——上下文编码器与领域编码器，从梅尔频谱图中学习解耦的潜在表征。
• 强制潜在变量遵循不同的先验分布，以确保内容与领域属性之间的解耦。
• 应用自适应实例归一化（AdaIN）将领域特定的潜在码注入生成器，实现风格迁移的同时保留内容信息。
• 采用包含循环一致性损失与对抗性损失的GAN框架，确保语音特征转换的真实感与一致性。
• 在源域与目标域的未配对梅尔频谱图上端到端训练模型，实现零样本自适应。
• 在基于CNN的架构中使用残差网络与全连接层，以实现稳健的特征学习与生成。

实验结果

研究问题

• RQ1 无成对训练数据的情况下，解耦表示学习能否提升语音领域自适应的性能，以实现鲁棒ASR？
• RQ2 所提出方法在去除背景噪声的同时，能否有效保留语音内容（如共振峰、泛音）？
• RQ3 该模型是否能泛化至从嘈杂到清晰语音以及性别不匹配的语音自适应场景？
• RQ4 与基于CycleGAN的方法相比，该解耦方法在WER降低与语音质量保持方面表现如何？

主要发现

• 在CHiME4开发集上，该方法对模拟噪声语音的词错误率（WER）平均降低了6.55%，对真实录制语音的WER降低了15.70%。
• 在测试集上，该方法对模拟语音的相对WER降低了6.72%，对真实录制语音的相对WER降低了10.88%，优于基线模型。
• 梅尔频谱图可视化结果表明，与CycleGAN相比，该方法更好地保留了语音的泛音与共振峰，而CycleGAN则导致这些成分发生畸变。
• 在性别不匹配的语音识别任务中，该方法优于基线模型与CycleGAN，男性到女性TIMIT测试集的WER为21.7%，而CycleGAN为22.3%。
• 解耦表示学习使模型即使在无成对数据的情况下也能实现有效的领域迁移，展现出在零样本自适应中的鲁棒性。
• 该模型成功适应了多种噪声类型（如公交车、咖啡馆、行人、街道）与不同说话人身份，表现出广泛的适用性。