[论文解读] Robust universal neural vocoding

Jaime Lorenzo-Trueba, Thomas Drugman+4 more|arXiv (Cornell University)|Nov 15, 2018

Speech Recognition and Synthesis参考文献 6被引用 10

一句话总结

本论文提出了一种在17种语言的74名说话者上训练的鲁棒通用神经声码器，在域内和域外条件下均实现了98%的相对平均MUSHRA得分。结果表明，与卷积神经网络相比，基于循环神经网络的架构在未见说话者、风格或录音条件下表现出显著更高的稳定性和通用鲁棒性。

ABSTRACT

This paper introduces a robust universal neural vocoder trained with 74 speakers (comprised of both genders) coming from 17 languages. This vocoder is shown to be capable of generating speech of consistently good quality (98% relative mean MUSHRA when compared to natural speech) regardless of whether the input spectrogram comes from a speaker, style or recording condition seen during training or from an out-of-domain scenario. Together with the system, we present a full text-to-speech analysis of robustness of a number of implemented systems. The complexity of systems tested range from a convolutional neural networks-based system conditioned on linguistics to a recurrent neural networks-based system conditioned on mel-spectrograms. The analysis shows that convolutional neural networks-based systems are prone to occasional instabilities, while the recurrent approaches are significantly more stable and capable of providing universalizing robustness.

研究动机与目标

• 开发一种能够在多样化说话者、语言和录音条件下稳健泛化的通用神经声码器。
• 评估不同神经声码器架构（包括基于CNN和RNN的系统）在域内和域外场景下的鲁棒性。
• 识别在真实TTS应用中提升神经声码器稳定性和泛化能力的架构选择。
• 对神经声码化系统复杂度与鲁棒性之间的关系进行综合分析。

提出的方法

• 在包含17种语言、74名说话者（含两性及不同说话风格）的多样化数据集上训练神经声码器。
• 以梅尔频谱图为声码器的输入特征，模型基于语言和声学特征进行条件化。
• 实现卷积神经网络（CNN）和循环神经网络（RNN）架构以进行对比。
• 使用MUSHRA评分评估模型性能，以衡量其与自然语音的感知质量差异。
• 测试模型在域外输入（如未见过的说话者、风格和录音条件）下的泛化能力。
• 通过系统的消融实验和跨条件评估分析系统稳定性和鲁棒性。

实验结果

研究问题

• RQ1 神经声码器在域内和域外的说话者、风格和录音条件下性能如何变化？
• RQ2 在通用神经声码化中，CNN与RNN哪种神经架构展现出更高的稳定性和鲁棒性？
• RQ3 单一声码器在多语言和多样化说话者特征下能实现多大程度的泛化？
• RQ4 模型复杂度对神经声码器的感知质量和泛化能力有何影响？

主要发现

• 所提出的通用声码器与自然语音相比，实现了98%的相对平均MUSHRA得分，表明其在多样化条件下具有极高的感知质量。
• 基于RNN的声码器在域外场景下表现出显著更高的稳定性和鲁棒性，优于基于CNN的模型。
• 基于CNN的系统在面对未见过的说话者或风格变化时偶尔出现不稳定性。
• 该系统在17种语言及男性和女性说话者中均保持一致的性能，展现出强大的泛化能力。