[论文解读] Sampling-based speech parameter generation using moment-matching networks

Shinnosuke Takamichi, Tomoki Koriyama+1 more|arXiv (Cornell University)|Apr 12, 2017

Speech Recognition and Synthesis参考文献 23被引用 11

一句话总结

本文提出一种基于采样的语音参数生成方法，利用矩匹配网络在基于深度神经网络（DNN）的语音合成中引入自然的说话人间差异。通过使用最大均值差异（MMD）训练深度神经网络，使其匹配自然语音参数的统计矩，模型利用低维噪声向量生成多样化的语音输出，在与最大似然方法相比时未造成质量下降。

ABSTRACT

This paper presents sampling-based speech parameter generation using moment-matching networks for Deep Neural Network (DNN)-based speech synthesis. Although people never produce exactly the same speech even if we try to express the same linguistic and para-linguistic information, typical statistical speech synthesis produces completely the same speech, i.e., there is no inter-utterance variation in synthetic speech. To give synthetic speech natural inter-utterance variation, this paper builds DNN acoustic models that make it possible to randomly sample speech parameters. The DNNs are trained so that they make the moments of generated speech parameters close to those of natural speech parameters. Since the variation of speech parameters is compressed into a low-dimensional simple prior noise vector, our algorithm has lower computation cost than direct sampling of speech parameters. As the first step towards generating synthetic speech that has natural inter-utterance variation, this paper investigates whether or not the proposed sampling-based generation deteriorates synthetic speech quality. In evaluation, we compare speech quality of conventional maximum likelihood-based generation and proposed sampling-based generation. The result demonstrates the proposed generation causes no degradation in speech quality.

研究动机与目标

• 为解决传统基于DNN的语音合成中缺乏说话人间差异的问题，该方法在相同输入上下文下会产生完全相同的输出。
• 开发一种计算高效的语音参数生成方法，以反映自然人类的变异性。
• 评估基于采样的生成方法是否在使用矩匹配网络时导致语音质量相比最大似然方法的下降。
• 通过建模语音参数的复杂非参数分布，实现端到端语音合成并具备逼真的差异性。

提出的方法

• 该方法使用通过条件最大均值差异（MMD）训练的矩匹配网络，使生成语音参数的矩与自然语音参数的矩对齐。
• 使用低维球面对称高斯噪声向量作为先验，以在语音参数生成过程中引入变异性。
• DNN将噪声向量映射为语音参数，使得生成参数的统计分布与自然语音参数相匹配，而无需假设特定的参数形式。
• 训练目标通过使用高斯核函数最小化自然语音参数与生成语音参数经验分布之间的MMD。
• 通过使用不同的噪声向量从DNN输出中采样，合成语音参数，从而在相同输入上下文下实现多样化输出。
• 模型在WORLD提取的特征（梅尔倒谱系数、基频、带通衰减度）上进行训练，输入特征包括语言学信息和说话人编码，以及瓶颈表示。

实验结果

研究问题

• RQ1 基于矩匹配网络的采样语音参数生成方法是否能在引入说话人间差异的同时保持语音质量？
• RQ2 当引入变异性时，所提出的方法在语音质量上是否优于传统的最大似然方法？
• RQ3 所提出的采样方法的计算成本是否低于直接从高维语音参数分布中采样？
• RQ4 矩匹配网络是否能有效建模语音参数的复杂非高斯分布，而无需显式密度估计？

主要发现

• 偏好AB测试显示，与基于最大似然的合成相比，基于采样的生成方法在语音质量上无显著下降。
• 所提出的方法在语音质量上优于传统DNN语音合成方法，后者在参数生成时假设参数服从球面对称高斯分布。
• 使用低维噪声向量表示语音参数变异性，实现了高效且可扩展的采样，且未增加计算成本。
• 矩匹配训练准则成功捕捉了语音参数中的复杂统计依赖关系，实现了逼真的变异性，而无需显式建模完整协方差或混合分布。