[论文解读] Statistical Parametric Speech Synthesis Incorporating Generative Adversarial Networks

Yuki Saito, Shinnosuke Takamichi+1 more|arXiv (Cornell University)|Sep 23, 2017

Speech and Audio Processing被引用 12

一句话总结

本文提出了一种基于生成对抗网络（GAN）的统计参数化语音合成训练框架，通过最小化自然语音与生成语音之间在分布上的差异，减少了合成语音参数的过度平滑现象。通过联合训练声学模型与判别器以区分真实语音参数与合成参数，该方法在文本到语音（TTS）和语音转换任务中均提升了频谱和基频（F0）的自然度，其中Wasserstein GAN在所有超参数设置下均取得了最佳语音质量。

ABSTRACT

A method for statistical parametric speech synthesis incorporating generative adversarial networks (GANs) is proposed. Although powerful deep neural networks (DNNs) techniques can be applied to artificially synthesize speech waveform, the synthetic speech quality is low compared with that of natural speech. One of the issues causing the quality degradation is an over-smoothing effect often observed in the generated speech parameters. A GAN introduced in this paper consists of two neural networks: a discriminator to distinguish natural and generated samples, and a generator to deceive the discriminator. In the proposed framework incorporating the GANs, the discriminator is trained to distinguish natural and generated speech parameters, while the acoustic models are trained to minimize the weighted sum of the conventional minimum generation loss and an adversarial loss for deceiving the discriminator. Since the objective of the GANs is to minimize the divergence (i.e., distribution difference) between the natural and generated speech parameters, the proposed method effectively alleviates the over-smoothing effect on the generated speech parameters. We evaluated the effectiveness for text-to-speech and voice conversion, and found that the proposed method can generate more natural spectral parameters and $F_0$ than conventional minimum generation error training algorithm regardless its hyper-parameter settings. Furthermore, we investigated the effect of the divergence of various GANs, and found that a Wasserstein GAN minimizing the Earth-Mover's distance works the best in terms of improving synthetic speech quality.

研究动机与目标

• 为解决基于深度神经网络的统计参数化语音合成中的过度平滑效应，该效应会降低合成语音质量。
• 提升自然语音与生成语音参数之间的分布相似性，尤其在频谱和F0特征方面。
• 开发一种可泛化的训练框架，避免显式建模全局方差或调制谱等统计特征。
• 评估不同GAN变体在提升TTS和语音转换任务中语音质量方面的有效性。
• 探究不同散度度量在优化合成语音质量中的作用。

提出的方法

• 提出一种GAN框架，其中判别器用于区分真实语音参数与生成语音参数，而生成器（声学模型）则通过欺骗判别器来训练。
• 声学模型通过最小生成误差（MGE）损失与对抗损失的加权和进行训练，以同时最小化生成误差与分布差异。
• 判别器通过分类来自数据集的真实语音参数与来自声学模型的生成参数，促进生成参数分布更接近真实分布。
• 该方法隐式建模了语音参数中复杂的统计依赖关系，而无需显式特征工程（如全局方差或调制谱）。
• 评估了多种GAN变体，包括W-GAN（最小化地球移动距离）、LS-GAN、f-GAN和JS-GAN，以比较其对语音质量的影响。
• 该框架同时应用于文本到语音和语音转换任务，采用共享的训练流程与评估协议。

实验结果

研究问题

• RQ1 使用GAN框架进行对抗训练是否能有效减少合成语音参数的过度平滑？
• RQ2 选择不同的散度度量（如W-GAN与JS-GAN）如何影响合成语音的主观质量？
• RQ3 所提出的基于GAN的训练方法是否能在文本到语音和语音转换任务中均提升语音质量？
• RQ4 判别器能否作为防伪检测机制，用于检测合成语音，其影响如何？
• RQ5 与显式建模统计特征（如GV、MS）的方法相比，基于GAN的方法是否更有效地提升语音自然度？

主要发现

• 所提方法在文本到语音和语音转换任务中均显著提升了语音质量，在所有超参数设置下均获得更高的MOS评分。
• Wasserstein GAN（W-GAN）通过最小化地球移动距离，取得了最高的主观语音质量，优于LS-GAN、JS-GAN和KL-GAN。
• KL-GAN未提升质量，但其反向版本（RKL-GAN）有所改善，表明非对称散度度量可能产生反直觉效果。
• JS-GAN表现较差，但使用Sigmoid激活函数近似后的GAN版本表现更优，表明近似稳定性具有重要意义。
• 该方法有效补偿了全局方差与参数间相关性，同时提升了频谱与F0的自然度。
• 偏好测试结果表明，与传统MGE训练相比，该方法在语音质量与语音转换中的说话人个性保留方面均表现更优。