[论文解读] WaveTTS: Tacotron-based TTS with Joint Time-Frequency Domain Loss

Rui Liu, Berrak Şişman+3 more|arXiv (Cornell University)|Feb 2, 2020

Speech Recognition and Synthesis参考文献 44被引用 4

一句话总结

WaveTTS 提出了一种新型的基于 Tacotron 的文本到语音框架，通过使用双损失函数，联合优化时域波形质量和频域声学特征：时域损失（SI-SDR）和标准的梅尔频谱图损失。这种联合训练显著提升了语音质量，在 MOS 和偏好测试中均优于基线模型，且是首个在基于 Tacotron 的 TTS 中实现此类方案的模型。

ABSTRACT

Tacotron-based text-to-speech (TTS) systems directly synthesize speech from text input. Such frameworks typically consist of a feature prediction network that maps character sequences to frequency-domain acoustic features, followed by a waveform reconstruction algorithm or a neural vocoder that generates the time-domain waveform from acoustic features. As the loss function is usually calculated only for frequency-domain acoustic features, that doesn't directly control the quality of the generated time-domain waveform. To address this problem, we propose a new training scheme for Tacotron-based TTS, referred to as WaveTTS, that has 2 loss functions: 1) time-domain loss, denoted as the waveform loss, that measures the distortion between the natural and generated waveform; and 2) frequency-domain loss, that measures the Mel-scale acoustic feature loss between the natural and generated acoustic features. WaveTTS ensures both the quality of the acoustic features and the resulting speech waveform. To our best knowledge, this is the first implementation of Tacotron with joint time-frequency domain loss. Experimental results show that the proposed framework outperforms the baselines and achieves high-quality synthesized speech.

研究动机与目标

• 解决基于 Tacotron 的 TTS 中频域损失优化与实际时域波形质量之间的不匹配问题。
• 通过在训练过程中直接监督时域波形，提升语音合成质量。
• 探究在单一训练目标中结合时域和频域损失的有效性。
• 证明即使在推理阶段使用非神经声码器（如 Griffin-Lim）时，联合优化也能带来更好的性能。
• 建立一种新的 Tacotron 训练范式，以增强在不同声码器上的泛化能力和鲁棒性。

提出的方法

• 引入一种联合训练方案，在模型优化过程中同时应用频域损失（梅尔频谱图损失）和时域损失（SI-SDR）。
• 使用 Griffin-Lim 配合迭代相位重建，从预测的梅尔频谱图生成时域波形，用于时域损失计算。
• 采用信噪比不变的信号到失真比（SI-SDR）计算时域损失，该方法对幅度和相位不匹配具有鲁棒性。
• 端到端地训练特征预测网络，同时使用两种损失，使其能够学习生成高质量波形的特征。
• 无论推理阶段使用的是 Griffin-Lim 还是 WaveNet，均在训练中应用相同的联合损失，确保优化的一致性。
• 采用标准的 Tacotron 架构，包含编码器、基于注意力的解码器和后网络，但修改损失函数以包含波形级监督。

实验结果

研究问题

• RQ1 在基于 Tacotron 的 TTS 中，对时域和频域进行联合优化是否能提升合成语音的感知质量？
• RQ2 在训练过程中引入时域损失函数是否能减少波形伪影并提升自然度，即使使用确定性声码器（如 Griffin-Lim）？
• RQ3 当推理声码器从 Griffin-Lim 更换为神经声码器（如 WaveNet）时，所提出的联合损失表现如何？
• RQ4 Griffin-Lim 的迭代次数对时域损失和最终语音质量有何影响？
• RQ5 在不重新训练的情况下，使用联合损失训练的模型是否能在不同声码器之间实现更好的泛化能力？

主要发现

• WaveTTS-GL 的平均意见得分（MOS）为 3.30，显著优于 Tacotron-GL 的 3.18。
• 当在推理阶段使用 WaveNet 声码器时，WaveTTS-WN 的表现优于 Tacotron-WN，证明了联合训练在神经声码器下的优势。
• 偏好测试显示，在 72% 的 A/B 对比中，WaveTTS-GL 被优先选择，置信区间为 95%。
• WaveTTS-WN 的偏好得分高于 Tacotron-WN，证实了联合训练带来的泛化优势。
• A/B 测试表明，Griffin-Lim 的 1 次迭代产生的语音质量优于 2 次迭代，表明在训练期间波形重建存在最优权衡。
• 所提出的联合损失框架在不同推理声码器下均表现有效，表明其对不同波形生成方法具有鲁棒性和泛化能力。