[论文解读] WaveCycleGAN: Synthetic-to-natural speech waveform conversion using cycle-consistent adversarial networks

Kou Tanaka, Takuhiro Kaneko+2 more|arXiv (Cornell University)|Sep 25, 2018

Speech Recognition and Synthesis参考文献 1被引用 5

一句话总结

本文提出 WaveCycleGAN，一种循环一致性对抗网络，可直接将合成语音波形转换为自然语音，而无需依赖声学特征或声码器。通过使用全卷积门控CNN架构在波形级别进行操作，有效减少了过度平滑和声码器伪影，显著提升了主观评价中的语音自然度。

ABSTRACT

We propose a learning-based filter that allows us to directly modify a synthetic speech waveform into a natural speech waveform. Speech-processing systems using a vocoder framework such as statistical parametric speech synthesis and voice conversion are convenient especially for a limited number of data because it is possible to represent and process interpretable acoustic features over a compact space, such as the fundamental frequency (F0) and mel-cepstrum. However, a well-known problem that leads to the quality degradation of generated speech is an over-smoothing effect that eliminates some detailed structure of generated/converted acoustic features. To address this issue, we propose a synthetic-to-natural speech waveform conversion technique that uses cycle-consistent adversarial networks and which does not require any explicit assumption about speech waveform in adversarial learning. In contrast to current techniques, since our modification is performed at the waveform level, we expect that the proposed method will also make it possible to generate `vocoder-less' sounding speech even if the input speech is synthesized using a vocoder framework. The experimental results demonstrate that our proposed method can 1) alleviate the over-smoothing effect of the acoustic features despite the direct modification method used for the waveform and 2) greatly improve the naturalness of the generated speech sounds.

研究动机与目标

• 解决统计参数化语音合成中因过度平滑效应和声码器错误导致的语音自然度下降问题。
• 开发一种无需声码器的后处理方法，直接在语音波形上操作，而非声学特征上。
• 通过对抗训练提升语音质量，且无需合成波形与自然波形之间的帧级对齐。
• 通过学习型滤波器实现端到端的合成语音增强，同时保留精细的频谱和时序结构。

提出的方法

• 该方法采用循环一致性对抗网络（CycleGAN）学习合成与自然语音波形之间的映射关系，且无需在帧级别使用成对训练数据。
• 生成器和判别器网络均采用全卷积门控CNN架构，结合实例归一化和像素重组层，以处理可变长度输入。
• 模型使用最小二乘 GAN 损失和循环一致性损失进行训练，循环一致性超参数 λ_cyc = 10 以强制实现循环一致性。
• 在前 20,000 次迭代中应用身份损失（λ_id），并线性衰减至零，以稳定训练并保持输入特性。
• 生成器使用残差块，通过最小化感知损失和对抗损失来学习重建自然语音波形。
• 波形输入通过使用训练集统计量进行归一化，使均值为零、方差为一，以提升训练稳定性。

实验结果

研究问题

• RQ1 基于学习的滤波器是否能在不依赖声学特征或声码器的前提下，提升合成语音波形的自然度？
• RQ2 循环一致性对抗网络在多大程度上能减少通过统计参数化合成生成的语音波形中的过度平滑现象？
• RQ3 直接在波形级别进行修改是否优于在特征级别进行后处理以提升语音质量？
• RQ4 所提出的方法能否同时缓解过度平滑和声码器伪影？

主要发现

• 所提出的 WaveCycleGAN 方法在主观平均意见分（MOS）测试中显著提升了语音自然度，MOS 达到 3.87，远高于基线（3.21）和 GANv（3.52）。
• 调制谱分析表明，所提方法在保留高频分量方面与自然语音高度一致，而基线则表现出强烈的过度平滑效应。
• 听者报告称，典型声码器语音中的“嘶哑”音质在所提方法中显著减少，表明有效缓解了声码器伪影。
• 尽管有所改进，该方法在某些语句中仍表现出“沙哑”音质，表明与自然语音之间仍存在残余感知差距。
• 通过调制谱比较可证实，该方法成功缓解了梅尔倒谱系数中的过度平滑问题，显示出与自然语音更接近的对齐特性。
• 全卷积架构支持对任意长度语音输入进行推理，展现出良好的鲁棒性与可扩展性。