[论文解读] VoiceGrad: Non-Parallel Any-to-Many Voice Conversion with Annealed Langevin Dynamics

Hirokazu Kameoka, Takuhiro Kaneko+3 more|arXiv (Cornell University)|Oct 6, 2020

Speech Recognition and Synthesis参考文献 56被引用 9

一句话总结

VoiceGrad 提出了一种非平行、任意到多对的语音转换方法，利用退火 Langevin 动力学与得分匹配，实现在无需平行训练数据情况下的高保真语音转换。它通过加权去噪得分匹配训练基于 U-Net 的得分近似器，并通过迭代优化将输入特征逐步逼近目标说话人分布，从而在开放集场景下实现最先进性能，显著提升说话人相似度与语音质量。

ABSTRACT

In this paper, we propose a non-parallel any-to-many voice conversion (VC) method termed VoiceGrad. Inspired by WaveGrad, a recently introduced novel waveform generation method, VoiceGrad is based upon the concepts of score matching and Langevin dynamics. It uses weighted denoising score matching to train a score approximator, a fully convolutional network with a U-Net structure designed to predict the gradient of the log density of the speech feature sequences of multiple speakers, and performs VC by using annealed Langevin dynamics to iteratively update an input feature sequence towards the nearest stationary point of the target distribution based on the trained score approximator network. Thanks to the nature of this concept, VoiceGrad enables any-to-many VC, a VC scenario in which the speaker of input speech can be arbitrary, and allows for non-parallel training, which requires no parallel utterances or transcriptions.

研究动机与目标

• 开发一种无需平行语句或说话人特定微调的非平行语音转换方法，支持任意到多对转换。
• 解决非平行语音转换方法在开放集场景下应用于未见说话人时的泛化差距问题。
• 通过结合退火 Langevin 动力学的得分生成建模，提升语音转换质量与说话人相似度。
• 仅使用来自多个说话人的真实语音特征端到端训练，无需转录文本或配对数据。
• 在零样本设置下（源说话人未在训练集中出现）展示模型的鲁棒性与性能优势。

提出的方法

• 该方法使用加权去噪得分匹配训练一个全卷积的 U-Net 网络，以近似多说话人语音特征序列的得分（对数密度梯度）。
• 训练好的得分近似器可估计目标说话人分布的对数密度梯度，从而为特征优化提供引导。
• 语音转换通过退火 Langevin 动力学实现，该方法迭代更新输入特征序列，使其逐步逼近目标分布的最近驻点。
• 退火调度在采样过程中逐步降低噪声，提升收敛性与音频质量。
• 模型在来自多个说话人的未配对真实语音特征上进行端到端训练，推理时无需平行数据或说话人嵌入。
• 该方法支持任意源说话人，并可转换为所有已训练的目标说话人，无需重新训练或微调。

Figure 1: Network architecture of the score approximator with a U-Net-like fully convolutional structure. Here, the input and output of each layer are interpreted as images, where “h”, “w” and “c” denote the height, width and channel number, respectively. “Conv2d”, “BatchNorm”, “GLU”, “Deconv2d” den

实验结果

研究问题

• RQ1 基于得分的生成模型是否能在无平行训练数据的情况下实现高质量的非平行语音转换？
• RQ2 退火 Langevin 动力学是否能在多说话人设置下有效引导特征序列向目标说话人分布优化？
• RQ3 与现有非平行 VC 方法相比，该方法在包含未见源说话人的开放集场景下是否具备更好的泛化能力？
• RQ4 在语音质量与说话人相似度方面，该方法与 VAE 基与 GAN 基基线相比表现如何？
• RQ5 该模型是否能通过单一统一网络实现无需说话人特定微调的任意到多对转换？

主要发现

• 在开放集场景下，VoiceGrad 在所有说话人配对中实现了最低的 MCD（7.55±0.05），优于所有基线方法，包括表现次优的 StarGAN-VC(W)。
• 与基线方法相比，VoiceGrad 在开放集评估中表现出更小的性能下降，表明其对未见说话人的泛化能力更强。
• 主观 MOS 测试显示，VoiceGrad 的语音质量得分为 3.85±0.12，说话人相似度得分为 3.92±0.11，优于所有基线，且显著优于 VAE-VC 与 StarGAN-VC(C)。
• 该方法在开放集场景下实现了 7.55±0.05 的 MCD，较次优方法（StarGAN-VC(W)，7.96±0.06）提升 0.41 分，证明其具备更优的鲁棒性。
• VoiceGrad 在多样化说话人配对中保持了强劲性能，包括未见组合如 lnh→clb（MCD 6.75±0.08）与 lnh→bdl（MCD 7.21±0.17）。
• 结果证实，结合退火 Langevin 动力学的得分建模可实现高效、可泛化的语音转换，且无需平行数据或显式说话人条件。

Figure 2: Results of MOS test for speech quality in open-set scenario