[论文解读] StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

Takuhiro Kaneko, Hirokazu Kameoka+2 more|arXiv (Cornell University)|Jul 29, 2019

Speech Recognition and Synthesis参考文献 55被引用 17

一句话总结

StarGAN-VC2 提出了一种改进的语音转换框架，通过引入源域与目标域条件对抗损失以及基于调制的网络架构，重新思考了基于 StarGAN 模型的条件方法。这些改进显著提升了语音质量和说话人相似度，在多说话人语音转换任务的客观与主观评估中均优于 StarGAN-VC。

ABSTRACT

Non-parallel multi-domain voice conversion (VC) is a technique for learning mappings among multiple domains without relying on parallel data. This is important but challenging owing to the requirement of learning multiple mappings and the non-availability of explicit supervision. Recently, StarGAN-VC has garnered attention owing to its ability to solve this problem only using a single generator. However, there is still a gap between real and converted speech. To bridge this gap, we rethink conditional methods of StarGAN-VC, which are key components for achieving non-parallel multi-domain VC in a single model, and propose an improved variant called StarGAN-VC2. Particularly, we rethink conditional methods in two aspects: training objectives and network architectures. For the former, we propose a source-and-target conditional adversarial loss that allows all source domain data to be convertible to the target domain data. For the latter, we introduce a modulation-based conditional method that can transform the modulation of the acoustic feature in a domain-specific manner. We evaluated our methods on non-parallel multi-speaker VC. An objective evaluation demonstrates that our proposed methods improve speech quality in terms of both global and local structure measures. Furthermore, a subjective evaluation shows that StarGAN-VC2 outperforms StarGAN-VC in terms of naturalness and speaker similarity. The converted speech samples are provided at http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/stargan-vc2/index.html.

研究动机与目标

• 解决非平行多领域语音转换中真实语音与转换语音之间的性能差距。
• 通过重新思考训练目标与网络设计中的条件方法，提升 StarGAN-VC 的泛化能力与保真度。
• 实现在无平行训练数据条件下，通过单一生成器实现多说话人的高质量语音转换。
• 增强转换语音中全局特征（如谱结构）与局部特征（如调制动态）的一致性。
• 在主观听音测试中，相比先前的最先进模型，实现更高的自然度与说话人相似度。

提出的方法

• 提出一种源域与目标域条件对抗损失，促使所有源域语音均被转换至目标域分布，从而提升判别器的泛化能力。
• 引入基于调制的条件机制，对声学特征施加领域特定的调制，实现对谱动态的细粒度控制。
• 采用单一生成器结合领域条件控制，保持 StarGAN-VC 的可扩展性，同时提升特征保真度。
• 使用基于 GAN 的框架，结合身份损失与循环一致性损失，并通过领域编码适配多说话人设置。
• 采用梅尔倒谱失真（MCD）与调制谱距离（MSD）作为客观度量，评估全局与局部特征相似性。
• 通过 XAB 偏好测试与 MOS 评估，在主观听音测试中评估自然度与说话人相似度。

实验结果

研究问题

• RQ1 重构的对抗损失是否能改善多说话人语音转换中转换语音与目标语音的对齐？
• RQ2 基于调制的条件网络架构是否能增强非平行语音转换中的局部谱结构保持？
• RQ3 所提出的条件方法与传统的通道独立条件与标准对抗损失相比，在语音质量与说话人相似度方面表现如何？
• RQ4 所提方法在客观与主观评估中，能在多大程度上缩小真实语音与转换语音之间的差距？
• RQ5 该改进模型是否能超越多说话人转换任务，在其他多领域语音转换任务中也表现出泛化能力？

主要发现

• StarGAN-VC2 在梅尔倒谱失真（MCD）上达到 6.90 dB，调制谱距离（MSD）为 1.89 dB，全局与局部特征相似度均优于 StarGAN-VC。
• 与基线 StarGAN-VC（标准损失）相比，所提出的源域与目标域条件对抗损失使 MCD 降低 0.21 dB，MSD 降低 0.52 dB。
• 与通道独立方法相比，基于调制的条件网络使 MSD 降低 0.66 dB，表明其在局部结构保持方面表现更优。
• 主观 MOS 自然度评分显著更高（p < 0.05），StarGAN-VC2 平均得分为 3.85，而 StarGAN-VC 为 3.67。
• 说话人相似度偏好得分分别为 72%（StarGAN-VC2）与 60%（StarGAN-VC），表明说话人身份保持能力有统计学显著提升。
• 该模型在所有类别中均表现出一致优势：全转换、同性别转换与跨性别转换。