[论文解读] Singing Style Transfer Using Cycle-Consistent Boundary Equilibrium Generative Adversarial Networks

Chengwei Wu, Jen-Yu Liu+2 more|arXiv (Cornell University)|Jul 6, 2018

Music and Audio Processing参考文献 9被引用 14

一句话总结

该论文提出了一种用于无配对数据的歌唱风格迁移的循环一致性边界均衡生成对抗网络（CycleBEGAN）框架，通过在对数幅度谱图上使用一维卷积和跳跃连接来保留音频质量。该方法在风格迁移中实现了高感知质量，最佳模型在自然度和性别迁移等关键指标上的五级李克特量表评分接近4.0。

ABSTRACT

Can we make a famous rap singer like Eminem sing whatever our favorite song? Singing style transfer attempts to make this possible, by replacing the vocal of a song from the source singer to the target singer. This paper presents a method that learns from unpaired data for singing style transfer using generative adversarial networks.

研究动机与目标

• 解决无配对训练数据下的歌唱风格迁移挑战，即源歌手和目标歌手必须演唱同一首歌曲。
• 仅使用无配对音频样本，实现从一个歌手到另一个歌手的风格迁移，特别是性别迁移。
• 通过在基于GAN的框架中整合跳跃连接和时序建模，提升音频质量和感知保真度。
• 通过结合CycleGAN与边界均衡生成对抗网络（BEGAN）损失，稳定训练并提升风格迁移性能。

提出的方法

• 将对数幅度谱图（T×F）视为具有F个通道的T×1图像，使用一维卷积来建模歌唱语音中的频谱特征。
• 采用完全卷积的U-Net类架构，并引入对称跳跃连接，以保留细微的音频细节并提高清晰度。
• 用与生成器架构相同的自编码器替代标准PatchGAN判别器，通过BEGAN的损失机制实现更好的训练稳定性。
• 在最终输出层前引入GRU层，以建模歌唱语音中的时序依赖性，提升音高和节奏的一致性。
• 在风格迁移后，使用Griffin-Lim算法从修改后的谱图重建时域音频。
• 使用循环一致性损失进行模型训练，以确保即使在无配对数据下，从源到目标再返回源的转换也能保持身份一致性。

实验结果

研究问题

• RQ1 基于GAN的模型是否能在不依赖源歌手和目标歌手演唱同一首歌的配对数据下，有效实现歌唱风格迁移？
• RQ2 U-Net架构中的跳跃连接如何影响迁移后歌唱语音的感知质量和清晰度？
• RQ3 与标准GAN相比，集成BEGAN训练目标在多大程度上提升了训练稳定性和风格迁移性能？
• RQ4 引入循环层（GRU）是否增强了对歌唱语音时序动态（如音高和节奏）的建模能力？
• RQ5 当仅基于性别风格迁移（男声到女声或女声到男声）进行训练时，该模型在未见歌手上的泛化能力如何？

主要发现

• 性能最佳的模型（CycleBEGAN-CNN+skip+recurrent）在听音测试中，所有六个感知指标的平均意见得分（MOS）均达到4.0或以上。
• 带有跳跃连接的模型（m2, m4, m5）在清晰度和歌词可懂度方面显著优于无跳跃连接的模型，表明其对音频细节的保留更佳。
• 基于CycleBEGAN的模型（m3, m4, m5）在性别迁移性能上优于标准CycleGAN，证实了BEGAN训练目标的优势。
• 同时具备跳跃连接和GRU的模型（m5）在整体感知质量上表现最佳，其风格迁移效果甚至优于自编码器结构的m2模型，同时保持了自然性。
• 结果表明，BEGAN提升了训练稳定性与风格迁移质量，尤其在捕捉歌手特有的音色和发声动态方面表现突出。
• 谱图可视化证实，迁移后音频中的音高轮廓（如男声到女声）已正确调整至目标歌手的音域范围。