[论文解读] Symbolic Music Genre Transfer with CycleGAN

Gino Brunner, Yuyi Wang+2 more|arXiv (Cornell University)|Sep 20, 2018

Music and Audio Processing被引用 4

一句话总结

本文提出了一种基于CycleGAN的符号音乐流派迁移方法，通过将图像风格迁移方法适配至音乐领域，在保持旋律结构的同时转换流派特征。主要贡献在于引入了额外的判别器，以增强结构保真度，从而实现对人类听觉感知明显且和声协调的流派迁移，且可通过流派分类器进行定量测量。

ABSTRACT

Deep generative models such as Variational Autoencoders (VAEs) and Generative Adversarial Networks (GANs) have recently been applied to style and domain transfer for images, and in the case of VAEs, music. GAN-based models employing several generators and some form of cycle consistency loss have been among the most successful for image domain transfer. In this paper we apply such a model to symbolic music and show the feasibility of our approach for music genre transfer. Evaluations using separate genre classifiers show that the style transfer works well. In order to improve the fidelity of the transformed music, we add additional discriminators that cause the generators to keep the structure of the original music mostly intact, while still achieving strong genre transfer. Visual and audible results further show the potential of our approach. To the best of our knowledge, this paper represents the first application of GANs to symbolic music domain transfer.

研究动机与目标

• 实现基于深度神经网络的符号音乐领域迁移，具体为从一种流派到另一种流派的迁移，使用生成模型。
• 在流派迁移过程中保留音乐的原始旋律与结构完整性，确保源作品的可识别性。
• 通过引入辅助判别器提升生成质量，使生成器更稳定地保持在‘音乐流形’上。
• 证明基于GAN的音乐风格迁移在人类听觉上是可行且可感知的，而不仅限于神经网络分类器的检测。
• 提供可复现的框架，包含代码与数据，以支持未来在音乐生成与风格迁移领域的研究。

提出的方法

• 通过使用MIDI表示作为输入，将CycleGAN架构适配至符号音乐，以音高为主要变换变量。
• 引入额外判别器，用于评估生成音乐在目标领域的真实性，同时评估其对输入结构的保留程度。
• 应用循环一致性损失，确保从源域到目标域再返回源域的变换保持一致，从而保留内容信息。
• 使用独立的流派分类器对流派迁移的成功程度进行定量评估，衡量模型将输入映射至目标流派的能力。
• 端到端训练模型，结合对抗损失、循环一致性损失以及来自额外判别器的感知损失，以平衡风格迁移与结构保真度。
• 通过控制额外判别器影响力的超参数，微调流派迁移强度与内容保留之间的权衡。

实验结果

研究问题

• RQ1 CycleGAN能否成功适配用于符号音乐流派迁移，在保持结构完整性的同时转换流派特征？
• RQ2 额外判别器如何影响流派迁移强度与原始音乐结构保留之间的平衡？
• RQ3 人类听觉听众在多大程度上能感知到流派变化，而不仅限于神经网络分类器的检测？
• RQ4 模型在不同流派对（如爵士 vs. 古典或爵士 vs. 流行）上的表现如何变化？
• RQ5 架构改进（如增加判别器）对生成音乐的感知质量与和声一致性有何影响？

主要发现

• 配备完整额外判别器的模型（M_full）在经典-流行对上取得了最高的流派迁移性能，总域迁移得分为58.1%，优于M_base与M_partial。
• 在爵士-流行对中，M_full实现了从流行到爵士的49.24%迁移率，表明尽管整体得分较低，仍能实现有效的流派迁移。
• 人类听觉听众能够感知音频样本中的流派变化，证实该迁移不仅可被分类器检测，也可被未经训练的听觉感知察觉。
• 引入判别器显著提升了结构保真度：M_full在复杂迁移（如古典到爵士）中始终生成更连贯、更和谐的音乐，优于M_base。
• 循环一致性与感知正则化有效减少了不协和音符与节奏不一致现象，生成了更具音乐合理性的输出。
• 通过流派分类器对模型性能进行了定量验证，M_full在经典-流行对上的A→B→A循环中表现出最强的迁移能力（如准确率达87.18%）。