[论文解读] Musical Composition Style Transfer via Disentangled Timbre Representations

Yun-Ning Hung, I-Tung Chiang+2 more|arXiv (Cornell University)|May 30, 2019

Music and Audio Processing参考文献 23被引用 5

一句话总结

本文提出了一种基于对抗训练分离音色与音高表征的深度学习框架，用于多声部音频中的音乐创作风格迁移。该模型在乐器活动检测任务中达到最先进性能，并通过操纵音色而保持音高内容，实现了高质量的音乐重排，展示了在弦乐、钢琴和乐队等不同流派间有效实现风格迁移的能力。

ABSTRACT

Music creation involves not only composing the different parts (e.g., melody, chords) of a musical work but also arranging/selecting the instruments to play the different parts. While the former has received increasing attention, the latter has not been much investigated. This paper presents, to the best of our knowledge, the first deep learning models for rearranging music of arbitrary genres. Specifically, we build encoders and decoders that take a piece of polyphonic musical audio as input and predict as output its musical score. We investigate disentanglement techniques such as adversarial training to separate latent factors that are related to the musical content (pitch) of different parts of the piece, and that are related to the instrumentation (timbre) of the parts per short-time segment. By disentangling pitch and timbre, our models have an idea of how each piece was composed and arranged. Moreover, the models can realize "composition style transfer" by rearranging a musical piece without much affecting its pitch content. We validate the effectiveness of the models by experiments on instrument activity detection and composition style transfer. To facilitate follow-up research, we open source our code at https://github.com/biboamy/instrument-disentangle.

研究动机与目标

• 开发一种通用的神经网络模型，用于自动音乐重排，以保持音高内容同时改变乐器配置。
• 通过在潜在空间中解耦音色与音高因子，解决音乐风格迁移中缺乏可泛化模型的问题。
• 在无需每种目标风格的配对数据的情况下，仅使用音频与MIDI配对实现创作风格迁移。
• 通过对抗训练和音高感知建模学习解耦表征，提升音乐重排质量。
• 通过开源代码并提供演示结果，促进未来研究。

提出的方法

• 模型采用基于U-Net的编码器-解码器架构，将多声部音频转录为MIDI乐谱，预测每个音符的音高和乐器。
• 通过对抗训练实现解耦，其中判别器在潜在空间中被训练以区分与音色相关的因子与与音高相关的因子。
• 模型利用MIDI标注监督音高和乐器预测，实现音高与音色表征的联合学习。
• 通过在潜在码上训练独立的乐器分类器，进一步增强音色解耦，鼓励通过对抗损失实现更好的解耦。
• 在风格迁移中，固定与音高相关的潜在因子，同时修改与音色相关的因子以生成新的乐器配置。
• 该方法结合重建损失、音高分类损失和对抗损失，实现模型端到端优化。

实验结果

研究问题

• RQ1 能否从音频与MIDI配对中有效学习解耦的音色表征，以实现音乐重排？
• RQ2 对抗训练是否能提升神经音频转录中音色与音高因子的解耦效果？
• RQ3 在不改变音高内容的前提下，该模型在多大程度上可实现音乐创作风格迁移？
• RQ4 与先前工作相比，该模型在乐器活动检测任务中的表现如何？
• RQ5 该模型能否在弦乐、钢琴、原声及乐队等多样化音乐流派中实现泛化？

主要发现

• 所提出的UnetED模型在M&M数据集上的乐器活动检测任务中达到最先进性能，优于先前方法。
• 对抗训练显著提升了因子解耦效果，从而在乐器活动检测和音乐重排任务中均取得更优表现。
• 人类评估在12组源-目标风格配对中确认，UnetED生成的重排在节奏与和声上优于其消融版本。
• 与Hadad等人（2018）的基线方法相比，人类受试者对UnetED的评分更高，后者未能保留音高信息并产生了大量空轨道。
• 该模型能为音符合理分配乐器——例如低音符分配贝斯，旋律音符分配小提琴或长笛——表明其在重排过程中具备有效的乐器选择能力。
• 音乐专业人士与非专业人士的评分无显著差异，表明该模型的输出对广大受众具有感知上的合理性。