[论文解读] Music SketchNet: Controllable Music Generation via Factorized Representations of Pitch and Rhythm

Ke Chen, Cheng-i Wang+2 more|arXiv (Cornell University)|Aug 4, 2020

Music and Audio Processing参考文献 23被引用 22

一句话总结

Music SketchNet 提出了一种可控音乐生成框架，通过变分自编码器（SketchVAE）将音高和节奏分解为解耦的潜在表征，使用户能够通过部分音高或节奏草图引导音乐补全。该模型在客观指标和主观听音测试中均优于最先进方法，能够高精度遵循用户指定的轮廓，同时保持音乐连贯性。

ABSTRACT

Drawing an analogy with automatic image completion systems, we propose Music SketchNet, a neural network framework that allows users to specify partial musical ideas guiding automatic music generation. We focus on generating the missing measures in incomplete monophonic musical pieces, conditioned on surrounding context, and optionally guided by user-specified pitch and rhythm snippets. First, we introduce SketchVAE, a novel variational autoencoder that explicitly factorizes rhythm and pitch contour to form the basis of our proposed model. Then we introduce two discriminative architectures, SketchInpainter and SketchConnector, that in conjunction perform the guided music completion, filling in representations for the missing measures conditioned on surrounding context and user-specified snippets. We evaluate SketchNet on a standard dataset of Irish folk music and compare with models from recent works. When used for music completion, our approach outperforms the state-of-the-art both in terms of objective metrics and subjective listening tests. Finally, we demonstrate that our model can successfully incorporate user-specified snippets during the generation process.

研究动机与目标

• 通过允许用户以部分音高或节奏草图作为条件，实现直观、用户引导的音乐生成。
• 通过引入基于草图的音乐生成界面，解决现有模型依赖完整音乐轨道作为条件的局限性。
• 将音乐中音高与节奏的潜在表征解耦，以支持细粒度、可控的生成。
• 通过不依赖完整音乐输入即可融入用户偏好的方式，改进音乐补全。
• 通过定量与主观评估，衡量用户控制在生成连贯、音乐上合理音乐内容方面的有效性。

提出的方法

• SketchVAE 是一种变分自编码器，利用因子化推理网络将音乐小节分解为音高轮廓与节奏的解耦潜在表征。
• SketchInpainter 使用堆叠的循环网络，基于前后文上下文预测缺失小节的潜在表征。
• SketchConnector 将用户指定的音高或节奏草图与 SketchInpainter 的潜在预测结果结合，以引导最终生成。
• 联合概率模型将解码器（SketchVAE）、补全器（SketchInpainter）与连接器（SketchConnector）整合为统一的条件生成框架。
• 模型在爱尔兰民间音乐数据上端到端训练，潜在空间建模实现了对音高与节奏的解耦控制。
• 通过虚拟控制实验评估用户影响，通过测量生成输出与用户指定草图之间的音高与节奏准确率。

实验结果

研究问题

• RQ1 与端到端模型相比，音高与节奏的因子化潜在表征是否能实现更直观、更可控的音乐生成？
• RQ2 用户在未提供完整音乐轨道的情况下，通过部分音高或节奏草图引导音乐生成的效率如何？
• RQ3 与基线补全模型相比，引入用户指定的音高或节奏草图是否带来统计上显著的生成质量提升？
• RQ4 在用户草图引导下，模型在多大程度上保持了音乐连贯性与结构一致性？
• RQ5 模型在生成音乐上合理的内容时，能否在高精度遵循用户指定的音高与节奏模式？

主要发现

• Music SketchNet 在客观指标与主观听音测试中均优于最先进方法 Music InpaintNet，尤其在结构与整体音乐性方面表现更优。
• 主观评估显示，SketchNet 在结构（p < 0.05）与整体音乐性（p < 0.05）方面得分显著高于 Music InpaintNet，复杂度方面无显著差异（p = 0.364）。
• 在虚拟控制实验中，模型对用户指定节奏草图的跟随准确率达 97.3%，对音高轮廓的跟随准确率为 88.1%。
• 即使原始旋律存在音高标准移，模型仍能成功生成与用户指定音高与节奏草图一致的连贯音乐。
• 解耦的潜在空间实现了有意义的控制：用户可独立影响音高或节奏，从而生成多样化且上下文恰当的输出。
• 该框架在交互式音乐草图中展现出实际应用价值，用户可仅以极少输入引导生成，同时保持高质量音乐输出。