[论文解读] Towards democratizing music production with AI-Design of Variational Autoencoder-based Rhythm Generator as a DAW plugin

Nao Tokui|arXiv (Cornell University)|Apr 1, 2020

Music and Audio Processing参考文献 15被引用 4

一句话总结

本文提出 M4L.RhythmVAE，一种基于 VAE 的 Ableton Live 节奏生成插件，允许音乐人通过拖放 MIDI 文件训练自定义节奏模型，并通过 XY 棋盘实时控制二维潜在空间，探索生成性输出。专业音乐人认为该工具对创意探索具有实用价值，展示了将人工智能民主化应用于音乐制作的切实路径。

ABSTRACT

There has been significant progress in the music generation technique utilizing deep learning. However, it is still hard for musicians and artists to use these techniques in their daily music-making practice. This paper proposes a Variational Autoencoder\cite{Kingma2014}(VAE)-based rhythm generation system, in which musicians can train a deep learning model only by selecting target MIDI files, then generate various rhythms with the model. The author has implemented the system as a plugin software for a DAW (Digital Audio Workstation), namely a Max for Live device for Ableton Live. Selected professional/semi-professional musicians and music producers have used the plugin, and they proved that the plugin is a useful tool for making music creatively. The plugin, source code, and demo videos are available online.

研究动机与目标

• 解决先进 AI 音乐生成技术与缺乏深度学习技术专长的音乐人之间的鸿沟。
• 提供一个用户友好、交互式的工具，使非专家能够在标准 DAW 工作流程中训练和使用自定义节奏生成模型。
• 实现对潜在空间的直接、实时操控，以促进节奏模式的创意探索。
• 证明音乐人可以利用基于其自身偏好 MIDI 数据训练的 AI 工具，生成新颖且可用的音乐创意。

提出的方法

• 系统实现了一个变分自编码器（VAE），在用户选择的符合通用 MIDI 标准的 MIDI 文件上进行训练，重点聚焦于通道 10 的鼓音色模式。
• 将 MIDI 节拍触发事件映射到 9 种预定义的鼓音色，使用固定的 GM 鼓音色映射，节奏模式以 16 分音符分辨率的序列进行编码。
• VAE 使用二维潜在空间，通过 Max for Live 中的标准 XY 棋盘界面实现直观控制，支持实时生成节奏模式。
• 该插件与 Ableton Live 的 sequencer 集成，同步生成的节奏，并支持对潜在向量运动的自动化，以创建音乐进行式进展。
• 通过点击按钮启动训练，拖放 MIDI 文件后，损失曲线实时可视化，用于监控收敛情况。
• 使用 TensorFlow.js 在 Node.js 运行时中部署模型，实现在设备上进行推理，无需外部依赖。

实验结果

研究问题

• RQ1 缺乏深度学习专业知识的音乐人是否能在标准 DAW 环境中有效训练并使用自定义节奏生成模型？
• RQ2 对二维潜在空间的直接、实时控制在音乐制作中如何影响创意探索与创意生成？
• RQ3 一个具有二维潜在空间的小型、用户训练的 VAE 模型在多大程度上能生成多样化且具有音乐意义的节奏模式？
• RQ4 此类插件能否作为实际工具，在真实世界的音乐制作工作流中生成新颖的音乐创意？

主要发现

• 测试该插件的专业音乐人和制作人表示其是生成新音乐创意的有用工具，其中一位参与者明确表示该工具激发了新的创造力。
• 该插件实现了实时、交互式的节奏生成：用户移动 XY 棋盘时，新的节奏模式会即时生成并同步回放至 Ableton Live 的 sequencer。
• 参与者成功在现场表演环境中使用该插件，有记录的现场演出使用了 AI 生成的节奏，证明了其在真实场景中的可用性。
• 尽管模型的二维潜在空间容量有限，但在使用用户特定 MIDI 数据训练后，仍足以支持有意义的探索与变化，支持了领域特定模型在创意应用中优于通用模型的假设。
• 能够记录并自动化潜在向量的运动，使用户可创建演变的节奏进行式进展，证明其与标准 DAW 工作流的无缝集成。
• 源代码、插件和演示视频已公开发布，支持可复现性与更广泛的应用。