[论文解读] Performing Structured Improvisations with pre-trained Deep Learning Models

Pablo Samuel Castro|arXiv (Cornell University)|Apr 30, 2019

Music Technology and Sound Studies被引用 4

一句话总结

本文提出了一种实时、风格保持的系统，通过将预训练的深度学习模型（MelodyRNN 和 DrumsRNN）整合到现场音乐即兴演奏中，利用人类演奏者输入作为引导序列。该系统无需机器学习专业知识，即可实现即时、响应迅速且风格一致的音乐生成，在现场爵士乐环境中成功保持了表演者的个人风格。

ABSTRACT

The quality of outputs produced by deep generative models for music have seen a dramatic improvement in the last few years. However, most deep learning models perform in "offline" mode, with few restrictions on the processing time. Integrating these types of models into a live structured performance poses a challenge because of the necessity to respect the beat and harmony. Further, these deep models tend to be agnostic to the style of a performer, which often renders them impractical for live performance. In this paper we propose a system which enables the integration of out-of-the-box generative models by leveraging the musician's creativity and expertise.

研究动机与目标

• 解决将高质量、推理时间较长的生成式AI模型整合到实时、结构化音乐表演中的挑战。
• 在保留人类表演者风格的同时，实现实时即兴演奏与预训练模型的结合。
• 消除在音乐表演中使用先进生成式模型时对机器学习专业知识的需求。
• 通过实时处理人类输入，降低延迟并改善AI辅助即兴演奏中的时间控制。
• 探索AI生成的即兴演奏如何推动专家音乐家突破可预测的演奏模式。

提出的方法

• 系统将人类表演者实时输入的MIDI数据作为预训练MelodyRNN和DrumsRNN模型的引导序列。
• 实时处理表演者的音符，无明显延迟，生成新的旋律和节奏内容。
• 模型基于音高和持续时间标记的统计分布，根据人类输入序列生成新音符。
• 通过使用连续时间输入，避免16分音符量化，实现更自然的节奏表达。
• 引入MIDI脚踏开关，使表演者能够控制AI开始替代其输入的时机。
• 系统输出MIDI信号，可与任何音源模块或合成器集成，实现富有表现力的原声音色。

实验结果

研究问题

• RQ1 预训练的深度生成模型能否在无显著延迟的情况下用于实时、现场音乐即兴演奏？
• RQ2 在整合AI生成内容时，如何保持人类表演者的风格特征？
• RQ3 能否设计出一种系统，无需机器学习专业知识，同时实现高质量、响应迅速的AI辅助即兴演奏？
• RQ4 引入AI生成内容如何影响专家音乐家的创作过程与音乐探索？
• RQ5 哪些控制机制可以提升AI辅助即兴演奏的时间准确性和音乐连贯性？

主要发现

• 系统实现了无明显延迟的实时演奏，表演者输入与AI生成输出之间无感知延迟。
• 熟悉表演者风格的观众未察觉AI的参与，表明生成内容具有极强的风格一致性。
• 表演者报告称，由于AI生成音符的不确定性，被引导进入新的创作空间，减少了对习惯性乐句的依赖。
• 该系统在以稳定和声为特征的模态爵士乐中表现最佳；和声变化导致时间错位与声部进行问题。
• 引入MIDI脚踏开关显著提升了对AI开始替代表演者输入时机的控制，减少了不自然的过渡。
• 系统在生成新颖且连贯的即兴演奏的同时，成功保持了表演者的音乐身份。