[论文解读] Polyphonic Music Composition with LSTM Neural Networks and Reinforcement Learning

Harish Kumar, Balaraman Ravindran|arXiv (Cornell University)|Feb 5, 2019

Music and Audio Processing参考文献 21被引用 6

一句话总结

该论文提出 Amadeus 系统，一种音乐创作系统，采用新颖的多流表示法将多声部音乐分解为单声部流，从而实现基于 LSTM 的高效序列建模。该系统通过强化学习选择预训练的音乐‘计划’——而非网络权重——的最优组合，生成在和声、节奏与旋律复杂性方面均有显著提升的连贯、和声丰富且节奏一致的音乐作品，其质量明显优于随机选择计划的方式。

ABSTRACT

In the domain of algorithmic music composition, machine learning-driven systems eliminate the need for carefully hand-crafting rules for composition. In particular, the capability of recurrent neural networks to learn complex temporal patterns lends itself well to the musical domain. Promising results have been observed across a number of recent attempts at music composition using deep RNNs. These approaches generally aim at first training neural networks to reproduce subsequences drawn from existing songs. Subsequently, they are used to compose music either at the audio sample-level or at the note-level. We designed a representation that divides polyphonic music into a small number of monophonic streams. This representation greatly reduces the complexity of the problem and eliminates an exponential number of probably poor compositions. On top of our LSTM neural network that learnt musical sequences in this representation, we built an RL agent that learnt to find combinations of songs whose joint dominance produced pleasant compositions. We present Amadeus, an algorithmic music composition system that composes music that consists of intricate melodies, basic chords, and even occasional contrapuntal sequences.

研究动机与目标

• 通过将多声部音乐分解为可管理的单声部流，解决多声部音乐生成的复杂性问题。
• 通过利用结构化的计划空间，减少可能组合的搜索空间，避免产生大量低质量输出。
• 通过强化学习选择高层级配置（即‘计划’）而非直接修改网络权重，以提升音乐创作质量。
• 实现具有和声、对位法、节奏一致性与调性统一性的音乐连贯创作。
• 证明强化学习可有效引导音乐计划的选择，生成在听觉上悦耳且结构多样的作品。

提出的方法

• 系统将多声部音乐表示为少量单声部流，降低稀疏性并简化学习问题。
• 在这些单声部序列上训练 LSTM 神经网络，以学习音高与持续时间的时序模式。
• 强化学习智能体根据评估音乐质量的奖励函数，选择预训练的‘计划’（代表音乐动机或乐句）的组合。
• 使用带有函数逼近的 Q-learning 算法训练策略网络，超参数通过网格搜索进行调优。
• 奖励函数评估音高熵、休止符分布、重复音符集合以及互相关峰值等属性，以引导智能体生成悦耳的音乐。
• 智能探索计划空间，使系统能够通过组合主导的音乐影响因素，生成多样且连贯的音乐作品。

实验结果

研究问题

• RQ1 多流表示法是否能显著降低多声部音乐序列建模的复杂性，同时保持音乐结构？
• RQ2 强化学习是否可有效应用于选择高层级音乐计划，而非修改模型权重，以提升创作质量？
• RQ3 使用结构化的计划空间是否能生成比随机计划选择更连贯、更悦耳的音乐作品？
• RQ4 基于 LSTM 的系统在强化学习引导下，能在多大程度上生成具有和声、对位法与节奏一致性的作品？
• RQ5 该系统能否生成在关键音乐属性上与人类创作音乐在听觉上难以区分的作品？

主要发现

• 强化学习显著提升了优质作品的比例：使用 RL 时 24% 的作品被评为优质（奖励 >5.0），而未使用 RL 时仅为 12%。
• 重复相同音符集合的情况减少了 67%（从 0.20 降至 0.06），表明旋律多样性更好。
• 音高熵平均值从 0.71 提升至 0.82，表明音高分布更具多样性且更具音乐趣味性。
• 极短或极长持续时间音符的数量减少了 37.5%（从 0.08 降至 0.05），表明节奏一致性更优。
• 聚集的休止符数量和休止符计数分别减少了 43% 和 36%，表明乐句更自然。
• 互相关峰值（衡量节奏连贯性的指标）从 0.20 降低至 0.13，表明节奏结构更优且更具可预测性。