[论文解读] PopMAG: Pop Music Accompaniment Generation

Yi Ren, Jinzheng He+4 more|arXiv (Cornell University)|Aug 18, 2020

Music and Audio Processing参考文献 34被引用 6

一句话总结

PopMAG 提出了一种新颖的多轨MIDI（MuMIDI）表示方法，能够在单个序列中实现多音乐轨的联合、和声感知生成，从而改进轨间依赖关系的建模。通过在每个时间步建模多个音符属性，并利用Transformer-XL实现长上下文记忆，PopMAG在多轨流行音乐伴奏生成任务中达到最先进性能，在LMD、FreeMidi以及一个中文流行音乐数据集上，主观偏好投票中以42–40%的得票率胜过真实数据。

ABSTRACT

In pop music, accompaniments are usually played by multiple instruments (tracks) such as drum, bass, string and guitar, and can make a song more expressive and contagious by arranging together with its melody. Previous works usually generate multiple tracks separately and the music notes from different tracks not explicitly depend on each other, which hurts the harmony modeling. To improve harmony, in this paper, we propose a novel MUlti-track MIDI representation (MuMIDI), which enables simultaneous multi-track generation in a single sequence and explicitly models the dependency of the notes from different tracks. While this greatly improves harmony, unfortunately, it enlarges the sequence length and brings the new challenge of long-term music modeling. We further introduce two new techniques to address this challenge: 1) We model multiple note attributes (e.g., pitch, duration, velocity) of a musical note in one step instead of multiple steps, which can shorten the length of a MuMIDI sequence. 2) We introduce extra long-context as memory to capture long-term dependency in music. We call our system for pop music accompaniment generation as PopMAG. We evaluate PopMAG on multiple datasets (LMD, FreeMidi and CPMD, a private dataset of Chinese pop songs) with both subjective and objective metrics. The results demonstrate the effectiveness of PopMAG for multi-track harmony modeling and long-term context modeling. Specifically, PopMAG wins 42\%/38\%/40\% votes when comparing with ground truth musical pieces on LMD, FreeMidi and CPMD datasets respectively and largely outperforms other state-of-the-art music accompaniment generation models and multi-track MIDI representations in terms of subjective and objective metrics.

研究动机与目标

• 解决现有多轨音乐生成方法中缺乏显式轨间依赖关系建模的问题。
• 通过同时生成多个乐器轨，提升流行音乐伴奏生成中的和声质量。
• 缓解多轨编码带来的长序列长度问题，该问题会阻碍长期音乐建模。
• 通过序列级音符属性编码与扩展上下文记忆，增强长期依赖关系建模。
• 开发一种可泛化的框架，适用于从零开始的音乐生成、半成品音乐生成或歌曲重构任务。

提出的方法

• 提出MuMIDI，一种新颖的多轨MIDI表示方法，将多个乐器轨编码为单一序列标记格式，实现联合生成与显式轨间依赖关系建模。
• 在单个序列步骤中建模多个音符属性（音高、持续时间、力度），相比逐属性标记化方法，显著缩短序列长度。
• 采用基于Transformer-XL主干的序列到序列模型，通过编码器与解码器中引入的超长上下文记忆，捕捉长期音乐依赖关系。
• 引入小节级与位置级嵌入，更有效地编码音乐结构，提升对节奏与时间关系的建模能力。
• 在解码器中使用旋律与和弦轨的条件输入，引导目标伴奏轨的自回归生成。
• 结合相对位置编码与学习嵌入，以增强长序列上的注意力机制。

实验结果

研究问题

• RQ1 统一的序列表示能否有效建模多轨音乐生成中的轨间依赖关系？
• RQ2 与独立轨生成相比，联合多轨生成在和声方面有何提升？
• RQ3 在单个时间步中建模多个音符属性在多大程度上可缩短序列长度并提升训练效率？
• RQ4 超长上下文记忆在捕捉多轨序列中的长期音乐依赖关系方面有多有效？
• RQ5 所提出的节拍与位置嵌入方案是否在音乐生成任务中优于标准正弦或相对位置编码？

主要发现

• 在主观评估中，PopMAG在LMD数据集上获得42%的偏好票数胜过真实数据，在FreeMidi上为38%，在私有CPMD中文流行音乐数据集上为40%。
• 在所有数据集上，PopMAG在主观与客观指标上均优于所有对比的最先进模型。
• 消融实验表明，移除解码器中的记忆（PopMAG - DM）导致性能下降程度高于移除编码器中的记忆（PopMAG - EM），表明解码器记忆在长期建模中更为关键。
• 节拍与位置嵌入的组合在所有指标上均优于正弦与相对位置编码，且在主观评估中获得最高偏好得分。
• 在单个时间步中建模多个音符属性显著缩短了序列长度，提升了训练效率与长上下文建模能力。
• 完整版PopMAG模型（包含MuMIDI、多属性标记化与长上下文记忆）表现最佳，证实了所有所提组件之间的协同增益。