[论文解读] MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training

Mingliang Zeng, Xu Tan+4 more|arXiv (Cornell University)|Jun 10, 2021

Music and Audio Processing参考文献 34被引用 10

一句话总结

MusicBERT 是一种用于符号音乐理解的大规模预训练模型，引入了八元组MIDI编码和小节级掩码机制，以高效地表示和预训练长音乐序列。该模型基于包含100万首歌曲的数据集，在旋律补全、伴奏建议、流派和风格分类任务上实现了最先进性能，显著优于先前方法。

ABSTRACT

Symbolic music understanding, which refers to the understanding of music from the symbolic data (e.g., MIDI format, but not audio), covers many music applications such as genre classification, emotion classification, and music pieces matching. While good music representations are beneficial for these applications, the lack of training data hinders representation learning. Inspired by the success of pre-training models in natural language processing, in this paper, we develop MusicBERT, a large-scale pre-trained model for music understanding. To this end, we construct a large-scale symbolic music corpus that contains more than 1 million music songs. Since symbolic music contains more structural (e.g., bar, position) and diverse information (e.g., tempo, instrument, and pitch), simply adopting the pre-training techniques from NLP to symbolic music only brings marginal gains. Therefore, we design several mechanisms, including OctupleMIDI encoding and bar-level masking strategy, to enhance pre-training with symbolic music data. Experiments demonstrate the advantages of MusicBERT on four music understanding tasks, including melody completion, accompaniment suggestion, genre classification, and style classification. Ablation studies also verify the effectiveness of our designs of OctupleMIDI encoding and bar-level masking strategy in MusicBERT.

研究动机与目标

• 为解决符号音乐数据集规模不足以及音乐表征学习中有效预训练方法缺乏的问题。
• 克服直接将自然语言处理预训练技术应用于符号音乐时因结构复杂性和长序列长度带来的限制。
• 设计一种高效且通用的音乐编码方法，在减少序列长度的同时保留丰富的音乐信息。
• 开发一种掩码策略，防止信息泄露，提升符号音乐预训练中的表征学习能力。
• 通过广泛的消融实验和下游任务评估，证明MusicBERT在多样化音乐理解任务中的有效性。

提出的方法

• 八元组MIDI编码将每个音符表示为包含8个元素的元组：节拍时间 signature、速度、小节、位置、音色、音高、持续时间与 velocity，实现紧凑且通用的表示。
• 该方法将每首歌的平均序列长度减少至3,607个标记——比REMI短4倍，比CP短2倍，显著提升计算效率。
• 提出一种小节级掩码策略，对同一小节内相同类型的全部标记（如音高、音色）进行掩码，避免来自相邻相同属性的信息泄露。
• 该策略可防止通过复制邻近标记轻松预测，从而促使模型从上下文中学习有意义的表征。
• MusicBERT 在新构建的百万MIDI数据集（MMD）上进行预训练，该数据集包含超过100万首涵盖摇滚、电子、爵士和古典等流派的多样化音乐作品。
• 模型采用标准的Transformer架构，并在下游任务（如旋律补全、伴奏建议、流派与风格分类）上进行微调。

实验结果

研究问题

• RQ1 在多样且大规模的符号音乐数据集上进行训练时，大规模预训练模型是否能显著提升符号音乐表征学习效果？
• RQ2 八元组MIDI编码是否能有效缩短序列长度，同时为下游任务保留足够的音乐信息？
• RQ3 与随机掩码或标记级掩码相比，小节级掩码是否在防止信息泄露和提升符号音乐表征学习方面表现更优？
• RQ4 与随机初始化相比，大规模语料预训练如何提升音乐理解任务的性能？
• RQ5 MusicBERT在不同音乐理解任务（包括乐句级和歌曲级分类）上的泛化能力如何？

主要发现

• MusicBERT在所有四项评估任务上均达到最先进性能：旋律补全准确率96.7%，伴奏建议准确率87.9%，流派分类F1-micro为0.730，风格分类F1-micro为0.534。
• 八元组MIDI编码在所有任务中均优于CP类和REMI类编码，准确率与F1分数提升1.0至4.7个百分点。
• 小节级掩码策略表现最佳（旋律补全准确率96.7%，流派分类F1为0.730），优于随机掩码与八元组级掩码。
• 预训练显著提升性能，旋律补全准确率提高4.3个百分点，流派分类F1提升13.5分，相较于无预训练的模型。
• 通过八元组MIDI编码实现的紧凑表示使计算复杂度相比REMI类编码降低16倍，从而实现对长序列的高效训练与推理。
• 消融实验证实，八元组MIDI编码与小节级掩码均为关键组件，二者对整体性能提升均有显著贡献。