[论文解读] The NES Music Database: A multi-instrumental dataset with expressive performance attributes

Chris Donahue, Huanru Henry Mao+1 more|arXiv (Cornell University)|Jun 11, 2018

Music and Audio Processing参考文献 21被引用 8

一句话总结

本文介绍了NES音乐数据库（NES-MDB），这是一个大规模、多乐器的NES视频游戏音乐数据集，明确分离了单音符乐器声部，并包含详细的表达性演奏特征（如力度、音色）。该数据集通过一种新型流程，将乐谱符号化表示映射为真实的NES音频，利用硬件仿真实现端到端的作曲与表达性演奏建模，为两项任务建立了可复现的基线，并提供了开源的波形渲染工具。

ABSTRACT

Existing research on music generation focuses on composition, but often ignores the expressive performance characteristics required for plausible renditions of resultant pieces. In this paper, we introduce the Nintendo Entertainment System Music Database (NES-MDB), a large corpus allowing for separate examination of the tasks of composition and performance. NES-MDB contains thousands of multi-instrumental songs composed for playback by the compositionally-constrained NES audio synthesizer. For each song, the dataset contains a musical score for four instrument voices as well as expressive attributes for the dynamics and timbre of each voice. Unlike datasets comprised of General MIDI files, NES-MDB includes all of the information needed to render exact acoustic performances of the original compositions. Alongside the dataset, we provide a tool that renders generated compositions as NES-style audio by emulating the device's audio processor. Additionally, we establish baselines for the tasks of composition, which consists of learning the semantics of composing for the NES synthesizer, and performance, which involves finding a mapping between a composition and realistic expressive attributes.

研究动机与目标

• 为现有音乐生成数据集中缺乏表达性演奏特征，尤其是多乐器音乐的问题提供解决方案。
• 提供一种结构化、分离的乐谱表示方式，以保留单个乐器声部数据和表达性特征。
• 通过结合符号化作曲与真实音频渲染，实现对完整音乐生成流程（作曲与表达性演奏）的研究。
• 利用神经序列模型为作曲与演奏任务建立可复现的基线。
• 提供一个开源工具链，将符号化乐谱转换为可播放的NES机器代码，实现逼真的音频播放。

提出的方法

• 通过解析1,400款NES游戏的原始机器代码，提取四种乐器声部的乐谱和表达性特征，构建该数据集。
• 每首歌曲以三种格式表示：混合乐谱（标准的多声部表示）、分离乐谱（单个单音符声部序列）和表达性乐谱（每声部包含力度与音色变化）。
• 开发自定义库，实现符号音乐格式（如MIDI）与NES机器代码之间的转换，完整保留所有演奏细节。
• 作者使用该数据集，基于RNN模型对分离的作曲与表达性演奏任务进行训练与评估。
• 通过硬件仿真工具将生成的乐曲渲染为真实的NES风格音频，支持感知与定量评估。
• 采用RNN等序列建模技术及条件概率因子分解方法，为作曲与演奏预测任务建立基线。

实验结果

研究问题

• RQ1 当在分离的单音符声部表示上进行训练时，神经网络模型能否有效学习多乐器作曲的语义？相比混合和弦表示，效果如何？
• RQ2 在给定多乐器作品的符号化乐谱时，模型预测表达性演奏特征（如力度与音色变化）的能力如何？
• RQ3 与混合乐谱建模相比，分离乐器声部在多大程度上能提升生成音乐的质量与表现力？
• RQ4 统一的作曲与演奏建模流程能否产生比单独建模任一任务更自然、更符合音乐逻辑的NES风格音乐？
• RQ5 与专注于独奏钢琴的现有方法相比，该数据集上的表达性演奏建模在多乐器交互复杂性背景下表现如何？

主要发现

• NES-MDB数据集包含来自授权NES游戏的超过1,400首多乐器作品，每首作品包含四个分离的乐器声部及详细的表达性特征。
• 分离乐谱表示相比退化的混合乐谱格式，能更准确、更富表现力地建模多声部音乐。
• 作者基于RNN模型为作曲与演奏任务建立了可复现的基线，证明其在表现力上优于基线方法。
• 开源工具链支持将生成的乐谱直接播放为真实的NES音频，实现对生成音乐的逼真评估。
• 该数据集支持从符号化作曲到波形渲染的完整音乐生成流程，填补了多乐器、表达性音乐生成研究中的关键空白。
• 本研究证明，力度与音色变化等表达性特征显著提升了生成音乐的感知质量，使其听起来更自然、更具音乐逻辑性。