[论文解读] The Chamber Ensemble Generator: Limitless High-Quality MIR Data via Generative Modeling

Yusong Wu, Josh Gardner+4 more|arXiv (Cornell University)|Sep 28, 2022

Music and Audio Processing被引用 8

一句话总结

该论文提出了一种名为音符合奏生成器（Chamber Ensemble Generator, CEG）的流水线，结合了音符级生成模型（Coconet）与音频合成模型（MIDI-DDSP），可生成无限量、高质量、完全标注的室内乐音乐。该系统构建了CocoChorales数据集，在音乐转录与音源分离任务中显著提升了最先进性能，尤其在低资源乐器方面表现突出。

ABSTRACT

Data is the lifeblood of modern machine learning systems, including for those in Music Information Retrieval (MIR). However, MIR has long been mired by small datasets and unreliable labels. In this work, we propose to break this bottleneck using generative modeling. By pipelining a generative model of notes (Coconet trained on Bach Chorales) with a structured synthesis model of chamber ensembles (MIDI-DDSP trained on URMP), we demonstrate a system capable of producing unlimited amounts of realistic chorale music with rich annotations including mixes, stems, MIDI, note-level performance attributes (staccato, vibrato, etc.), and even fine-grained synthesis parameters (pitch, amplitude, etc.). We call this system the Chamber Ensemble Generator (CEG), and use it to generate a large dataset of chorales from four different chamber ensembles (CocoChorales). We demonstrate that data generated using our approach improves state-of-the-art models for music transcription and source separation, and we release both the system and the dataset as an open-source foundation for future work in the MIR community.

研究动机与目标

• 解决音乐信息检索（MIR）领域中因小规模、低质量数据集导致的关键瓶颈，此类数据集限制了模型的可扩展性与性能。
• 通过生成具有丰富、结构化标注的合成数据，克服数据增强与无监督学习的局限性。
• 通过创建大规模、高保真度的室内乐演奏数据集，构建可扩展的开源基础，以支持未来MIR研究。
• 使低资源乐器（如双簧管、巴松管）的最先进模型训练成为可能，这些乐器因数据稀缺而长期被忽视。
• 证明基于结构化生成流水线的合成数据可在下游MIR任务中超越真实世界数据集的表现。

提出的方法

• 使用在巴赫众赞歌上预训练的Coconet，生成带乐器标签与表达性演奏特征（如断奏、颤音）的四声部乐谱。
• 集成在URMP数据集上预训练的MIDI-DDSP，将生成的音符序列转换为高保真音频，生成乐器音轨与完整混音。
• 构建分层生成流水线，保留并可修改中间表示（如音符数据、表达特征、合成参数）。
• 在中间阶段实施受控操作，如改变配器、节拍、微时序与音高校正，以提升多样性与真实感。
• 生成240,000个独特演奏，构成CocoChorales数据集，包含对齐的音频混音、音轨、MIDI文件及逐音符演奏标注。
• 将CEG系统与CocoChorales数据集均以开源形式发布，以加速未来MIR研究。

实验结果

研究问题

• RQ1 生成式建模流水线能否生成足够真实、且具备丰富标注的合成MIR数据，使其在下游任务中超越真实世界数据集？
• RQ2 基于结构化生成层级的合成数据在音乐转录与音源分离任务中的性能提升程度如何？
• RQ3 音符合奏生成器能否为现有数据集中代表性不足的低资源乐器（如双簧管、巴松管）生成高质量音频？
• RQ4 细粒度标注（如音符级表达特征与合成参数）对MIR任务中模型性能的影响如何？
• RQ5 通过生成建模实现的数据集扩增，能否作为未来MIR研究的可扩展、开源基础？

主要发现

• 通过音符合奏生成器生成的CocoChorales数据集，使最先进的音乐转录模型在URMP数据集上取得了迄今最佳的公开结果。
• 在CocoChorales上训练的转录模型相较仅在真实数据上训练的基线模型，F0准确率提升了1.24 dB。
• 在木管乐器合奏测试集中，基于CocoChorales训练的音源分离模型取得了平均SI-SDR得分：长笛18.71 dB，双簧管17.28 dB，单簧管21.01 dB，巴松管20.68 dB。
• CEG生成的数据使双簧管数据量达到360小时，远超原始URMP数据集中不足12分钟的可用数据，从而有效避免了过拟合。
• CocoChorales带来的性能提升仅限于URMP数据集，未在其他基准数据集上造成性能下降，表明不存在负迁移现象。
• 结果表明，具备丰富、结构化标注的合成数据可有效扩充真实世界数据集，并在低资源MIR任务中实现新能力。