[论文解读] OrchideaSOL: a dataset of extended instrumental techniques for computer-aided orchestration

Carmine-Emanuele Cella, Daniele Ghisi+4 more|arXiv (Cornell University)|Jul 1, 2020

Music and Audio Processing参考文献 9被引用 11

一句话总结

OrchideaSOL 是一个免费的、高保真度的扩展演奏技巧数据集，源自原始的 Studio On Line (SOL) 录音，经重新处理以恢复准确的动态范围，并确保在基于目标的计算机辅助配器法中的一致性。与先前版本相比，本版本通过使用近场麦克风（轨道3）、将采样率重采样至 44.1 kHz，并应用响度加权的均方根归一化，提升了音色真实感，使 Orchidea 等系统能够生成更逼真的管弦乐混音效果。

ABSTRACT

This paper introduces OrchideaSOL, a free dataset of samples of extended instrumental playing techniques, designed to be used as default dataset for the Orchidea framework for target-based computer-aided orchestration. OrchideaSOL is a reduced and modified subset of Studio On Line, or SOL for short, a dataset developed at Ircam between 1996 and 1998. We motivate the reasons behind OrchideaSOL and describe the differences between the original SOL and our dataset. We will also show the work done in improving the dynamic ranges of orchestral families and other aspects of the data.

研究动机与目标

• 解决原始 SOL 数据集中动态范围一致性退化的问题，该问题影响了 Orchidea 等系统在配器法中的输出质量。
• 创建一个免费、可靠且可复现的计算机辅助配器法数据集，以保留管弦乐器真实的动态特性。
• 提升扩展演奏技巧在音乐信息检索、音乐认知和声音合成等研究领域的保真度与可用性。
• 提供一个可自由获取的 SOL 版本，供非商业用途使用，并通过校验和验证与版本控制确保数据完整性。
• 通过校正早期版本中存在的时间对齐与重采样伪影，提升幅度归一化准确性，从而实现更逼真的管弦乐音色混音。

提出的方法

• 从原始 SOL 录音中重建 OrchideaSOL，仅选取近场麦克风（轨道3）的音频，因其提供最干净、混响最少的信号。
• 将所有音频文件从 48 kHz 重采样至 44.1 kHz，保持 24 位深度，以确保与标准音频处理流程的兼容性。
• 将所有文件转换为单声道，以消除立体声失衡并降低数据复杂度，同时保留核心音色与动态信息。
• 使用 pyloudnorm 库应用响度加权的均方根归一化，以校正不同动态标记（pp、mf、ff）之间的幅度不一致。
• 对响度加权的均方根数据拟合二次回归模型，以表征不同 MIDI 音高与动态标记下的动态响应，从而实现对乐器动态的预测建模。
• 使用 4096 点窗长与 2048 点跳步，为每个样本预计算并存储频谱包络、梅尔频率倒谱系数（MFCCs）、频谱峰值以及频谱矩（质心、展宽、偏度、峰度）等特征。

实验结果

研究问题

• RQ1 如何校正原始 SOL 数据集中存在的动态范围不一致问题，以提升计算机辅助配器法输出的真实性？
• RQ2 使用单一、一致的麦克风通道（近场麦克风）在多大程度上提升了管弦乐音色数据集的可靠性与可复现性？
• RQ3 能否创建一个免费、开放且可验证的 SOL 版本，在保持音质的同时扩大研究可及性？
• RQ4 通过在音高与动态标记上使用响度加权的均方根回归，能否高精度建模管弦乐器的动态响应？
• RQ5 预计算的频谱与感知特征（如 MFCCs、频谱矩）对音乐信息检索与生成建模任务的性能有何影响？

主要发现

• OrchideaSOL 包含 12,253 个高质量音频样本，代表原始 SOL 数据集中 35% 的演奏技巧，其中扩展技巧与常规音色均得以完整保留。
• 该数据集通过使用近场麦克风（轨道3）校正了先前版本的幅度归一化问题，实现了各乐器间更准确的动态范围表现。
• 成功为每种乐器拟合了响度加权的均方根回归模型，其中长笛的模型呈现二次拟合关系：$ L_{\textrm{dB},\textrm{flute}} \approx -82.3301 + 0.2732M + 3.0831D + 0.0194MD + 0.0008M^2 + 0.0823D^2 $。
• 所有样本均预计算并提供了频谱特征，包括平均频谱、前 20 个梅尔频率倒谱系数（MFCCs）、1024 个分箱的频谱包络以及前 120 个频谱峰值。
• 该数据集采用免费非商业许可发布，并通过 mirdata 库提供 MD5 校验和，确保数据完整性与可复现性。
• OrchideaSOL 已托管于 Zenodo 并分配了永久 DOI，支持可引用访问，保障了科学科研中的长期可用性。