[论文解读] The 2018 Signal Separation Evaluation Campaign

Fabian-Robert Stöter, Antoine Liutkus+1 more|arXiv (Cornell University)|Apr 17, 2018

Speech and Audio Processing被引用 48

一句话总结

本论文描述了 SiSEC 2018 的组织与结果，介绍了用于音乐源分离的 MUSDB18，发布开源工具，并提供 Oracle 基线 (IBM, IRM, MWF) 采用 BSS Eval v4 评估。

ABSTRACT

This paper reports the organization and results for the 2018 community-based Signal Separation Evaluation Campaign (SiSEC 2018). This year's edition was focused on audio and pursued the effort towards scaling up and making it easier to prototype audio separation software in an era of machine-learning based systems. For this purpose, we prepared a new music separation database: MUSDB18, featuring close to 10h of audio. Additionally, open-source software was released to automatically load, process and report performance on MUSDB18. Furthermore, a new official Python version for the BSSEval toolbox was released, along with reference implementations for three oracle separation methods: ideal binary mask, ideal ratio mask, and multichannel Wiener filter. We finally report the results obtained by the participants.

研究动机与目标

• 通过社区驱动的活动改进音频源分离评估的标准化。
• 提供可扩展的、数据驱动的工作流和开源工具，以原型化分离系统。
• 发布 MUSDB18，包含大约 10 小时的音乐及分轨，用于训练/测试。
• 发布 BSS Eval v4 及参考 Oracle 方法（IBM、IRM、MWF），用于上限性能评估。
• 促进传统基于模型的方法与现代数据驱动方法之间的公平比较。

提出的方法

• 定义并实现三种 oracle 过滤策略：IBM（二值掩码）、IRM（带 alpha 功率的软掩码）、MWF（多通道维纳滤波）。
• 发布 MUSDB18 数据集，包含约 10 小时的立体声音乐，覆盖 bass、drums、vocals 和 other，分为训练集和测试集。
• 开发并分发 BSS Eval v4，支持时间不变的失真滤波匹配以加速计算。
• 提供 oracle 方法的开源 Python 实现，以实现可重复的基准测试。
• 分析不同源和指标上的 oracle 性能，以建立上限并指导系统开发。

实验结果

研究问题

• RQ1 IBM、IRM 和 MWF 在 MUSDB18 上对单通道和多通道音频分离能提供的上限是多少？
• RQ2 时间不变失真滤波器相较于时变滤波器如何影响 BSS Eval 分数？
• RQ3 数据驱动方法（有无额外数据）在 MUSDB18 上相对于 oracle 基线的性能如何？
• RQ4 关于训练数据量相对于架构在音乐源分离中的重要性，有哪些洞见？
• RQ5 SiSEC 2018 的设置如何实现模型基方法与数据驱动方法之间的公平比较？

主要发现

• IBM 在大多数指标上不及软掩码，除 ISR 外，原因是音乐噪声和置零效应。
• IRM2 与 MWF 在三大 oracle 家族中通常实现最佳整体性能，IRM1 有时在 SAR 上更受青睐。
• BSS Eval v4 的计算比 v3 快约 8 倍，使用时间不变的失真滤波提供稳定性和较低成本，同时给出类似的结论。
• 数据驱动方法在各目标和指标上比基于模型的方法大幅超越。
• 在数据驱动方法中，具有额外训练数据的（如 UHL3、TA*）表现最好，接近或达到 oracle 的水平用于伴奏，而人声仍然更具挑战性。
• 结果强调像 MUSDB18 这样的标准化数据集在公平评估中的重要性，并指出架构差异的影响不如训练数据量大。