[论文解读] Onssen: an open-source speech separation and enhancement library

Zhaoheng Ni, Michael Mandel|arXiv (Cornell University)|Nov 3, 2019

Speech and Audio Processing参考文献 18被引用 5

一句话总结

Onssen 是一个基于 PyTorch 的开源库，用于基于深度学习的语音分离与增强，使研究人员能够以极少的代码在自定义数据集上训练和基准测试基于时频掩码的模型（例如，Deep Clustering、Chimera、Chimera++）。它实现了最先进的 SDR 分数（例如，在 wsj0-2mix 上达到 11.0），与原始论文结果一致，提供统一的训练工作流，并支持对新模型和数据集的可扩展性。

ABSTRACT

Speech separation is an essential task for multi-talker speech recognition. Recently many deep learning approaches are proposed and have been constantly refreshing the state-of-the-art performances. The lack of algorithm implementations limits researchers to use the same dataset for comparison. Building a generic platform can benefit researchers by easily implementing novel separation algorithms and comparing them with the existing ones on customized datasets. We introduce "onssen": an open-source speech separation and enhancement library. onssen is a library mainly for deep learning separation and enhancement algorithms. It uses LibRosa and NumPy libraries for the feature extraction and PyTorch as the back-end for model training. onssen supports most of the Time-Frequency mask-based separation algorithms (e.g. deep clustering, chimera net, chimera++, and so on) and also supports customized datasets. In this paper, we describe the functionality of modules in onssen and show the algorithms implemented by onssen achieve the same performances as reported in the original papers.

研究动机与目标

• 为解决深度学习语音分离算法缺乏可访问、可重用实现的问题，从而阻碍可复现性和跨方法比较。
• 提供一个统一、模块化的框架，使研究人员能够轻松在不同数据集上实现、训练和评估新型分离模型，而无需重写核心训练流水线。
• 同时支持基于掩码和端到端的语音分离方法，包括 Deep Clustering、Chimera 和 Chimera++，并集成排列不变训练（PIT）。
• 通过确保不同模型和数据集之间采用相同的训练和评估协议，实现一致的基准测试。
• 通过提供标准化接口，鼓励社区贡献新模型架构、特征提取器和数据集加载器，以增强可扩展性。

提出的方法

• Onssen 采用模块化架构，包含专用的 Data、Model、Loss 和 Trainer 模块，所有配置均通过 JSON 配置文件完成，从而实现模型定义与训练逻辑的解耦。
• 它利用 Librosa 和 NumPy 进行音频特征提取（例如，对数幅度 STFT），并使用 PyTorch 作为深度学习后端进行模型训练和优化。
• 该库默认实现排列不变训练（PIT），通过计算所有可能说话人排列的损失，并选择损失最小的排列来解决标签排列问题。
• 它支持多种损失函数，包括使用 L1 范数的幅度谱近似（MSA）和截断相位敏感近似（tPSA），这对相位感知的语音重建至关重要。
• Chimera 和 Chimera++ 损失函数结合了深度聚类损失（用于嵌入学习）和掩码推理损失（用于时频掩码预测），聚类损失的默认权重为 α=0.975。
• 训练流水线完全通过 JSON 配置，允许用户在不修改核心代码的情况下插入自定义模型、数据集和损失函数。

实验结果

研究问题

• RQ1 能否构建一个统一的开源库，以简化在不同数据集上训练和基准测试多种深度学习语音分离模型？
• RQ2 Onssen 在标准基准（如 wsj0-2mix）上，能在多大程度上复现 Deep Clustering、Chimera 和 Chimera++ 等已发表模型的最先进性能？
• RQ3 在模块化、可重用的框架中，排列不变训练（PIT）和相位感知损失函数（如 tPSA）的集成效果如何？
• RQ4 该库的模块化设计能否实现对新模型（如 TasNet、conv-TasNet、DPRNN）和数据集的高效扩展，且实现开销极低？
• RQ5 在未来的扩展中，当支持多 GPU 和分布式训练时，该库的训练效率和可扩展性如何？

主要发现

• Onssen 准确复现了关键基线模型的报告 SDR 分数：在 wsj0-2mix 数据集上，Deep Clustering 为 7.6 dB，uPIT-LSTM 为 10.0 dB，Chimera 为 10.5 dB，Chimera++ 为 11.0 dB。
• 该库的性能与原始实现相当，Chimera++ 达到 11.0 dB SDR，与原始论文报告的 10.9 dB 结果完全一致。
• 使用 MSA 损失函数实现的 uPIT-LSTM 模型达到 10.0 dB SDR，与文献中报告的性能完全匹配。
• tPSA 损失函数实现正确，并在相位感知分离中贡献了性能提升，这一点由 Chimera++ 的高 SDR 得到验证。
• 模块化设计实现了新模型和数据集的无缝集成，无需重新实现训练循环或特征提取流水线。
• 该库支持未来可扩展性，包括计划支持端到端模型（如 conv-TasNet、DPRNN）以及在多 GPU 系统上的分布式训练。