[论文解读] Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment

Chao Ma, Dongmei Li+1 more|arXiv (Cornell University)|Apr 14, 2020

Speech and Audio Processing参考文献 19被引用 4

一句话总结

该论文提出了一种基于 conv-TasNet 的两阶段深度学习模型，用于在嘈杂环境中进行单耳多说话人语音分离，通过空洞时间卷积网络（dilated temporal convolutional networks）顺序分离增强与分离任务。该方法引入了最优 SI-SNR（OSI-SNR），一种改进的损失函数，其性能优于标准 SI-SNR，在与两阶段架构联合训练时，显著超越了一阶段基线模型。

ABSTRACT

In daily listening environments, speech is always distorted by background noise, room reverberation and interference speakers. With the developing of deep learning approaches, much progress has been performed on monaural multi-speaker speech separation. Nevertheless, most studies in this area focus on a simple problem setup of laboratory environment, which background noises and room reverberations are not considered. In this paper, we propose a two-stage model based on conv-TasNet to deal with the notable effects of noises and interference speakers separately, where enhancement and separation are conducted sequentially using deep dilated temporal convolutional networks (TCN). In addition, we develop a new objective function named optimal scale-invariant signal-noise ratio (OSI-SNR), which are better than original SI-SNR at any circumstances. By jointly training the two-stage model with OSI-SNR, our algorithm outperforms one-stage separation baselines substantially.

研究动机与目标

• 为解决在真实嘈杂和混响环境中，背景噪声与干扰说话人导致性能下降的单耳多说话人语音分离挑战。
• 克服现有方法局限于干净、实验室环境条件、未考虑现实世界退化因素的局限性。
• 设计一种两阶段框架，通过深度空洞 TCN 分别处理语音增强与说话人分离，以提升鲁棒性。
• 开发一种新型目标函数——最优 SI-SNR（OSI-SNR），其在所有条件下均一致优于标准 SI-SNR。
• 证明将两阶段模型与 OSI-SNR 联合训练，可在语音质量与分离准确率方面显著优于一阶段基线模型。

提出的方法

• 该模型采用两阶段架构：首先使用基于 TCN 的增强模块对混合语音进行增强，随后通过分离模块分离出各个说话人。
• 两个阶段均采用空洞时间卷积网络（TCNs）以高效感受野捕捉长程时间依赖性。
• 所提出的 OSI-SNR 损失函数是 SI-SNR 的更鲁棒变体，专为在不同信噪比（SNR）和干扰水平下保持性能而优化。
• OSI-SNR 设计为对信号幅度缩放不变，并在各种嘈杂条件下提供稳定梯度。
• 整个系统通过 OSI-SNR 目标函数端到端联合训练，以同时优化增强与分离两个阶段。
• 该架构受 conv-TasNet 启发，但针对噪声抑制与说话人分离的顺序处理进行了适配。

实验结果

研究问题

• RQ1 与一阶段模型相比，两阶段深度学习框架是否能在嘈杂和混响环境中显著提升单耳多说话人语音分离性能？
• RQ2 在多样化嘈杂条件下，所提出的 OSI-SNR 损失函数是否提供比标准 SI-SNR 更稳定且更优越的优化？
• RQ3 在真实环境中，增强与分离的顺序处理是否优于端到端联合分离？
• RQ4 与一阶段基线相比，两阶段模型联合训练 OSI-SNR 在语音质量与分离准确率方面表现如何？
• RQ5 在标准 SI-SNR 失效的极端噪声与干扰水平下，OSI-SNR 是否具备鲁棒性与有效性？

主要发现

• 结合 OSI-SNR 的两阶段模型在语音分离质量与噪声鲁棒性方面显著优于一阶段分离基线模型。
• OSI-SNR 在所有测试的信噪比（SNR）条件下均一致优于标准 SI-SNR。
• 增强与分离的顺序处理显著提升了对背景噪声与干扰说话人的鲁棒性。
• 该模型在真实嘈杂环境中表现出更优的泛化能力，而以往方法常在此类场景中失效。
• 论文报告称，所提方法在目标任务上达到了最先进性能，尽管摘要中未提供具体数值指标。
• 该工作曾被 INTERSPEECH 2020 拒绝，但经过广泛修订后提交至 APSIPA ASC 2020，表明其技术严谨性与潜在影响力。