[论文解读] Speaker-Conditional Chain Model for Speech Separation and Extraction

Jing Shi, Jiaming Xu+3 more|arXiv (Cornell University)|Jun 25, 2020

Speech and Audio Processing参考文献 35被引用 4

一句话总结

本文提出了一种说话人条件链模型（SCCM），可联合推断说话人身份并从具有可变说话人数的完全重叠长时音频记录中提取语音源。通过使用序列到序列的说话人推断模块，随后进行说话人条件语音提取，SCCM 在多轮对话中表现出稳定的性能，并在长时重叠录音上的 SI-SNRi 和 WER 指标上优于基线模型。

ABSTRACT

Speech separation has been extensively explored to tackle the cocktail party problem. However, these studies are still far from having enough generalization capabilities for real scenarios. In this work, we raise a common strategy named Speaker-Conditional Chain Model to process complex speech recordings. In the proposed method, our model first infers the identities of variable numbers of speakers from the observation based on a sequence-to-sequence model. Then, it takes the information from the inferred speakers as conditions to extract their speech sources. With the predicted speaker information from whole observation, our model is helpful to solve the problem of conventional speech separation and speaker extraction for multi-round long recordings. The experiments from standard fully-overlapped speech separation benchmarks show comparable results with prior studies, while our proposed model gets better adaptability for multi-round long recordings.

研究动机与目标

• 解决现有语音分离模型假设说话人数固定且在长时多轮录音中表现不佳的局限性。
• 实现在无先验说话人数知识的前提下，对完全重叠的长时音频进行说话人身份联合推断与个体语音源提取。
• 提升在稀疏重叠（如约15%重叠）和各段落中说话人角色动态变化的真实场景下的泛化能力与稳定性。
• 提供统一框架，通过输出清晰的语音源和说话人身份标签，支持语音识别等下游任务。
• 克服传统模型在长录音中难以保持各段落间一致说话人排序的局限性。

提出的方法

• 模型采用序列到序列架构，从整个频谱图输入中推断说话人身份，输出说话人嵌入序列。
• 推断出的说话人身份随后作为条件输入，提供给语音提取模块，以生成个体语音源。
• 该框架通过条件概率的链式规则进行端到端训练：P(语音源 | 混合信号) = P(说话人 | 混合信号) × P(语音源 | 混合信号, 说话人)。
• 说话人推断模块处理完整录音，而语音提取模块则在4秒的随机片段上运行，以避免内存溢出。
• 模型在通过随机时间偏移拼接不同说话人语句生成的合成多轮录音上进行训练，以模拟自然对话动态。
• 通过学习与说话人相关的隐状态表示而非依赖固定说话人嵌入，该架构支持开放词汇说话人任务。

Figure 1: The framework of the proposed Speaker-Conditional Chain Model (SCCM). (a) shows the whole strategy of our proposed SCCM; (b) is the module of speaker inference , which predicts the speaker identities and corresponding embeddings. (c) refers to the time-domain speech extraction module. This

实验结果

研究问题

• RQ1 统一模型能否在说话人数可变的长时完全重叠录音中，联合推断说话人身份并提取语音源？
• RQ2 与基线分离模型相比，所提出的说话人条件链模型在具有多轮对话的长录音上的表现如何？
• RQ3 当说话人角色随时间变化时，模型是否能保持各段落间一致的说话人排序与性能？
• RQ4 模型在低重叠比例（约15%）和自然说话人轮换的真实场景中，泛化能力达到何种程度？
• RQ5 模型生成的说话人身份信息能否有效提升下游任务（如自动语音识别）的性能？

主要发现

• SCCM 在多轮录音上的测试 SI-SNRi 达到 13.7，优于基线 TasNet 模型（11.5），表明在长时设置下具有更高的稳定性和性能。
• 在同一多轮基准测试中，SCCM 在 40% 重叠时平均将词错误率（WER）降低 10.2%，表现出对重叠增加的鲁棒性。
• 模型在非重叠段落（0S）的 WER 为 12.6%，在高重叠段落（40%）的 WER 为 26.8%，表明在不同重叠条件下均保持一致的性能。
• 说话人推断模块成功捕捉了时间维度上的说话人活动模式，注意力可视化显示与录音中的说话人轮换对齐。
• 与传统模型相比，SCCM 在长录音中表现出更强的适应性，后者在各段落间常因说话人排序不一致而表现不稳定。
• 将说话人身份信息作为条件输入，显著提升了下游语音识别性能，尤其在高重叠场景下更为明显。

Figure 2: Visualization of one sample of the learned attention status in speaker inference module for overlapped speech in WSJ0-2mix.