[论文解读] Sequence to Multi-Sequence Learning via Conditional Chain Mapping for Mixture Signals

Jing Shi, Xuankai Chang+6 more|arXiv (Cornell University)|Jun 24, 2020

Fault Detection and Control SystemsEngineering被引用 21

一句话总结

本文提出了一种条件链（CondChain）模型，通过使用概率链式法则建模多个输出序列之间的依赖关系，将标准的序列到序列学习扩展到一对一多序列转换。通过将每个输出序列条件化为输入和先前生成的序列，该模型实现了灵活的可变长度输出生成，并在语音分离和多说话人自动语音识别（ASR）任务中相对于非条件基线模型实现了稳定提升，且计算开销极低。

ABSTRACT

Neural sequence-to-sequence models are well established for applications which can be cast as mapping a single input sequence into a single output sequence. In this work, we focus on one-to-many sequence transduction problems, such as extracting multiple sequential sources from a mixture sequence. We extend the standard sequence-to-sequence model to a conditional multi-sequence model, which explicitly models the relevance between multiple output sequences with the probabilistic chain rule. Based on this extension, our model can conditionally infer output sequences one-by-one by making use of both input and previously-estimated contextual output sequences. This model additionally has a simple and efficient stop criterion for the end of the transduction, making it able to infer the variable number of output sequences. We take speech data as a primary test field to evaluate our methods since the observed speech data is often composed of multiple sources due to the nature of the superposition principle of sound waves. Experiments on several different tasks including speech separation and multi-speaker speech recognition show that our conditional multi-sequence models lead to consistent improvements over the conventional non-conditional models.

研究动机与目标

• 为解决现有单对多序列转换方法在处理混合信号时的局限性，特别是在语音处理任务中的不足。
• 以一种串行和并行映射方法均无法有效捕捉的方式，建模多个输出序列之间的内在关联。
• 通过简单有效的停止准则，实现可变长度输出生成，适用于序列转换任务。
• 通过显式地将每个输出序列条件化为先前输出和输入，提升语音分离和多说话人ASR的性能。
• 提供一个统一且可泛化的框架，适用于语音以外的多种序列到多序列任务。

提出的方法

• 该模型通过使用概率链式法则对多个输出序列的联合分布进行分解，扩展了标准的seq2seq模型及其注意力机制。
• 每个输出序列按顺序生成，条件化于输入序列和所有先前生成的输出序列。
• 通过可学习的停止准则支持可变长度输出生成，以确定序列生成过程的终止时机。
• 该方法通过使用TasNet和CTC对齐监督实现，用于语音分离和ASR任务，联合训练波形信号和对齐信号。
• 通过将多次生成串联起来建模迭代优化，每一步均基于前序输出进行条件化，模拟迭代信号重估计过程。
• 模型采用端到端训练，各步骤共享相同的架构和超参数，实现高效的参数共享与适应。

实验结果

研究问题

• RQ1 统一的序列到多序列模型能否有效建模混合信号任务中多个输出序列之间的依赖关系？
• RQ2 将每个输出序列条件化为先前输出和输入，是否能提升语音分离和多说话人ASR的性能？
• RQ3 该模型能否泛化到输出之间存在正相关性的任务，如迭代语音去噪？
• RQ4 引入语义监督（如CTC对齐）对条件链模型的性能有何影响？
• RQ5 与串行和并行映射范式相比，条件链方法在准确性和灵活性方面是否表现更优？

主要发现

• 当使用CTC对齐作为语义条件时，条件链模型在SI-SNRi上实现了0.3 dB的提升，证明了结构化监督的优势。
• 联合使用波形和CTC对齐条件进行微调，将WER降低至14.4%，显著优于仅使用波形条件时的15.3% WER。
• 在迭代语音去噪任务中，条件链模型的第二步达到18.0 dB的SDR和8.9 dB的SDRi，优于第一步和基线TasNet。
• 该模型在语音分离和多说话人ASR任务中均实现了稳定提升，且模型规模未显著增加。
• 结果表明，SI-SNRi并不总是ASR性能的可靠代理指标，凸显了任务特定评估指标的重要性。
• 模型通过迭代条件化实现输出优化的能力，展现出在建模序列依赖关系方面的强大适应性和泛化能力。