[论文解读] Speech Enhancement based on Denoising Autoencoder with Multi-branched Encoders

Cheng Yu, Ryandhimas E. Zezario+6 more|arXiv (Cornell University)|Jan 6, 2020

Speech and Audio Processing参考文献 88被引用 11

一句话总结

本文提出DAEME，一种使用动态大小决策树（DSDT）构建多分支编码器的去噪自编码器，以提升语音增强（SE）的泛化能力。通过DSDT分割的数据在不同噪声条件下训练组件模型，并利用轻量级解码器融合其输出，DAEME在已见和未见噪声类型上均表现出色，在PESQ、STOI和主观听音测试中优于基线模型。

ABSTRACT

Deep learning-based models have greatly advanced the performance of speech enhancement (SE) systems. However, two problems remain unsolved, which are closely related to model generalizability to noisy conditions: (1) mismatched noisy condition during testing, i.e., the performance is generally sub-optimal when models are tested with unseen noise types that are not involved in the training data; (2) local focus on specific noisy conditions, i.e., models trained using multiple types of noises cannot optimally remove a specific noise type even though the noise type has been involved in the training data. These problems are common in real applications. In this paper, we propose a novel denoising autoencoder with a multi-branched encoder (termed DAEME) model to deal with these two problems. In the DAEME model, two stages are involved: training and testing. In the training stage, we build multiple component models to form a multi-branched encoder based on a decision tree (DSDT). The DSDT is built based on prior knowledge of speech and noisy conditions (the speaker, environment, and signal factors are considered in this paper), where each component of the multi-branched encoder performs a particular mapping from noisy to clean speech along the branch in the DSDT. Finally, a decoder is trained on top of the multi-branched encoder. In the testing stage, noisy speech is first processed by each component model. The multiple outputs from these models are then integrated into the decoder to determine the final enhanced speech. Experimental results show that DAEME is superior to several baseline models in terms of objective evaluation metrics, automatic speech recognition results, and quality in subjective human listening tests.

研究动机与目标

• 解决深度学习语音增强在测试时遇到未见噪声类型时的泛化能力差距问题。
• 克服单一通用模型在处理特定噪声类型时性能下降的问题，即使这些噪声类型已在训练数据中出现。
• 通过基于语音和噪声属性先验知识构建编码器结构，提升模型的可解释性与灵活性。
• 实现在保持高质量增强效果的同时，实现组件模型的高效并行训练与轻量级解码器融合。
• 探索将说话人身份与噪声类型信息整合，以进一步提升性能。

提出的方法

• 该方法基于话语级（说话人、信噪比）和信号级（噪声类型、环境）属性构建动态大小决策树（DSDT），将训练数据划分为不同的聚类。
• 每个DSDT叶节点对应多分支编码器中的一个组件模型，该模型学习其指定数据聚类中从含噪语音到干净语音的特定映射。
• 各组件模型在其对应的数据子集上独立训练，支持并行训练，并能针对特定噪声条件进行专业化适配。
• 共享的解码器采用基于CNN的非线性变换，融合各组件模型的输出，生成最终的增强语音信号。
• 解码器在组件模型输出的组合上进行端到端训练，使其能够学习最优融合权重，而无需显式噪声标签。
• 该架构支持可解释性，因为DSDT结构可揭示哪些语音属性触发了哪些组件模型，并可根据数据可用性实现资源感知的设计。

实验结果

研究问题

• RQ1 与单模型基线相比，多分支编码器架构是否能提升在未见噪声类型上的语音增强性能？
• RQ2 通过DSDT引入语音与噪声属性的先验知识，是否能带来更好的泛化能力与模型可解释性？
• RQ3 在融合组件模型输出时，基于CNN的解码器性能是否优于简单解码器（如全连接、线性变换或波束成形）？
• RQ4 能否有效整合说话人身份与噪声类型信息，以进一步提升模型性能？
• RQ5 系统是否能在通过并行训练与轻量级融合降低计算复杂度的同时，保持高性能？

主要发现

• DAEME在PESQ和STOI得分上显著优于基线模型，尤其在未见噪声类型上表现更优，证实了其泛化能力的提升。
• 主观听音测试显示，DAEME在78%的AB偏好测试中优于BLSTM，且在SIG（语音质量）和BAK（噪声质量）的平均得分更高。
• 基于CNN的解码器性能优于两层全连接网络、线性变换和波束成形（BF）方法，证明了非线性融合的优势。
• 采用基于DSDT的组件模型结构相比随机树或单模型基线表现更优，尤其在结合话语级与信号级属性（USAT树）时效果更显著。
• 系统支持组件模型的并行训练，且整体复杂度降低，因为解码器轻量化，而BLSTM组件占主导计算成本。
• 将说话人身份信息整合到组件模型中可进一步提升增强质量，表明模型在融合额外声学特征方面具有高度灵活性。