[论文解读] Speech Dereverberation Based on Integrated Deep and Ensemble Learning.

Wei‐Jen Lee, Syu‐Siang Wang+4 more|arXiv (Cornell University)|Jan 12, 2018

Speech and Audio Processing被引用 1

一句话总结

本文提出了一种集成深度学习与集成学习（IDEL）框架，用于语音去混响，该框架将多个针对特定环境的深度神经网络模型与统一的融合函数相结合。离线阶段训练每个声学环境对应的独立模型，并学习最优融合策略；在线阶段将所有模型应用于输入语音段，融合其输出，显著优于在匹配与不匹配条件下单一模型的方法。

ABSTRACT

Reverberation, which is generally caused by sound reflections from walls, ceilings, and floors, can result in severe performance degradations of acoustic applications. Due to a complicated combination of attenuation and time-delay effects, the reverberation property is difficult to characterize, and it remains a challenging task to effectively retrieve the anechoic speech signals from reverberation ones. In the present study, we proposed a novel integrated deep and ensemble learning (IDEL) algorithm for speech dereverberation. The IDEL algorithm consists of offline and online phases. In the offline phase, we train multiple dereverberation models, each aiming to precisely dereverb speech signals in a particular acoustic environment; then a unified fusion function is estimated that aims to integrate the information of multiple dereverberation models. In the online phase, an input utterance is first processed by each of the dereverberation models. The outputs of all models are integrated accordingly to generate the final anechoic signal. We evaluated IDEL on designed acoustic environments, including both matched and mismatched conditions of the training and testing data. Experimental results confirm that the proposed IDEL algorithm outperforms single deep-neural-network-based dereverberation model with the same model architecture and training data.

研究动机与目标

• 解决复杂声学环境中混响导致语音质量下降与语音识别性能降低的挑战。
• 克服混响语音信号中固有的时延与衰减效应建模困难的问题。
• 开发一个在匹配与不匹配训练-测试声学条件之间均具有良好泛化能力的鲁棒框架。
• 通过统一的融合机制整合多个专用模型，超越单一深度神经网络模型的性能。

提出的方法

• 在离线阶段训练多个深度神经网络模型，每个模型均针对特定声学环境进行优化，以精确去混响该环境下的信号。
• 在离线阶段估计一个统一的融合函数，以最优方式组合所有独立去混响模型的输出。
• 在在线阶段独立地将每个训练好的模型应用于同一输入语音段，生成多个去混响输出。
• 使用学习到的融合函数融合所有模型的输出，生成最终的、增强的无混响语音信号。
• 在所有独立模型中采用一致的模型架构，以确保与单一模型基线的公平比较。
• 设计评估协议，包含匹配（相同环境）与不匹配（不同环境）测试条件，以评估鲁棒性。

实验结果

研究问题

• RQ1 与单一模型相比，基于环境特定的深度神经网络模型集成是否能提升语音去混响性能？
• RQ2 统一的融合函数在不同声学环境中组合多样化模型输出方面的有效性如何？
• RQ3 IDEL框架在训练与测试条件不匹配的情况下是否仍保持优越性能？
• RQ4 多模型集成在多大程度上降低了环境可变性对去混响质量的影响？

主要发现

• IDEL算法在匹配与不匹配声学条件下，均优于具有相同架构与训练数据的单一深度神经网络模型。
• 多个环境特定模型的融合显著提升了在多样化混响环境中的鲁棒性与泛化能力。
• 统一的融合函数有效结合了各独立模型的互补优势，从而提升了信号质量。
• 所提方法在语音去混响性能上实现了可测量的提升，尤其在单一模型失效的挑战性不匹配场景中表现突出。