[论文解读] Real-time Denoising and Dereverberation with Tiny Recurrent U-Net

Hyeong-Seok Choi, Sungjin Park+4 more|arXiv (Cornell University)|Feb 5, 2021

Speech and Audio Processing参考文献 31被引用 10

一句话总结

该论文提出了一种轻量级、实时的语音增强模型——微型循环U-Net（TRU-Net），通过相位感知的$\beta$-sigmoid掩码联合实现去噪与混响抑制。该模型仅包含0.38万个参数，量化后模型大小为362 KB，在基准数据集上实现了最先进性能，同时可在边缘设备上实现低延迟、在线推理。

ABSTRACT

Modern deep learning-based models have seen outstanding performance improvement with speech enhancement tasks. The number of parameters of state-of-the-art models, however, is often too large to be deployed on devices for real-world applications. To this end, we propose Tiny Recurrent U-Net (TRU-Net), a lightweight online inference model that matches the performance of current state-of-the-art models. The size of the quantized version of TRU-Net is 362 kilobytes, which is small enough to be deployed on edge devices. In addition, we combine the small-sized model with a new masking method called phase-aware $β$-sigmoid mask, which enables simultaneous denoising and dereverberation. Results of both objective and subjective evaluations have shown that our model can achieve competitive performance with the current state-of-the-art models on benchmark datasets using fewer parameters by orders of magnitude.

研究动机与目标

• 开发一种适用于边缘设备部署的轻量级、实时语音增强模型。
• 在单阶段、端到端框架中实现去噪与混响抑制的同步处理。
• 在不牺牲与最先进模型相比性能的前提下，减小模型大小与计算复杂度。
• 通过因果结构化架构支持零延迟前瞻的在线推理。
• 通过相位感知掩码和多尺度目标函数提升鲁棒性与主观质量。

提出的方法

• TRU-Net采用频带轴U-Net结构，结合一维卷积神经网络（1D-CNNs）与频带轴门控循环单元（FGRU），高效建模频谱依赖关系。
• 时间轴门控循环单元（TGRU）被应用于捕捉跨频带共享参数的时间动态特性。
• 网络采用步长大于1的一维卷积与跳跃连接，实现特征图的下采样与上采样，同时保持分辨率。
• 提出相位感知的$\beta$-sigmoid掩码（PHM），强制混合信号、目标信号与残差信号之间的三角关系，实现去噪与混响抑制的联合优化。
• 使用PCEN（每通道能量归一化）作为输入，以压缩动态范围并提升对音量变化的鲁棒性。
• 通过量化实现模型压缩，最终将模型大小缩减至362 KB，支持在移动设备与嵌入式设备上部署。

实验结果

研究问题

• RQ1 轻量级循环U-Net架构是否能实现极低延迟的实时在线语音增强？
• RQ2 单一模型能否通过统一的掩码策略有效联合完成去噪与混响抑制？
• RQ3 所提出的相位感知$\beta$-sigmoid掩码相较于传统相位复用方法在性能上有哪些提升？
• RQ4 参数量仅为0.38M的小型模型在性能上能否与更大规模的最先进模型相媲美？
• RQ5 PCEN与多尺度目标函数的使用是否能显著提升在复杂环境下的鲁棒性与主观质量？

主要发现

• 在合成无混响数据集上，TRU-Net在参数量显著更少的模型中取得了最佳PESQ得分（2.51）。
• 在合成含混响数据集上，TRU-Net以远少于其他模型的参数量（数量级差异），实现了PESQ 2.51与SI-SDR 3.51的优异表现。
• 在WHAMR数据集上，TRU-Net（FP32）在主观听音测试中获得MOS 3.32，优于基线模型NSnet2（MOS 3.21）。
• 该模型在2.7 GHz CPU上单帧处理仅需1.97 ms，实现零延迟前瞻，适用于实时部署。
• 量化后的TRU-Net（INT8）将模型大小压缩至0.36 MB，同时保持高性能，支持边缘设备部署。
• 相位感知的$\beta$-sigmoid掩码通过强制混合信号、目标信号与残差分量之间的几何关系，有效保持了信号完整性。