[论文解读] TFCN: Temporal-Frequential Convolutional Network for Single-Channel Speech Enhancement

Xupeng Jia, Dongmei Li|arXiv (Cornell University)|Jan 3, 2022

Speech and Audio Processing被引用 4

一句话总结

本文提出TFCN，一种用于单通道语音增强的轻量化时频卷积网络，通过使用2D空洞卷积和深度可分离卷积高效建模时频特征。仅使用93,000个参数，TFCN在STOI（0.943）、PESQ（3.00）和综合指标方面达到最先进性能，优于更大的模型如UNet和TCN-LPS，同时在因果和半因果设置下实现了低延迟推理。

ABSTRACT

Deep learning based single-channel speech enhancement tries to train a neural network model for the prediction of clean speech signal. There are a variety of popular network structures for single-channel speech enhancement, such as TCNN, UNet, WaveNet, etc. However, these structures usually contain millions of parameters, which is an obstacle for mobile applications. In this work, we proposed a light weight neural network for speech enhancement named TFCN. It is a temporal-frequential convolutional network constructed of dilated convolutions and depth-separable convolutions. We evaluate the performance of TFCN in terms of Short-Time Objective Intelligibility (STOI), perceptual evaluation of speech quality (PESQ) and a series of composite metrics named Csig, Cbak and Covl. Experimental results show that compared with TCN and several other state-of-the-art algorithms, the proposed structure achieves a comparable performance with only 93,000 parameters. Further improvement can be achieved at the cost of more parameters, by introducing dense connections and depth-separable convolutions with normal ones. Experiments also show that the proposed structure can work well both in causal and non-causal situations.

研究动机与目标

• 为解决在移动设备和实时语音增强应用中部署高参数量深度学习模型的挑战。
• 通过在类似TCN的架构中用2D卷积替代1D卷积，提升时频语音增强中的参数效率。
• 在显著减小模型规模的同时，保持高感知质量与可懂度，优于现有的UNet和基于TCN的方法。
• 评估模型在因果、半因果和非因果推理场景下的性能，以验证其在实时应用中的适用性。

提出的方法

• TFCN用2D卷积替代TCN中的1D空洞卷积，以在对数功率谱（LPS）中联合建模时间与频谱特征。
• 网络采用深度可分离卷积，在保持空洞卷积扩展感受野的同时降低参数量。
• 在重复块之间引入密集连接，以增强特征传播并提升性能。
• 使用Adam优化器配合早停和学习率衰减进行训练，采用2秒语音片段进行小批量训练。
• 系统从含噪输入LPS估计干净语音LPS，并与含噪相位结合以重建增强后的语音信号。
• 在非因果、半因果（分别具有304ms和48ms前瞻）以及因果设置下评估模型架构，以分析延迟权衡。

实验结果

研究问题

• RQ1 2D卷积架构能否在显著减少参数量的前提下，优于基于1D TCN的模型在时频语音增强中的表现？
• RQ2 使用深度可分离卷积和2D卷积如何影响LPS映射中的参数效率与性能？
• RQ3 引入密集连接在不增加模型规模的前提下，能在多大程度上提升性能？
• RQ4 模型在因果和半因果推理条件下的表现如何？其延迟影响如何？

主要发现

• TFCN在STOI（0.943）、PESQ（3.00）、Csig（4.38）、Cbak（3.44）和Covl（3.71）方面优于TCN-LPS，并与更大的模型如UNet和Affinity相当或更优。
• 仅使用93,000个参数，TFCN将模型规模缩减至TCN-LPS（864万个参数）的1.1%，展现出极高的参数效率。
• TFCN-d（使用普通卷积和密集连接）在仅138万个参数下达到最佳性能，STOI为0.948，PESQ为3.06，Csig为4.44。
• 具有304ms前瞻的半因果版本性能仅轻微下降（STOI：0.945，PESQ：3.04），表明其适用于实时应用。
• 因果版本性能出现可测量但微小的下降（STOI：0.940，PESQ：2.91），证实TFCN在低延迟场景中的可行性。