[论文解读] PHASEN: A Phase-and-Harmonics-Aware Speech Enhancement Network

Dacheng Yin, Chong Luo+2 more|arXiv (Cornell University)|Nov 12, 2019

Speech and Audio Processing参考文献 22被引用 26

一句话总结

PHASEN 提出了一种双流深度神经网络，包含双向特征交互和可学习的频率变换模块，用于在时频域中联合预测单通道语音增强的幅度掩码和相位掩码。通过显式建模谐波相关性并实现跨流引导，PHASEN 在 AVSpeech + AudioSet 数据集上相比之前方法实现了 1.76 dB 的 SDR 提升，并在 Voice Bank + DEMAND 数据集上四项指标均优于当前最先进模型。

ABSTRACT

Time-frequency (T-F) domain masking is a mainstream approach for single-channel speech enhancement. Recently, focuses have been put to phase prediction in addition to amplitude prediction. In this paper, we propose a phase-and-harmonics-aware deep neural network (DNN), named PHASEN, for this task. Unlike previous methods that directly use a complex ideal ratio mask to supervise the DNN learning, we design a two-stream network, where amplitude stream and phase stream are dedicated to amplitude and phase prediction. We discover that the two streams should communicate with each other, and this is crucial to phase prediction. In addition, we propose frequency transformation blocks to catch long-range correlations along the frequency axis. The visualization shows that the learned transformation matrix spontaneously captures the harmonic correlation, which has been proven to be helpful for T-F spectrogram reconstruction. With these two innovations, PHASEN acquires the ability to handle detailed phase patterns and to utilize harmonic patterns, getting 1.76dB SDR improvement on AVSpeech + AudioSet dataset. It also achieves significant gains over Google's network on this dataset. On Voice Bank + DEMAND dataset, PHASEN outperforms previous methods by a large margin on four metrics.

研究动机与目标

• 为解决现有时频域语音增强方法中相位预测性能不佳的问题，尤其是在使用复数理想比掩码（cIRM）监督时。
• 通过设计一种包含幅度与相位流之间双向信息交换的双流架构，提升相位恢复性能。
• 捕捉语音谱图中的长程谐波相关性，这些特性常被感受野有限的标准卷积网络所忽略。
• 开发一种可学习的频率变换机制，能够从数据中自动学习谐波模式。
• 在大规模与小规模数据集上，相比当前最先进的时间域与时频域方法，展示出更优的性能表现。

提出的方法

• PHASEN 采用类似 U-Net 的双流 U-Net 架构：一条流用于预测幅度掩码，另一条流用于预测复数相位分量。
• 两条流之间实现双向通信，其中幅度预测结果用于引导相位估计，显著提升了相位预测的准确性。
• 在幅度流中插入频率变换模块（FTBs），以建模全局频率相关性，特别是谐波结构。
• FTBs 使用可学习的变换矩阵，其权重可视化后可自发捕捉跨频率bin的谐波模式。
• 幅度流中使用批量归一化，而相位流中采用门控层归一化以稳定训练并提升性能。
• 网络采用端到端训练，以 cIRM 作为监督目标，损失函数针对 SDR 和 PESQ 进行优化。

实验结果

研究问题

• RQ1 幅度与相位流之间的双向特征交互是否能显著提升语音增强中的相位预测性能？
• RQ2 可学习的频率变换模块是否能有效建模语音谱图中的长程谐波相关性？
• RQ3 所提出的双流架构结合专用归一化与通信机制，是否优于现有的时频域与时间域语音增强模型？
• RQ4 PHASEN 在多样化的噪声环境与说话人差异下，其泛化能力如何？
• RQ5 该模型在大规模与小规模基准数据集上的性能与当前最先进方法相比如何？

主要发现

• 在 AVSpeech + AudioSet 数据集上，PHASEN 相比基线模型实现了 1.76 dB 的 SDR 提升，尽管训练步数仅为基线的 1/5，数据量仅为 1/24，仍显著优于谷歌的基于 cIRM 的方法。
• 在 Voice Bank + DEMAND 数据集上，PHASEN 在四项指标上均取得最高分——PESQ（2.99）、CSIG（4.21）、CBAK（3.55）与 COVL（3.62），甚至超越了混合模型 MDPhD。
• 消融实验证实，流间双向通信至关重要：若移除该机制，SDR 下降 0.5–1.0 dB，表明幅度引导对精确相位预测至关重要。
• 频率变换模块（FTBs）可自发学习谐波模式；其权重可视化显示在谐波频率之间存在强相关性，验证了设计初衷。
• 在相位流中使用 ReLU 或 Tanh 激活函数会使 SDR 性能下降最高达 5.52 dB，证实相位流原始的无激活设计对相位学习至关重要。
• 该模型在不同数据集上表现稳健：其性能优于时间域模型如 SEGAN、WaveNet 和 DFL，也超越了时频域方法如 MMSE-GAN 和 MDPhD，证明了联合建模相位与谐波成分的有效性。