[论文解读] Waveform-based Voice Activity Detection Exploiting Fully Convolutional networks with Multi-Branched Encoders

Cheng Yu, Kuo-Hsuan Hung+4 more|arXiv (Cornell University)|Jun 19, 2020

Speech and Audio Processing参考文献 36被引用 6

一句话总结

本文提出 WVAD，一种基于波形的语音活动检测系统，采用全卷积神经网络与多分支编码器架构，直接处理原始音频。通过在集成框架（WEVAD）中利用多个属性特定编码器，该方法在 AURORA2 和 TMHINT 数据集上实现了最先进性能，在各种噪声条件下显著提升了 AUC 和准确率。

ABSTRACT

In this study, we propose an encoder-decoder structured system with fully convolutional networks to implement voice activity detection (VAD) directly on the time-domain waveform. The proposed system processes the input waveform to identify its segments to be either speech or non-speech. This novel waveform-based VAD algorithm, with a short-hand notation "WVAD", has two main particularities. First, as compared to most conventional VAD systems that use spectral features, raw-waveforms employed in WVAD contain more comprehensive information and thus are supposed to facilitate more accurate speech/non-speech predictions. Second, based on the multi-branched architecture, WVAD can be extended by using an ensemble of encoders, referred to as WEVAD, that incorporate multiple attribute information in utterances, and thus can yield better VAD performance for specified acoustic conditions. We evaluated the presented WVAD and WEVAD for the VAD task in two datasets: First, the experiments conducted on AURORA2 reveal that WVAD outperforms many state-of-the-art VAD algorithms. Next, the TMHINT task confirms that through combining multiple attributes in utterances, WEVAD behaves even better than WVAD.

研究动机与目标

• 开发一种新型语音活动检测（VAD）系统，直接在原始波形上运行，而非谱特征。
• 通过在集成编码器框架中利用多种语音属性，提升 VAD 在复杂噪声环境下的鲁棒性与准确性。
• 设计一种紧凑的端到端深度学习框架，在不依赖手工设计谱特征的前提下保持高性能。
• 在不同信噪比（SNR）和噪声类型下，于基准数据集上验证所提方法的有效性。

提出的方法

• 所提系统采用基于全卷积网络（FCNs）的编码器-解码器架构，直接处理原始波形输入。
• 采用多分支编码器结构，其中每个分支通过话语级属性树（UAT）算法处理话语的不同属性（如能量、过零率、频谱质心）。
• 将多个属性特定编码器的输出进行融合，并送入共享解码器，完成最终的语音/非语音分类。
• 使用二元交叉熵损失端到端训练模型，以同时优化准确率与受试者工作特征曲线下面积（AUC）。
• 集成版本 WEVAD 将多个此类编码器分支的预测结果进行融合，以增强鲁棒性与泛化能力。
• 调整卷积核大小与步长等超参数，以匹配 TMHINT 数据集的 16 kHz 采样率。

实验结果

研究问题

• RQ1 基于全卷积网络的 VAD 系统在直接对原始波形进行训练时，是否能实现优于谱特征的性能？
• RQ2 通过多分支编码器架构引入多种语音属性，是否能提升 VAD 在噪声环境中的鲁棒性？
• RQ3 在不同噪声类型与 SNR 水平下，多个属性特定编码器的集成（WEVAD）与单编码器系统（WVAD）在 AUC 与准确率方面表现如何比较？
• RQ4 所提出的波形级方法在标准基准（如 AURORA2 与 TMHINT）上，相较于现有最先进 VAD 算法，优势程度如何？

主要发现

• 在 AURORA2 数据集上，WVAD 在多数噪声类型与 SNR 水平下，准确率（ACC）优于八种对比方法，仅在列车噪声（train noise）于 -5 dB 和 0 dB SNR 时表现稍逊。
• 在 AURORA2 数据集的所有 SNR 水平下，WVAD 的 AUC 分数显著高于其他四种最先进算法，表明其具有更优的判别性能。
• 在 TMHINT 数据集上，WEVAD (6)（采用六个属性特定编码器）实现了最高的平均 AUC（97.78%）与第二高的平均 ACC（95.75%），优于 WVAD 与 WEVAD (2)。
• 解码器模块的输出直方图显示，随着网络深度增加，语音与非语音分布的分离程度逐渐提高，表明判别能力增强。
• WEVAD (6) 在 TMHINT 数据集的所有 SNR 水平下均达到最优 AUC 分数，证实引入更多样化的声学属性具有显著优势。
• 模型最终输出分布显示，真阳性与真阴性样本之间的分离更加清晰，尤其在低 SNR 条件下，表明决策边界更具鲁棒性。