[论文解读] Multi-stream Convolutional Neural Network with Frequency Selection for Robust Speaker Verification

Wei Yao, Chen Shen+2 more|arXiv (Cornell University)|Dec 21, 2020

Speech Recognition and Synthesis参考文献 52被引用 4

一句话总结

该论文提出了一种带有频率选择的多流卷积神经网络（CNN），用于实现鲁棒的说话人验证，其中每个流处理频谱的不同子带，以增强时间嵌入的多样性。该方法在VoxCeleb数据集上相较于单流基线模型，将最小决策成本函数（minDCF）相对提升了20.53%，表明部分频率学习能够提升鲁棒性与性能。

ABSTRACT

Speaker verification aims to verify whether an input speech corresponds to the claimed speaker, and conventionally, this kind of system is deployed based on single-stream scenario, wherein the feature extractor operates in full frequency range. In this paper, we hypothesize that machine can learn enough knowledge to do classification task when listening to partial frequency range instead of full frequency range, which is so called frequency selection technique, and further propose a novel framework of multi-stream Convolutional Neural Network (CNN) with this technique for speaker verification tasks. The proposed framework accommodates diverse temporal embeddings generated from multiple streams to enhance the robustness of acoustic modeling. For the diversity of temporal embeddings, we consider feature augmentation with frequency selection, which is to manually segment the full-band of frequency into several sub-bands, and the feature extractor of each stream can select which sub-bands to use as target frequency domain. Different from conventional single-stream solution wherein each utterance would only be processed for one time, in this framework, there are multiple streams processing it in parallel. The input utterance for each stream is pre-processed by a frequency selector within specified frequency range, and post-processed by mean normalization. The normalized temporal embeddings of each stream will flow into a pooling layer to generate fused embeddings. We conduct extensive experiments on VoxCeleb dataset, and the experimental results demonstrate that multi-stream CNN significantly outperforms single-stream baseline with 20.53 % of relative improvement in minimum Decision Cost Function (minDCF).

研究动机与目标

• 探究神经网络是否能在使用部分频率子带而非全带特征的情况下，实现与全带特征相当或更优的性能。
• 通过选择性频率子带的多流处理，引入时间嵌入的多样性，从而增强声学建模的鲁棒性。
• 开发一种实用的两阶段训练策略，在保持高性能的同时降低计算成本。
• 验证频率选择作为数据增强与模型正则化技术在深度说话人嵌入学习中的有效性。

提出的方法

• 该框架采用多个并行的CNN流，每个流通过频率选择器处理不同的频率子带，替代全带输入。
• 每个流在池化前对其归一化的时间嵌入应用均值归一化，以生成融合嵌入。
• 频率选择器手动将全带频谱划分为子带（例如：低频、高频），每个流仅使用其分配的子带进行训练。
• 采用两阶段训练流程：首先独立训练每个流；其次搜索最优融合权重以组合各流。
• 使用PyTorch在VoxCeleb数据集上进行模型训练与评估，采用minDCF和EER等标准指标。
• 该方法通过利用频域多样性，提升在噪声和非约束条件下的鲁棒性。

实验结果

研究问题

• RQ1 当使用部分频率子带而非全频带进行训练时，神经网络是否能够实现具有竞争力的性能？
• RQ2 通过频率选择的子带进行多流处理，是否能提升说话人验证中时间嵌入的多样性与鲁棒性？
• RQ3 与传统的单流全带训练相比，频率选择在minDCF和EER性能方面表现如何？
• RQ4 两阶段训练策略是否能有效组合多个频率流模型，而不会造成显著性能下降？

主要发现

• 所提出的带有频率选择的多流CNN在最小决策成本函数（minDCF）上相较于单流基线实现了20.53%的相对提升。
• 该方法将EER相对基线降低了16.5%，最佳模型在500个训练周期时达到1.781%的EER。
• 三个全带模型的集成（MS-1）相比单流基线出现轻微性能下降，表明简单集成的效果不如具有频率感知的多流学习。
• 使用部分带特征训练的模型（SS-2：低频，SS-3：高频）在泛化能力上优于不同初始化的全带模型，表明子带学习具有优势。
• 该方法在所有训练周期中相对提升均稳定保持在16%以上，表明其性能增益稳定且显著。
• 两阶段训练策略通过最优融合权重有效组合各流，避免了端到端联合训练带来的计算负担。