[论文解读] The DKU Replay Detection System for the ASVspoof 2019 Challenge: On Data Augmentation, Feature Representation, Classification, and Fusion

Weicheng Cai, Haiwei Wu+2 more|arXiv (Cornell University)|Jul 5, 2019

Speech Recognition and Synthesis参考文献 30被引用 7

一句话总结

本论文介绍了DKU在ASVspoof 2019挑战赛中提出的重放检测系统，该系统基于一种逐话语（utterance-level）深度学习框架，结合了通过速度扰动实现的数据增强、基于相位的组延迟图特征（group delay gram features），以及残差神经网络（ResNet）分类。该系统在开发集上实现了0.24%的EER，在测试集上实现了0.66%的EER，采用模型融合策略，展示了在物理访问场景下重放欺骗对抗措施方面的最先进性能。

ABSTRACT

This paper describes our DKU replay detection system for the ASVspoof 2019 challenge. The goal is to develop spoofing countermeasure for automatic speaker recognition in physical access scenario. We leverage the countermeasure system pipeline from four aspects, including the data augmentation, feature representation, classification, and fusion. First, we introduce an utterance-level deep learning framework for anti-spoofing. It receives the variable-length feature sequence and outputs the utterance-level scores directly. Based on the framework, we try out various kinds of input feature representations extracted from either the magnitude spectrum or phase spectrum. Besides, we also perform the data augmentation strategy by applying the speed perturbation on the raw waveform. Our best single system employs a residual neural network trained by the speed-perturbed group delay gram. It achieves EER of 1.04% on the development set, as well as EER of 1.08% on the evaluation set. Finally, using the simple average score from several single systems can further improve the performance. EER of 0.24% on the development set and 0.66% on the evaluation set is obtained for our primary system.

研究动机与目标

• 开发一种针对物理访问场景中重放攻击的鲁棒反欺骗系统，采用深度学习技术。
• 研究数据增强、特征表示和分类器设计对欺骗检测性能的影响。
• 通过融合使用不同特征和增强策略训练的多个系统，提升泛化能力和鲁棒性。
• 通过端到端深度学习与可变长度输入处理，超越CQCC-GMM基线模型。
• 验证基于相位的特征（如组延迟图）在重放检测中相对于基于幅度的特征的优越性。

提出的方法

• 采用逐话语深度神经网络（DNN）框架，直接处理可变长度的特征序列，推理过程中避免截断或填充。
• 系统采用残差神经网络（ResNet）作为分类器，在ASVspoof 2019训练集上从零开始端到端训练。
• 评估了多种前端特征表示：CQCC、LFCC、IMFCC、STFT图谱和组延迟图谱（GD图谱），其中GD图谱源自相位谱。
• 通过在原始波形上应用速度扰动实现数据增强，以提升训练数据的多样性并改善泛化能力。
• 通过平均多个单一系统得分的方式实现模型融合，提升鲁棒性与性能。
• 训练过程采用动态小批量，处理可变长度序列，最终得分由真实语音输出单元得出。

实验结果

研究问题

• RQ1 与基于帧的平均方法相比，采用可变长度输入处理的逐话语深度学习在重放检测中的表现如何？
• RQ2 基于幅度的特征（如STFT图谱）与基于相位的特征（如GD图谱）中，哪类特征在重放欺骗检测中表现更优？
• RQ3 作为数据增强策略，速度扰动在多大程度上能提升泛化能力并降低EER？
• RQ4 通过融合使用不同特征和增强策略训练的系统，能否进一步降低EER并提升鲁棒性？
• RQ5 所提出的系统在ASVspoof 2019挑战赛的开发集与测试集之间泛化能力如何？

主要发现

• 源自相位谱的GD图谱特征表示在所有评估特征中表现最佳，当与ResNet结合时，在开发集上实现1.81%的EER。
• 速度扰动数据增强使GD图谱-ResNet系统的EER降低48%，从1.81%降至1.03%（开发集）。
• 表现最佳的单一系统采用经速度扰动处理的GD图谱特征与ResNet，其在测试集上的EER为1.08%。
• 通过简单平均得分的方式融合多个系统，使开发集EER降低至0.24%，测试集EER降低至0.66%，展现出强大的泛化能力。
• 开发集与测试集之间的性能差距极小，表明所提系统的高度鲁棒性与可靠性。
• 采用端到端训练的逐话语DNN框架在性能上优于传统的GMM分类器（使用CQCC特征），后者在相同开发集上实现9.87%的EER。