[论文解读] Towards robust audio spoofing detection: a detailed comparison of traditional and learned features

Balamurali BT, Kin Wah Edward Lin+3 more|arXiv (Cornell University)|May 28, 2019

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出了一种基于混合方法的鲁棒音频欺骗检测系统，结合了传统音频特征（例如，MFCCs、CQCCs、频谱图）与自动编码器学习的特征。通过融合两类特征并利用自动编码器进行训练数据增强，该系统在ASVspoof 2017数据集上实现了10.8的等错误率（EER），优于仅使用已知特征或仅使用学习特征的模型，证明了特征多样性在泛化至未知重放欺骗攻击方面的关键作用。

ABSTRACT

Automatic speaker verification, like every other biometric system, is vulnerable to spoofing attacks. Using only a few minutes of recorded voice of a genuine client of a speaker verification system, attackers can develop a variety of spoofing attacks that might trick such systems. Detecting these attacks using the audio cues present in the recordings is an important challenge. Most existing spoofing detection systems depend on knowing the used spoofing technique. With this research, we aim at overcoming this limitation, by examining robust audio features, both traditional and those learned through an autoencoder, that are generalizable over different types of replay spoofing. Furthermore, we provide a detailed account of all the steps necessary in setting up state-of-the-art audio feature detection, pre-, and postprocessing, such that the (non-audio expert) machine learning researcher can implement such systems. Finally, we evaluate the performance of our robust replay speaker detection system with a wide variety and different combinations of both extracted and machine learned audio features on the `out in the wild' ASVspoof 2017 dataset. This dataset contains a variety of new spoofing configurations. Since our focus is on examining which features will ensure robustness, we base our system on a traditional Gaussian Mixture Model-Universal Background Model. We then systematically investigate the relative contribution of each feature set. The fused models, based on both the known audio features and the machine learned features respectively, have a comparable performance with an Equal Error Rate (EER) of 12. The final best performing model, which obtains an EER of 10.8, is a hybrid model that contains both known and machine learned features, thus revealing the importance of incorporating both types of features when developing a robust spoofing prediction model.

研究动机与目标

• 开发一种鲁棒的音频欺骗检测系统，能够在不了解攻击方法的前提下泛化至未知的重放欺骗技术。
• 在统一的检测框架中评估一系列传统音频特征（例如，MFCCs、CQCCs、频谱图）与自动编码器学习特征的性能。
• 提供一个详细的、可复现的预处理、特征提取与后处理流程，以支持非机器学习领域的研究人员。
• 研究利用自动编码器重建结果进行数据增强在提升欺骗检测鲁棒性方面的有效性。
• 确定结合已知特征与学习特征是否相比单独使用任一类型特征能获得更优性能。

提出的方法

• 系统采用GMM-UBM分类器作为核心检测模型，基于ASVspoof 2017 '在野外'数据集中的音频记录进行训练。
• 传统音频特征包括MFCCs、CQCCs、LPCCs、RFCCs、LFCCs、IMFCCs、SCMCs、SCFCs、CCCs以及频谱图，所有特征均经过标准化预处理后提取。
• 在训练集上端到端训练一个自动编码器，以学习音频特征的紧凑、低维表示，这些表示随后被用作额外的学习特征。
• 自动编码器还用于通过重建和增强原始数据生成合成训练样本，从而提升数据集的多样性。
• 训练了多个模型：一个仅使用传统特征的模型，一个仅使用学习特征的模型，以及一个结合两者的混合模型。
• 通过逻辑回归融合多个模型的输出以提升检测性能，并应用校准以优化EER。

实验结果

研究问题

• RQ1 传统音频特征（例如，MFCCs、CQCCs）在重放欺骗检测中的性能与自动编码器学习特征相比如何？
• RQ2 在泛化至未见过的重放欺骗配置时，基于自动编码器的特征学习是否能提升检测鲁棒性？
• RQ3 通过自动编码器重建实现的数据增强对欺骗检测性能有何影响？
• RQ4 结合传统特征与学习特征的混合模型是否优于仅使用单一类型特征的模型？
• RQ5 在ASVspoof 2017数据集上，为最大化检测准确率，组合多个特征集的最佳融合策略是什么？

主要发现

• 仅使用传统音频特征（例如，MFCCs、CQCCs、频谱图）的系统实现了12.2的EER，表明其具备强大的基线性能。
• 仅使用自动编码器学习特征的系统实现了12.6的EER，表明仅靠学习表征的性能也具有竞争力，但略逊于传统特征。
• 结合传统特征与学习特征的混合模型实现了最佳性能，EER为10.8，优于所有单一模型。
• 通过逻辑回归融合基于不同特征集训练的模型输出显著提升了性能，证实了多样化特征空间的价值。
• 最终采用自动编码器重建进行数据增强的混合系统相比基线GMM-UBM系统实现了20%的相对EER降低，接近当前最先进水平。
• 结果证实，将已知特征与学习特征相结合，对于构建在真实世界多样化数据集上具有鲁棒性与泛化能力的欺骗检测系统至关重要。