[论文解读] The SYSU System for the Interspeech 2015 Automatic Speaker Verification Spoofing and Countermeasures Challenge

Shitao Weng, Shushan Chen+5 more|arXiv (Cornell University)|Jul 24, 2015

Speech Recognition and Synthesis参考文献 16被引用 5

一句话总结

本论文提出了一种多特征、评分级融合的语音合成欺骗检测系统，用于自动说话人验证，结合了来自MFCC、MGDCC和音素后验概率（PPP）特征的i-vector表示，以及OpenSMILE的语音韵律特征。该系统在开发集上达到0.29%的EER，在测试集上达到0.38%的EER，通过多项式核SVM和单类PLDA后端，展现出对已知和未知欺骗攻击的优越鲁棒性。

ABSTRACT

Many existing speaker verification systems are reported to be vulnerable against different spoofing attacks, for example speaker-adapted speech synthesis, voice conversion, play back, etc. In order to detect these spoofed speech signals as a countermeasure, we propose a score level fusion approach with several different i-vector subsystems. We show that the acoustic level Mel-frequency cepstral coefficients (MFCC) features, the phase level modified group delay cepstral coefficients (MGDCC) and the phonetic level phoneme posterior probability (PPP) tandem features are effective for the countermeasure. Furthermore, feature level fusion of these features before i-vector modeling also enhance the performance. A polynomial kernel support vector machine is adopted as the supervised classifier. In order to enhance the generalizability of the countermeasure, we also adopted the cosine similarity and PLDA scoring as one-class classifications methods. By combining the proposed i-vector subsystems with the OpenSMILE baseline which covers the acoustic and prosodic information further improves the final performance. The proposed fusion system achieves 0.29% and 3.26% EER on the development and test set of the database provided by the INTERSPEECH 2015 automatic speaker verification spoofing and countermeasures challenge.

研究动机与目标

• 开发一种针对语音转换和语音合成等欺骗攻击的鲁棒反欺骗对策系统，以应对自动说话人验证中的安全威胁。
• 探究在i-vector层面融合语音、相位和语音学特征对欺骗检测的有效性。
• 评估不同后端分类器（尤其是监督式SVM与单类方法如余弦相似度和PLDA）在已知和未知欺骗条件下的性能表现。
• 通过在评分级融合多个i-vector子系统和OpenSMILE语音韵律特征，提升模型的泛化能力。

提出的方法

• 该系统在四种特征类型上应用i-vector建模：MFCC（语音特征）、MGDCC（相位域特征）、PPP（语音学串联特征）及其特征级组合。
• 在i-vector提取前，对MFCC与PPP、MGDCC与PPP进行特征级融合，以增强判别能力。
• 采用多项式核SVM（LIBPOLY）作为监督分类器，并对所有特征应用最小/最大归一化。
• 评估单类分类方法（包括余弦相似度和简化PLDA）在应对未见欺骗攻击时的鲁棒性。
• 通过加权求和的评分级融合方法，整合多个子系统的输出，融合权重在开发集上进行调优。
• 使用OpenSMILE提取额外的语音和韵律特征，并与i-vector评分融合，以提升整体性能。

实验结果

研究问题

• RQ1 与单特征系统相比，融合语音、相位和语音学i-vector特征是否能提升欺骗检测性能？
• RQ2 多个i-vector子系统与OpenSMILE特征的评分级融合，如何影响系统的鲁棒性和泛化能力？
• RQ3 在检测已知欺骗攻击时，使用多项式核的监督式SVM是否优于余弦相似度和PLDA等单类分类方法？
• RQ4 当在训练中未见过的欺骗攻击上测试时，不同后端分类器的表现如何？

主要发现

• MFCC-PPP i-vector子系统在开发集上取得最佳个体性能，EER为1.06%，显著优于基线MFCC i-vector（EER为6.63%）。
• 所提出的评分级融合系统在开发集上达到0.29% EER，证明了融合多个i-vector子系统和OpenSMILE子系统的有效性。
• 多项式核SVM（LIBPOLY）在开发集上达到最低EER（0.29%），优于线性SVM及其他后端方法。
• 简化PLDA单类分类器在未知欺骗攻击上表现出更优的鲁棒性，在未见训练类型的欺骗攻击测试中（条件3和4）分别达到0.20%和0.20%的EER。
• 融合系统在测试集上对所有已知攻击的EER为0.38%，对未知攻击的EER为6.15%，在S3和S4（未知合成类欺骗）上表现最佳。
• MFCC与PPP的特征级融合优于仅使用MFCC，表明语音学信息可增强欺骗检测能力。