[论文解读] Replay attack detection with complementary high-resolution information using end-to-end DNN for the ASVspoof 2019 Challenge

Jee-weon Jung, Hye-jin Shim+2 more|arXiv (Cornell University)|Apr 23, 2019

Speech and Audio Processing参考文献 28被引用 12

一句话总结

本论文提出一种端到端深度神经网络（DNN），直接处理高分辨率频谱图——包含幅度、相位和功率谱密度（PSD）信息——用于自动说话人验证中的重放攻击检测。通过用互补的高分辨率频谱图替代手工设计的特征，并与原始波形和i-向量进行模型融合，该方法在ASVspoof 2019物理访问挑战测试集上实现了2.45%的等错误率（EER）和0.0570的t-DCF，显著优于基线系统。

ABSTRACT

In this study, we concentrate on replacing the process of extracting hand-crafted acoustic feature with end-to-end DNN using complementary high-resolution spectrograms. As a result of advance in audio devices, typical characteristics of a replayed speech based on conventional knowledge alter or diminish in unknown replay configurations. Thus, it has become increasingly difficult to detect spoofed speech with a conventional knowledge-based approach. To detect unrevealed characteristics that reside in a replayed speech, we directly input spectrograms into an end-to-end DNN without knowledge-based intervention. Explorations dealt in this study that differentiates from existing spectrogram-based systems are twofold: complementary information and high-resolution. Spectrograms with different information are explored, and it is shown that additional information such as the phase information can be complementary. High-resolution spectrograms are employed with the assumption that the difference between a bona-fide and a replayed speech exists in the details. Additionally, to verify whether other features are complementary to spectrograms, we also examine raw waveform and an i-vector based system. Experiments conducted on the ASVspoof 2019 physical access challenge show promising results, where t-DCF and equal error rates are 0.0570 and 2.45 % for the evaluation set, respectively.

研究动机与目标

• 解决由于音频设备保真度提升，导致手工设计的声学特征在检测现代重放攻击时有效性下降的问题。
• 探究基于高分辨率频谱图的端到端深度学习是否能更有效地捕捉重放语音中的细微失真。
• 探索多种频谱图类型（幅度、相位、PSD）以及附加特征（原始波形、i-向量）在提升欺骗检测性能方面的互补性。
• 证明高分辨率表示（2048 FFT分量）及最优窗口/步长参数对检测欺骗语音中细微差异的重要性。
• 开发一种鲁棒的、数据驱动的系统，在最小化对传统先验知识依赖的同时，实现在ASVspoof 2019物理访问挑战中的最先进性能。

提出的方法

• 将高分辨率频谱图（2048 FFT分量）直接输入由卷积层、残差块、门控循环单元（GRUs）和全连接层组成的端到端DNN架构。
• 探索互补的频谱图表示形式：幅度（|X|）、相位（arg(X)）和功率谱密度（PSD），以捕捉多样化的信号特征。
• 采用模型级和评分级集成策略融合多个基于频谱图的模型，其中评分级融合展现出显著的性能提升。
• 将原始波形和i-向量作为额外的输入模态，以补充频谱图特征，利用其独特的表征优势。
• 优化窗长和步长（例如50ms窗长，20ms步长），以最大化对细微重放伪影的检测灵敏度。
• 在ASVspoof 2019物理访问挑战数据集上使用t-DCF和EER作为评估指标，验证系统在多种重放配置下的鲁棒性。

实验结果

研究问题

• RQ1 基于高分辨率频谱图训练的端到端DNN是否能在重放攻击检测中超越传统手工特征系统？
• RQ2 与仅使用幅度特征相比，融合互补的频谱图特征（幅度、相位、PSD）是否能提升检测性能？
• RQ3 频谱图的分辨率（如2048 FFT分量）如何影响对细微重放伪影的检测？
• RQ4 原始波形和i-向量在欺骗检测中与频谱图相比，能提供多大程度的互补信息？
• RQ5 所提出的端到端系统在不同重放配置下（尤其是攻击者与说话人距离及播放设备质量变化）的鲁棒性如何？

主要发现

• 所提出的端到端DNN使用高分辨率频谱图（2048 FFT分量）在ASVspoof 2019测试集上实现了2.45%的等错误率（EER）和0.0570的t-DCF，显著优于基线CQCC-GMM系统（EER: 11.04%，t-DCF: 0.2454）。
• 七个基于频谱图的模型在评分级进行集成后，EER降低至1.05%，表明评分级融合比模型级融合更有效。
• 将原始波形和i-向量特征同时引入主系统后，EER进一步降低至0.96%，证实其与频谱图表征具有显著互补性。
• 高分辨率频谱图（2048分量）配合50ms窗长和20ms步长时，EER为1.76%；而30ms窗长和10ms步长时EER升至3.07%，证明窗长和步长参数对性能有决定性影响。
• 主系统在多种重放配置下表现出优异的鲁棒性，尤其在高质量播放设备下，基线系统的EER超过20%，而本方法维持在3%以下。
• 可视化结果揭示了真实语音与重放语音在频谱图和PSD中存在微小差异（如粉框区域），凸显高分辨率分析在检测细微欺骗伪影中的必要性。