[论文解读] Self-Attention and Hybrid Features for Replay and Deep-Fake Audio Detection

Lian Huang, Chi‐Man Pun|arXiv (Cornell University)|Jan 11, 2024

Speech Recognition and Synthesis被引用 4

一句话总结

该论文提出了一种混合深度学习框架，结合梅尔频谱图（Mel-spectrogram）与深度神经网络特征，并引入自注意力机制，以提升对重放和深度伪造音频欺骗攻击的检测性能。通过最大池化操作融合多层次特征，并利用自注意力机制突出关键组件，该模型在ASVspoof 2021数据集上的物理访问场景和深度伪造场景中分别实现了9.67%和8.94%的等错误率（EER），相较于最佳基线模型分别提升了74.60%和60.05%。

ABSTRACT

Due to the successful application of deep learning, audio spoofing detection has made significant progress. Spoofed audio with speech synthesis or voice conversion can be well detected by many countermeasures. However, an automatic speaker verification system is still vulnerable to spoofing attacks such as replay or Deep-Fake audio. Deep-Fake audio means that the spoofed utterances are generated using text-to-speech (TTS) and voice conversion (VC) algorithms. Here, we propose a novel framework based on hybrid features with the self-attention mechanism. It is expected that hybrid features can be used to get more discrimination capacity. Firstly, instead of only one type of conventional feature, deep learning features and Mel-spectrogram features will be extracted by two parallel paths: convolution neural networks and a short-time Fourier transform (STFT) followed by Mel-frequency. Secondly, features will be concatenated by a max-pooling layer. Thirdly, there is a Self-attention mechanism for focusing on essential elements. Finally, ResNet and a linear layer are built to get the results. Experimental results reveal that the hybrid features, compared with conventional features, can cover more details of an utterance. We achieve the best Equal Error Rate (EER) of 9.67\% in the physical access (PA) scenario and 8.94\% in the Deep fake task on the ASVspoof 2021 dataset. Compared with the best baseline system, the proposed approach improves by 74.60\% and 60.05\%, respectively.

研究动机与目标

• 解决自动说话人验证系统在重放和深度伪造音频欺骗攻击下的脆弱性问题。
• 通过利用多种音频特征类型之间的互补信息，提升检测性能。
• 通过自注意力机制增强特征表示，聚焦于具有判别性的音频片段。
• 在ASVspoof 2021数据集上，实现重放与深度伪造检测任务的最先进性能。
• 证明混合特征融合相较于传统单特征方法的有效性。

提出的方法

• 两条并行分支分别通过短时傅里叶变换（STFT）提取梅尔频谱图特征，通过卷积神经网络（CNN）提取深度学习特征。
• 通过最大池化层将两路特征进行拼接，以保留显著信息。
• 应用自注意力机制，动态强调融合特征中关键的时间与频谱成分。
• 将优化后的特征输入残差神经网络（ResNet）进行分层表征学习。
• 通过最终的全连接层输出欺骗检测决策，采用二元交叉熵损失函数。
• 在ASVspoof 2021数据集上采用标准优化协议进行端到端训练。

实验结果

研究问题

• RQ1 结合梅尔频谱图与深度神经网络嵌入的混合特征是否能够超越单特征基线，在欺骗检测性能上实现提升？
• RQ2 自注意力机制在多大程度上增强了模型聚焦于欺骗语音中判别性音频模式的能力？
• RQ3 在重放与深度伪造音频检测任务中，所提出的框架在等错误率（EER）方面与最先进系统相比表现如何？
• RQ4 多层次特征的融合是否能提升模型在多样化欺骗场景下的泛化能力？
• RQ5 该模型能否同时在物理访问攻击与合成深度伪造攻击中实现稳健的性能表现？

主要发现

• 所提方法在ASVspoof 2021数据集的物理访问（PA）场景中实现了9.67%的等错误率（EER）。
• 在深度伪造检测任务中，模型达到8.94%的EER，显著优于最佳基线系统。
• 相较于最佳基线，EER相对降低幅度分别为74.60%（PA场景）与60.05%（深度伪造任务）。
• 混合特征通过捕获频谱表示与学习表征之间的互补信息，展现出更强的判别能力。
• 自注意力机制有效凸显了欺骗音频中的关键片段，提升了模型的鲁棒性与可解释性。
• 通过最大池化融合梅尔频谱图与深度学习特征，增强了特征表示，且未显著增加模型复杂度。