[论文解读] Spotting adversarial samples for speaker verification by neural vocoders

Haibin Wu, Po‐Chun Hsu+7 more|arXiv (Cornell University)|Jul 1, 2021

Speech Recognition and Synthesis参考文献 44被引用 5

一句话总结

本文提出了一种新颖的检测方法，用于自动说话人验证（ASV）中的时域对抗样本，通过利用神经声码器对音频进行重合成，并测量原始音频与重合成音频之间ASV得分的差异。该方法在所有设置下均优于Griffin-Lim基线方法，且与数据集无关，为对抗样本检测提供了一种稳健且开源的解决方案。

ABSTRACT

Automatic speaker verification (ASV), one of the most important technology for biometric identification, has been widely adopted in security-critical applications. However, ASV is seriously vulnerable to recently emerged adversarial attacks, yet effective countermeasures against them are limited. In this paper, we adopt neural vocoders to spot adversarial samples for ASV. We use the neural vocoder to re-synthesize audio and find that the difference between the ASV scores for the original and re-synthesized audio is a good indicator for discrimination between genuine and adversarial samples. This effort is, to the best of our knowledge, among the first to pursue such a technical direction for detecting time-domain adversarial samples for ASV, and hence there is a lack of established baselines for comparison. Consequently, we implement the Griffin-Lim algorithm as the detection baseline. The proposed approach achieves effective detection performance that outperforms the baselines in all the settings. We also show that the neural vocoder adopted in the detection framework is dataset-independent. Our codes will be made open-source for future works to do fair comparison.

研究动机与目标

• 为应对自动说话人验证（ASV）这一关键生物识别系统中日益增长的对抗攻击威胁。
• 开发一种用于时域对抗样本的检测机制，这是ASV安全领域中尚未充分探索的领域。
• 提出一种基于神经声码器的检测框架，该框架在不同数据集上均有效且具备泛化能力。
• 通过实现Griffin-Lim算法作为参考方法，建立新的比较基线。
• 通过公开发布代码，实现公平评估并推动未来研究。

提出的方法

• 该方法使用神经声码器将原始音频输入重合成新的波形。
• 计算原始音频和重合成音频样本的ASV得分。
• 将两个ASV得分之间的绝对差值用作检测分数，以区分对抗样本与真实样本。
• 该框架在无需在新数据集上微调的情况下进行训练和评估，确保了与数据集无关性。
• 将Griffin-Lim算法作为对比基线实现，其采用无学习的相位重建方法。
• 该方法依赖于这样一个事实：对抗扰动会破坏自然音频结构，导致重合成后得分差异增大。

实验结果

研究问题

• RQ1 基于神经声码器的重合成是否能有效检测说话人验证中的时域对抗样本？
• RQ2 所提出的检测方法与Griffin-Lim基线相比，在检测对抗样本方面表现如何？
• RQ3 神经声码器检测方法在不同数据集上的性能是否稳健？
• RQ4 神经声码器检测框架是否能在无需在新数据上微调的情况下实现泛化？
• RQ5 原始音频与重合成音频之间的得分差异能否作为对抗操纵的可靠指标？

主要发现

• 所提出的基于神经声码器的检测方法在所有实验设置下均优于Griffin-Lim基线方法。
• 检测性能稳健，且在应用于不同数据集时无需重新训练，证实了其与数据集无关性。
• 原始音频与重合成音频之间ASV得分的差异，是区分真实样本与对抗样本的强有力判别器。
• 该方法在识别时域对抗攻击方面表现出有效性，这是ASV中此前研究较少的检测方向。
• 该框架具备泛化能力，可无需修改直接应用于各种不同的音频数据集。
• 作者确认了利用神经声码器作为对抗机器学习中说话人验证检测原语的可行性。