[论文解读] The defender's perspective on automatic speaker verification: An overview

Haibin Wu, Jiawen Kang+3 more|arXiv (Cornell University)|May 22, 2023

Network Security and Intrusion Detection被引用 7

一句话总结

本文全面综述了自动说话人验证（ASV）中针对对抗性攻击和部分伪造语音的防御机制，重点介绍了自监督学习（SSL）模型、过渡边界检测以及基于分数的异常检测。文中突出展示了最先进的方法，如微调后的XLS-R在伪造语音检测中的应用，以及基于重合成的对抗样本识别技术，在ADD 2022等挑战赛中表现卓越。

ABSTRACT

Automatic speaker verification (ASV) plays a critical role in security-sensitive environments. Regrettably, the reliability of ASV has been undermined by the emergence of spoofing attacks, such as replay and synthetic speech, as well as adversarial attacks and the relatively new partially fake speech. While there are several review papers that cover replay and synthetic speech, and adversarial attacks, there is a notable gap in a comprehensive review that addresses defense against adversarial attacks and the recently emerged partially fake speech. Thus, the aim of this paper is to provide a thorough and systematic overview of the defense methods used against these types of attacks.

研究动机与目标

• 为自动说话人验证（ASV）中针对对抗性攻击和部分伪造语音的防御措施缺乏全面综述提供解决方案。
• 系统化并比较现有针对两类新兴威胁（即对抗性攻击和部分伪造语音）的防御策略。
• 识别在数据收集、模型效率以及基于重合成的检测方面存在的关键研究空白与未来方向，以提升系统的鲁棒性。
• 通过总结最先进技术和其在真实世界挑战（如ADD 2022）中的表现，激发进一步研究。

提出的方法

• 利用XLS-R等自监督学习（SSL）模型作为特征提取器，基于部分伪造语音数据进行微调，以提升检测准确率。
• 应用基于提取的问答框架，检测部分伪造音频中真实与伪造语音段之间的过渡边界。
• 采用微调后的SSL模型进行逐段分类，以区分真实与合成语音段。
• 利用原始语音与重合成语音之间分数不一致性作为对抗样本的检测信号。
• 使用一对孪生ASV模型——一个脆弱（先锋型），一个鲁棒（镜像型）——通过预测结果的不一致性检测对抗样本。
• 应用手工设计和可学习的掩码（如MLFB-H、MLFB-D），突出显示掩码前后ASV分数的差异，从而识别对抗性扰动。

Figure 1: The partially fake audio generation process. A small clip is selected from the user’s utterance, the content is recognized using Automatic Speech Recognition (ASR), and the recognized content is modified to manipulate the meaning of the entire speech. The fake clip is then generated using

实验结果

研究问题

• RQ1 如何利用自监督学习有效检测部分伪造语音中真实与伪造段落之间的过渡边界？
• RQ2 与传统声学特征相比，自监督学习模型在提升部分伪造语音检测能力方面发挥何种作用？
• RQ3 如何利用原始语音与重合成语音之间的分数不一致性来检测对抗性ASV样本？
• RQ4 使用孪生ASV模型或特征掩码检测对抗样本的最有效方法是什么？
• RQ5 在提升ASV防御的鲁棒性与效率方面，哪些未来研究方向至关重要？

主要发现

• 通过在轻量级头部上微调20亿参数的XLS-R模型，在ADD 2022挑战赛中获得第一名，证明了基于SSL的特征在部分伪造语音检测中的有效性。
• 采用问答式模型进行过渡边界检测，在识别真实语音中细微的伪造插入方面优于逐段分类方法。
• 基于重合成的检测方法通过利用原始语音与重合成语音之间显著的分数差异，实现了对抗样本检测的最先进性能。
• 采用孪生ASV模型（一个脆弱，一个鲁棒）可通过预测不一致性实现对抗样本的有效检测。
• 手工设计和可学习掩码（如MLFB-H、MLFB-D）能有效放大对抗样本的ASV分数差异，实现高精度检测。
• 模型压缩、线性探测、适配器（adapter）和提示微调（prompt tuning）技术在降低SSL检测系统训练成本和模型规模方面具有巨大潜力。

Figure 2: A tiny adversarial noise is added to the original wave to get the adversarial one to fool the ASV falsely accept.