[论文解读] VSVC: Backdoor attack against Keyword Spotting based on Voiceprint Selection and Voice Conversion

Hanbo Cai, Pengcheng Zhang+3 more|arXiv (Cornell University)|Dec 20, 2022

Speech Recognition and Synthesis被引用 5

一句话总结

本文提出 VSVC，一种利用基于语音特征的语音转换生成音色特征触发器的隐蔽后门攻击方法，针对关键词识别系统。通过转换说话人音色而非添加人耳不可察觉的噪声，VSVC 在低于 1% 的中毒率下实现高达 97% 的攻击成功率，对人类听觉完全不可检测，并支持具有不同音色触发器的多目标攻击。

ABSTRACT

Keyword spotting (KWS) based on deep neural networks (DNNs) has achieved massive success in voice control scenarios. However, training of such DNN-based KWS systems often requires significant data and hardware resources. Manufacturers often entrust this process to a third-party platform. This makes the training process uncontrollable, where attackers can implant backdoors in the model by manipulating third-party training data. An effective backdoor attack can force the model to make specified judgments under certain conditions, i.e., triggers. In this paper, we design a backdoor attack scheme based on Voiceprint Selection and Voice Conversion, abbreviated as VSVC. Experimental results demonstrated that VSVC is feasible to achieve an average attack success rate close to 97% in four victim models when poisoning less than 1% of the training data.

研究动机与目标

• 解决语音识别领域中缺乏高效、隐蔽的后门攻击，特别是针对关键词识别（KWS）系统的挑战。
• 克服现有后门触发器的局限性，如不可察觉性约束、采样率依赖性以及人类听觉可检测性。
• 通过语音转换利用多样化的音色特征，实现多目标后门攻击。
• 在保持良性样本上准确率轻微下降的同时，确保高攻击成功率。

提出的方法

• 使用语音转换将良性音频样本的音色转换为独特、与说话人相关的音色特征，作为后门触发器。
• 基于语音特征相似性选择源语音特征，以确保触发器的独特性，并降低多目标攻击中的干扰。
• 通过应用语音转换将音色特征触发器注入目标关键词，对少量训练数据（<1%）进行中毒。
• 在中毒数据集上训练受害 KWS 模型，使模型学习将特定音色特征与目标关键词关联。
• 通过语音转换实现的全局特征变换，规避传统方法中受采样率限制的问题（如超声或低频触发器）。
• 通过基于语音特征选择生成多个独特音色触发器，实现多目标攻击策略。

实验结果

研究问题

• RQ1 语音转换能否用于在关键词识别系统中生成隐蔽、人类不可察觉的后门触发器？
• RQ2 与传统的不可察觉或带噪声的触发器相比，基于音色的触发器在隐蔽性和有效性方面是否更具优势？
• RQ3 所提方法是否能在低中毒率（<1%）下，对多种深度神经网络架构实现高攻击成功率？
• RQ4 该方法能否支持针对不同关键词具有不同触发器的多目标后门攻击？
• RQ5 攻击性能在不同神经网络架构之间如何变化，尤其是在对局部特征与全局特征敏感的模型中？

主要发现

• 当毒化率低于 1% 时，VSVC 在四种受害 KWS 模型上实现了平均 97% 的攻击成功率。
• 该攻击对人类听觉完全不可检测：20 名志愿者中 100% 无法区分良性样本与中毒样本。
• 在 LSTM 模型上，仅使用 50 个中毒样本，该方法实现了 92% 的攻击成功率，较基线提升 72%。
• 良性样本上的平均准确率方差仅为 0.45%，表明对模型性能影响极小。
• 多目标攻击可行且有效：基于语音特征相似性的触发器选择策略优于随机选择，尤其在低毒化率下表现更优。
• 该方法对模型架构差异具有鲁棒性，在 ResNet18、WideResNet-10-10 和 VGG16 上均表现良好，尤其在依赖全局特征的模型上优势显著。