[论文解读] Universal adversarial examples in speech command classification

Jon Vadillo, Roberto Santana|arXiv (Cornell University)|Nov 22, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 23

一句话总结

该论文首次证明了在语音命令分类任务中可以生成通用对抗扰动，并在不同模型间实现了显著的迁移能力。论文提出了一种新颖的通用性层级分类法与严格的失真评估框架，揭示了传统音频扰动度量指标过于宽松，无法检测非语音区域的可察觉失真，从而削弱了攻击评估的真实性。

ABSTRACT

Adversarial examples are inputs intentionally perturbed with the aim of forcing a machine learning model to produce a wrong prediction, while the changes are not easily detectable by a human. Although this topic has been intensively studied in the image domain, classification tasks in the audio domain have received less attention. In this paper we address the existence of universal perturbations for speech command classification. We provide evidence that universal attacks can be generated for speech command classification tasks, which are able to generalize across different models to a significant extent. Additionally, a novel analytical framework is proposed for the evaluation of universal perturbations under different levels of universality, demonstrating that the feasibility of generating effective perturbations decreases as the universality level increases. Finally, we propose a more detailed and rigorous framework to measure the amount of distortion introduced by the perturbations, demonstrating that the methods employed by convention are not realistic in audio-based problems.

研究动机与目标

• 探究在相较于图像任务研究较少的语音命令分类领域中，生成通用对抗扰动的可行性。
• 提出一种新的分析框架，用于在多个通用性层级上评估通用扰动，其定义依据为攻击目标所针对的类别数量。
• 通过将音频信号划分为语音与背景成分，提出一种更真实的评估方法，挑战音频对抗攻击中传统失真度量的合理性。
• 证明现有评估方法高估了对抗扰动的不可察觉性，尤其是在音频的非语音区域。
• 通过识别当前评估方法论中的关键局限，为未来研究更鲁棒、更难察觉的音频通用攻击奠定基础。

提出的方法

• 提出一种N类通用性分类法，根据扰动旨在误导的目标类别数量，系统性地评估通用扰动的覆盖范围。
• 采用基于梯度的优化方法，生成通用扰动，以在数据集中最大化误分类率，同时最小化可察觉的失真。
• 提出一种新颖的失真评估框架，使用如dB_x,max(v)和dB_x,mean(v)等度量，分别评估语音与背景音频成分中的信号失真。
• 将失真度量应用于验证扰动的感知真实性，区分包含语音命令与背景噪声的区域。
• 使用标准语音命令数据集（如Google Speech Commands）及多种深度神经网络架构，测试不同模型间的迁移能力与通用性。
• 利用验证集评估不同通用性层级下的失真水平，结果按音频片段类型进行可视化。

实验结果

研究问题

• RQ1 能否在语音命令分类任务中有效生成通用对抗扰动？
• RQ2 通用性层级（定义为攻击目标所针对的类别数量）如何影响通用攻击的可行性与有效性？
• RQ3 通用对抗扰动在不同语音命令分类模型之间的迁移能力如何？
• RQ4 传统音频对抗攻击中的失真度量是否真实反映了感知不可察觉性？
• RQ5 更细致的、基于组件的失真评估能否揭示音频信号非语音部分中的可检测伪影？

主要发现

• 成功生成了适用于语音命令分类的通用对抗扰动，证明了此类攻击在音频领域具有可行性。
• 随着通用性层级的提高，通用扰动的有效性下降，表明攻击范围与成功率之间存在权衡。
• 尽管在新模型上的有效性降低，扰动在不同深度神经网络架构的语音命令分类模型间仍表现出显著的迁移能力。
• 传统失真度量高估了扰动的不可察觉性，因其无法检测到非语音（背景）音频区域中的显著失真。
• 通过所提出的基于组件的失真评估方法，研究发现对于大部分样本，背景区域的失真超过-32 dB，表明扰动在语音命令区域外具有可检测性。
• 结果强调了需要采用更严格、基于信号分段的评估框架，以确保对音频对抗攻击的真实评估。