[论文解读] SirenAttack: Generating Adversarial Audio for End-to-End Acoustic Systems

Tianyu Du, Shouling Ji+4 more|arXiv (Cornell University)|Jan 23, 2019

Music and Audio Processing参考文献 45被引用 19

一句话总结

SirenAttack 是一种新颖的对抗性音频生成方法，可针对端到端声学系统生成难以察觉、高度有效且通用的攻击。它在 IEMOCAP 数据集上实现了 99.45% 的成功率，同时对人类和多个自动语音识别（ASR）平台均保持不可检测性，展现出在不同模型间极高的隐蔽性与迁移能力。

ABSTRACT

Despite their immense popularity, deep learning-based acoustic systems are inherently vulnerable to adversarial attacks, wherein maliciously crafted audios trigger target systems to misbehave. In this paper, we present SirenAttack, a new class of attacks to generate adversarial audios. Compared with existing attacks, SirenAttack highlights with a set of significant features: (i) versatile -- it is able to deceive a range of end-to-end acoustic systems under both white-box and black-box settings; (ii) effective -- it is able to generate adversarial audios that can be recognized as specific phrases by target acoustic systems; and (iii) stealthy -- it is able to generate adversarial audios indistinguishable from their benign counterparts to human perception. We empirically evaluate SirenAttack on a set of state-of-the-art deep learning-based acoustic systems (including speech command recognition, speaker recognition and sound event classification), with results showing the versatility, effectiveness, and stealthiness of SirenAttack. For instance, it achieves 99.45% attack success rate on the IEMOCAP dataset against the ResNet18 model, while the generated adversarial audios are also misinterpreted by multiple popular ASR platforms, including Google Cloud Speech, Microsoft Bing Voice, and IBM Speech-to-Text. We further evaluate three potential defense methods to mitigate such attacks, including adversarial training, audio downsampling, and moving average filtering, which leads to promising directions for further research.

研究动机与目标

• 开发一类新型对抗性音频攻击，针对端到端声学模型具有高效性、通用性和隐蔽性。
• 解决基于深度学习的声学系统对恶意构造音频输入的脆弱性问题。
• 生成对人类听者而言与正常音频无法区分的对抗性样本。
• 在多种声学系统上评估攻击的成功率，包括语音命令识别、说话人识别和声音事件分类。
• 探索针对此类攻击的潜在防御机制，包括对抗性训练和信号滤波。

提出的方法

• SirenAttack 采用基于梯度的优化框架，生成对人类听觉难以察觉的对抗性扰动。
• 该方法在白盒和黑盒设置下均适用，支持在不同声学模型间实现迁移性。
• 该方法利用感知掩蔽模型，确保生成的对抗性音频与正常输入在声学特性上保持高度相似。
• 采用目标损失函数，确保模型将音频错误分类为目标短语。
• 攻击在最小化感知失真与最大化目标模型误分类率之间进行优化。
• 在最先进的模型（如 ResNet18）和多个商用 ASR 平台上进行了评估。

实验结果

研究问题

• RQ1 能否生成既对人类难以察觉又可高度有效欺骗端到端声学模型的对抗性音频？
• RQ2 SirenAttack 生成的对抗性样本在不同声学模型和 ASR 平台之间的迁移能力如何？
• RQ3 在对抗性音频生成中，实现高隐蔽性与高成功率的关键因素是什么？
• RQ4 现有的防御机制（如对抗性训练和音频滤波）对 SirenAttack 的效果如何？
• RQ5 SirenAttack 能否在多种声学任务中有效应用，包括语音命令识别和声音事件分类？

主要发现

• 当针对 ResNet18 模型时，SirenAttack 在 IEMOCAP 数据集上实现了 99.45% 的攻击成功率。
• 生成的对抗性音频成功欺骗了多个商用 ASR 平台，包括 Google Cloud Speech、Microsoft Bing Voice 和 IBM Speech-to-Text。
• 对抗性样本对人类听者保持难以察觉，展现出极高的隐蔽性。
• 该攻击表现出强大的迁移能力，即使在黑盒设置下也能成功欺骗模型。
• 对抗性训练提供了部分缓解效果，而音频下采样和移动平均滤波对 SirenAttack 的防御效果有限。
• 结果凸显了端到端声学系统对细微、有针对性音频扰动的脆弱性。