Skip to main content
QUICK REVIEW

[论文解读] Real-Time Adversarial Attacks

Yuan Gong, Boyang Li|arXiv (Cornell University)|May 31, 2019
Adversarial Robustness in Machine Learning参考文献 25被引用 9
一句话总结

本文提出了一种针对流式机器学习模型的实时对抗攻击方法,攻击者仅能观察过去的数据,并实时生成未来数据点的扰动。通过使用非实时对抗生成器的示范数据进行模仿学习,该方法在平均时间误差为0.1135秒的情况下实现了有效的攻击性能,展示了在语音命令系统等动态实时场景中的可行性。

ABSTRACT

In recent years, many efforts have demonstrated that modern machine learning algorithms are vulnerable to adversarial attacks, where small, but carefully crafted, perturbations on the input can make them fail. While these attack methods are very effective, they only focus on scenarios where the target model takes static input, i.e., an attacker can observe the entire original sample and then add a perturbation at any point of the sample. These attack approaches are not applicable to situations where the target model takes streaming input, i.e., an attacker is only able to observe past data points and add perturbations to the remaining (unobserved) data points of the input. In this paper, we propose a real-time adversarial attack scheme for machine learning models with streaming inputs.

研究动机与目标

  • 解决流式输入中对抗攻击的空白,其中攻击者仅能观察过去数据并扰动未来数据点。
  • 开发一种实时对抗扰动生成器,能够基于部分观测持续优化其攻击策略。
  • 克服实时攻击场景中观测与动作空间之间的权衡。
  • 实现在语音识别和金融交易模型等安全敏感型实时系统上的有效攻击。
  • 通过专家示范的模仿学习,证明实时对抗攻击的可行性和有效性。

提出的方法

  • 提出一种实时对抗攻击方案,攻击者观察过去的时间序列数据,并为尚未观测到的未来时间点生成扰动。
  • 采用深度强化学习架构,基于部分观测近似最优扰动。
  • 利用行为克隆和模仿学习,使用非实时、最先进的对抗攻击生成器的示范数据训练实时生成器。
  • 将攻击建模为序列决策问题,根据不断演化的观测实时发出扰动。
  • 引入延迟感知公式,为时间点 $ t+d+1 $ 生成扰动,以考虑处理和发射延迟。
  • 通过可微分近似优化过程,训练生成器以最小化预测误差和与专家示范的时间偏差。

实验结果

研究问题

  • RQ1当攻击者仅能观察过去数据并必须对未来的数据点采取行动时,能否有效构建实时对抗攻击?
  • RQ2如何训练实时扰动生成器,使其在仅有部分观测的情况下,近似非实时专家生成器的性能?
  • RQ3观测延迟和不完整数据对对抗扰动发射的准确性和时间性有何影响?
  • RQ4在预测准确性和发射时间方面,实时生成器与专家相比表现如何?
  • RQ5随着更多数据的可用,实时生成器能否自适应地改进其预测,且该适应过程是否稳定?

主要发现

  • 实时对抗生成器实现了0.1135秒的平均实际发射时间误差,仅略高于0.1091秒的预测误差,表明预测误差是性能差距的主要来源。
  • 随着观测数据的增加,生成器的预测性能显著提升,尤其在语音等信息内容出现后,约在半数语音信号被观测后趋于稳定。
  • 在静音时段,生成器仅做出最小改动,表明其聚焦于信息丰富的信号成分,并据此自适应调整策略。
  • 发射时间误差的分布呈以零为中心的钟形曲线,表明在各次试验中行为一致且可靠。
  • 所提出的对抗扰动在感知上具有合理性,听起来像常见的电子噪声,降低了被怀疑的可能性,增强了隐蔽性。
  • 实时生成器与专家之间的性能差距主要源于专家优化过程的非确定性特性,以及从部分输入到完整输入学习稳定映射的挑战。

更好的研究,从现在开始

从阅读论文到最终审阅,大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成,并经人工编辑审核。