[论文解读] Sparse Black-box Video Attack with Reinforcement Learning

Xingxing Wei, Huanqian Yan+1 more|arXiv (Cornell University)|Jan 11, 2020

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出了一种使用强化学习（SVA）的稀疏黑盒视频攻击方法，联合优化关键帧选择与对抗性扰动生成。通过将视频识别模型视为环境，并利用强化学习根据实时反馈自适应选择帧，SVA在C3D和LRCN模型上显著减少了对抗性扰动，同时保持了高欺骗率，并实现了高效的查询使用。

ABSTRACT

Adversarial attacks on video recognition models have been explored recently. However, most existing works treat each video frame equally and ignore their temporal interactions. To overcome this drawback, a few methods try to select some key frames and then perform attacks based on them. Unfortunately, their selection strategy is independent of the attacking step, therefore the resulting performance is limited. Instead, we argue the frame selection phase is closely relevant with the attacking phase. The key frames should be adjusted according to the attacking results. For that, we formulate the black-box video attacks into a Reinforcement Learning (RL) framework. Specifically, the environment in RL is set as the recognition model, and the agent in RL plays the role of frame selecting. By continuously querying the recognition models and receiving the attacking feedback, the agent gradually adjusts its frame selection strategy and adversarial perturbations become smaller and smaller. We conduct a series of experiments with two mainstream video recognition models: C3D and LRCN on the public UCF-101 and HMDB-51 datasets. The results demonstrate that the proposed method can significantly reduce the adversarial perturbations with efficient query times.

研究动机与目标

• 为解决现有稀疏视频攻击方法中帧选择与攻击生成被独立处理的局限性。
• 通过将帧选择与攻击建模为联合优化问题，提升对抗性攻击的效率与扰动稀疏性。
• 在黑盒设置下（模型架构与参数未知），减少视频分类模型中的对抗性扰动。
• 通过与目标模型的持续交互，实现自适应、反馈驱动的关键帧选择。

提出的方法

• 将黑盒视频攻击建模为强化学习（RL）问题，其中智能体选择关键帧并生成扰动。
• 将视频识别模型定义为环境，智能体根据扰动后模型预测概率的变化获得奖励。
• 使用策略梯度方法训练智能体，基于多次查询的累积奖励更新其帧选择策略。
• 在黑盒设置下，采用梯度估计技术（SignSGD、Sign-OPT、NES）近似动作选择的梯度。
• 通过基于攻击反馈的自适应帧选择，实现时间一致性，确保扰动最小但有效。
• 通过限制扰动仅作用于RL探索识别出的最具影响力帧，实现稀疏性优化。

实验结果

研究问题

• RQ1 强化学习能否有效用于在黑盒视频攻击中联合优化关键帧选择与对抗性扰动生成？
• RQ2 与启发式帧选择相比，反馈驱动的帧选择在提升攻击效率和减少扰动幅度方面表现如何？
• RQ3 不同梯度估计方法对所提出的基于强化学习的攻击性能与收敛性有何影响？
• RQ4 所提出方法在保持高欺骗率的同时，能在多大程度上降低查询复杂度？
• RQ5 自适应、交互式的帧选择策略是否能生成比静态选择方法更鲁棒且更稀疏的对抗性样本？

主要发现

• 所提出的SVA方法通过RL反馈自适应选择关键帧，仅对这些帧施加攻击，显著减少了对抗性扰动。
• SVA在保持高欺骗率的同时降低了扰动幅度——相较于使用NES的SVA，分别在SignSGD和Sign-OPT设置下实现了10%和5%更高的欺骗率。
• 该方法平均在约20个周期内收敛，奖励值随时间趋于稳定，表明策略学习有效。
• 每10个周期的平均奖励稳步上升并趋于稳定，表明RL智能体在多个视频样本上均表现出可靠的收敛性。
• 不同梯度估计方法（SignSGD、Sign-OPT、NES）性能相近，表明SVA对梯度估计技术的选择具有鲁棒性。
• 该攻击具有极高的查询效率，查询开销极低，适用于真实世界中查询受限的黑盒场景。