[论文解读] Universal 3-Dimensional Perturbations for Black-Box Attacks on Video Recognition Systems

Shangyu Xie, Han Wang+2 more|arXiv (Cornell University)|Jul 9, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种用于视频识别系统黑盒对抗攻击的通用三维（U3D）扰动方法，生成可迁移、不可察觉且时序一致的扰动，无需访问目标模型即可普遍欺骗多个深度神经网络（DNN）模型。该方法在大规模视频数据集上实现了高攻击成功率，同时绕过最先进的防御机制，并以极低的计算开销实现实时流媒体攻击。

ABSTRACT

Widely deployed deep neural network (DNN) models have been proven to be vulnerable to adversarial perturbations in many applications (e.g., image, audio and text classifications). To date, there are only a few adversarial perturbations proposed to deviate the DNN models in video recognition systems by simply injecting 2D perturbations into video frames. However, such attacks may overly perturb the videos without learning the spatio-temporal features (across temporal frames), which are commonly extracted by DNN models for video recognition. To our best knowledge, we propose the first black-box attack framework that generates universal 3-dimensional (U3D) perturbations to subvert a variety of video recognition systems. U3D has many advantages, such as (1) as the transfer-based attack, U3D can universally attack multiple DNN models for video recognition without accessing to the target DNN model; (2) the high transferability of U3D makes such universal black-box attack easy-to-launch, which can be further enhanced by integrating queries over the target model when necessary; (3) U3D ensures human-imperceptibility; (4) U3D can bypass the existing state-of-the-art defense schemes; (5) U3D can be efficiently generated with a few pre-learned parameters, and then immediately injected to attack real-time DNN-based video recognition systems. We have conducted extensive experiments to evaluate U3D on multiple DNN models and three large-scale video datasets. The experimental results demonstrate its superiority and practicality.

研究动机与目标

• 解决现有逐帧对抗攻击在视频识别中的局限性，包括时序一致性差、计算成本高以及易被AdvIT等防御机制检测的问题。
• 开发一种基于迁移的黑盒攻击框架，无需访问或查询目标模型即可普遍欺骗多个视频DNN模型。
• 确保对人类不可察觉，并对最先进的防御机制（包括通用对抗训练、检测方案和认证防御）具有鲁棒性。
• 实现实时流媒体视频攻击中扰动的高效、即时生成，延迟极低（每帧约0.015秒）。

提出的方法

• 通过在DNN的特征空间中最大化特征偏差，同时严格限制空间和时间维度上的扰动幅度，生成U3D扰动。
• 通过显式针对视频DNN的逐层特征进行优化，提升在多种模型间的迁移性能。
• 在优化过程中集成边界效应缓解机制，防止扰动与视频帧之间出现错位。
• 采用基于迁移的策略，实现与目标模型无关的通用扰动生成，可选地结合查询增强以进一步提升成功率。
• 扰动在离线阶段使用预训练参数生成，并在运行时实时注入，确保计算开销极低。
• 该框架设计为模型无关，兼容多种视频识别架构和数据集。

实验结果

研究问题

• RQ1 能否在无需访问或查询目标模型的黑盒设置下，生成在多个视频识别模型间有效迁移的通用3D扰动？
• RQ2 所提出的U3D攻击在迁移性、不可察觉性和鲁棒性方面相较于现有逐帧或基于2D的视频攻击有何差异？
• RQ3 U3D扰动能在多大程度上绕过最先进的防御机制，包括通用对抗训练、检测方案和认证防御？
• RQ4 U3D扰动能否高效生成并应用于实时流媒体视频数据，实现极低延迟？
• RQ5 时序一致性与边界效应缓解机制的集成在多大程度上提升了攻击性能和不可察觉性？

主要发现

• U3D攻击在三个大规模视频数据集上的攻击成功率显著高于SOTA方法（如C-DUP、V-BAD和H-Opt）。
• U3D扰动具有高度可迁移性，无需访问或查询目标模型即可成功攻击多个视频DNN模型。
• 该攻击保持了强人类不可察觉性，经用户调查验证，且可规避领先的对抗样本检测器AdvIT。
• U3D扰动成功绕过了多种防御方案，包括通用对抗训练（UAT）、基于检测的防御（如AdvIT）以及PixelDP和随机平滑等认证防御。
• 该方法实现了极低计算开销的实时攻击部署，每帧延迟约0.015秒，适用于流媒体视频应用。
• 即使防御机制针对U3D攻击进行了适应性调整，该攻击仍比以往方法更具有效性，表明其具备强鲁棒性和实际威胁潜力。