[论文解读] Sparse Adversarial Perturbations for Videos

Xingxing Wei, Jun Zhu+1 more|arXiv (Cornell University)|Mar 7, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用 15

一句话总结

本文提出一种基于 $l_{2,1}$-范数的优化方法，用于生成视频动作识别中稀疏的对抗性扰动，利用 CNN+RNN 模型中帧间的时序传播特性。通过仅扰动少数关键帧，该方法在 UCF101 上实现了 59.7% 的欺骗率，由于通过循环网络实现的有效扰动传播，表现出高度的不可察觉性和迁移性。

ABSTRACT

Although adversarial samples of deep neural networks (DNNs) have been intensively studied on static images, their extensions in videos are never explored. Compared with images, attacking a video needs to consider not only spatial cues but also temporal cues. Moreover, to improve the imperceptibility as well as reduce the computation cost, perturbations should be added on as fewer frames as possible, i.e., adversarial perturbations are temporally sparse. This further motivates the propagation of perturbations, which denotes that perturbations added on the current frame can transfer to the next frames via their temporal interactions. Thus, no (or few) extra perturbations are needed for these frames to misclassify them. To this end, we propose an l2,1-norm based optimization algorithm to compute the sparse adversarial perturbations for videos. We choose the action recognition as the targeted task, and networks with a CNN+RNN architecture as threat models to verify our method. Thanks to the propagation, we can compute perturbations on a shortened version video, and then adapt them to the long version video to fool DNNs. Experimental results on the UCF101 dataset demonstrate that even only one frame in a video is perturbed, the fooling rate can still reach 59.7%.

研究动机与目标

• 解决视频数据中对抗性扰动研究的不足，该研究同时涉及空间和时序线索。
• 通过在扰动中施加时序稀疏性，提升不可察觉性并降低计算成本。
• 利用 RNN 实现帧间扰动的时序传播，以最小化被扰动帧的数量。
• 开发一种高效攻击方法，即在缩短的视频片段上计算扰动，并将其适配到完整视频上。
• 评估对抗性扰动在动作识别任务中跨不同模型和未见视频的迁移能力。

提出的方法

• 在优化过程中应用 $l_{2,1}$-范数正则化，以在帧之间强制实现稀疏性，仅选择少数关键帧进行扰动。
• 扰动在 CNN 特征提取器之后注入，并通过 RNN（如 LSTM、GRU）传播，以影响后续帧。
• 该方法利用 RNN 的记忆机制，使扰动能够通过时序交互影响未被修改的帧。
• 采用两阶段攻击策略：首先在缩短的视频片段上使用 $l_2$ 范数计算扰动，然后将其迁移至完整视频。
• 通过公式 (2) 在训练集上生成通用扰动，并在未见测试视频上评估其跨视频迁移能力。
• 使用 CNN+RNN 架构在 UCF101 数据集上评估该框架，以欺骗率为首要指标。

实验结果

研究问题

• RQ1 能否在保持高攻击成功率的同时，使视频中的对抗性扰动具有时序稀疏性？
• RQ2 扰动通过基于 RNN 的视频模型传播时，对未被扰动帧的误分类效果如何？
• RQ3 $l_{2,1}$-范数正则化是否能同时增强视频模型中对抗性扰动的稀疏性和传播性？
• RQ4 对抗性扰动在不同 RNN 架构（如普通 RNN、LSTM、GRU）之间的迁移程度如何？
• RQ5 在缩短视频片段上计算的扰动能否成功适配并欺骗完整视频？

主要发现

• 该方法仅扰动一个帧即在 UCF101 上实现 59.7% 的欺骗率，证明在极端稀疏性下仍具高度有效性。
• 在缩短视频片段（如 N=20）上计算的扰动可成功适配至完整视频，显著降低计算成本。
• 模型间迁移能力极强，使用白盒扰动时，LSTM 和 GRU 模型的欺骗率均超过 95%。
• 仅池化（Pooling-only）基线模型表现较差（欺骗率为 71.0%），证实记忆机制对有效传播至关重要。
• 通用扰动在测试集上实现 95.2% 的欺骗率，表明其在未见视频上具有强大的泛化能力。
• 在主优化过程中，$l_{2,1}$-范数相比 $l_2$-范数能实现更优的传播与稀疏性，但 $l_2$-范数在适配完整视频时更优。