[论文解读] Vulnerabilities in Video Quality Assessment Models: The Challenge of Adversarial Attacks

Aoxiang Zhang, Yu Ran+2 more|arXiv (Cornell University)|Sep 24, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文首次对无参考视频质量评估（NR-VQA）模型中的对抗鲁棒性进行了全面研究，提出了一种基于补丁的随机搜索攻击方法，并引入了分数反转边界损失，以在严格 $L_2$ 和 $L_\infty$ 范数约束下保持不可察觉的扰动，从而误导质量评分。该方法在白盒和黑盒攻击中均表现出色，揭示了当前最先进（SOTA）的NR-VQA模型高度脆弱，而运动嵌入显著提升了模型的鲁棒性。

ABSTRACT

No-Reference Video Quality Assessment (NR-VQA) plays an essential role in improving the viewing experience of end-users. Driven by deep learning, recent NR-VQA models based on Convolutional Neural Networks (CNNs) and Transformers have achieved outstanding performance. To build a reliable and practical assessment system, it is of great necessity to evaluate their robustness. However, such issue has received little attention in the academic community. In this paper, we make the first attempt to evaluate the robustness of NR-VQA models against adversarial attacks, and propose a patch-based random search method for black-box attack. Specifically, considering both the attack effect on quality score and the visual quality of adversarial video, the attack problem is formulated as misleading the estimated quality score under the constraint of just-noticeable difference (JND). Built upon such formulation, a novel loss function called Score-Reversed Boundary Loss is designed to push the adversarial video's estimated quality score far away from its ground-truth score towards a specific boundary, and the JND constraint is modeled as a strict $L_2$ and $L_\infty$ norm restriction. By this means, both white-box and black-box attacks can be launched in an effective and imperceptible manner. The source code is available at https://github.com/GZHU-DVL/AttackVQA.

研究动机与目标

• 探究最先进NR-VQA模型在对抗攻击下的鲁棒性，这是视频质量评估中一个关键但研究不足的问题。
• 通过构建更真实、更严格的攻击问题，解决先前研究的局限性，如测试集过小、缺乏JND约束以及黑盒攻击效果不佳。
• 开发一种新颖、高效且不可察觉的攻击方法，在保持视觉质量的同时显著扭曲估计的质量评分。
• 评估架构组件（如运动嵌入）对NR-VQA模型对抗扰动鲁棒性的影响。
• 通过暴露漏洞并识别关键防御机制，为构建更可靠、更鲁棒的NR-VQA系统提供洞见。

提出的方法

• 将NR-VQA的对抗攻击建模为约束优化问题：在扰动低于JND阈值的前提下，使模型估计的质量评分远离真实MOS。
• 提出分数反转边界损失，推动模型预测得分远离真实MOS，向预设边界偏移，从而增强攻击效果。
• 对扰动施加严格的 $L_2$ 和 $L_\infty$ 范数约束（分别为3/255和5/255），以确保不可察觉性，建模了刚好可察觉差异（JND）约束。
• 采用基于补丁的随机搜索策略实现黑盒攻击，无需访问目标模型的梯度信息即可实现有效优化。
• 采用多帧优化策略，引入可调帧比 $T$，其中 $T=1$ 在黑盒设置下实现最强攻击效果，得益于帧级自适应能力。
• 通过对比含与不含运动嵌入的模型，评估运动嵌入的作用，证明其对鲁棒性的积极影响。

实验结果

研究问题

• RQ1 在白盒和黑盒设置下，最先进NR-VQA模型对对抗攻击的脆弱性如何？
• RQ2 能否设计一种有效且不可察觉的对抗攻击，用于NR-VQA模型，同时尊重JND约束并显著扭曲质量评分？
• RQ3 架构组件（如运动嵌入）对NR-VQA模型对抗扰动鲁棒性的影响是什么？
• RQ4 在白盒和黑盒场景下，扰动帧数如何影响攻击成功率与查询效率？
• RQ5 基于补丁的随机搜索方法是否能在无梯度信息的情况下实现强大的黑盒攻击性能？

主要发现

• NR-VQA模型（包括BVQA-2022和VSFA等SOTA模型）对对抗攻击高度脆弱，在全帧扰动的白盒攻击下，KoNViD-1k数据集上的SRCC降至-0.7198。
• 所提出的分数反转边界损失显著提升了攻击性能，通过将预测得分推向远离真实MOS的方向，实现了有效的分数误分类。
• 运动嵌入提升了模型鲁棒性，使BVQA-2022的SRCC提升0.2598，VSFA的SRCC提升0.2068，表明时序建模可增强对空间扰动的抵抗能力。
• 黑盒攻击性能随扰动帧数减少而急剧下降，当仅扰动1/10帧时无法实现有效攻击，凸显了查询效率的挑战。
• 在严格的 $L_2$ 和 $L_\infty$ 范数约束（3/255 和 5/255）下，攻击仍具有效性，证实扰动不可察觉且低于JND阈值。
• 基于补丁的随机搜索方法实现了强大的黑盒攻击性能，表明无需访问目标模型梯度，也可实现高效攻击。