[论文解读] Universal Perturbation Attack on Differentiable No-Reference Image- and Video-Quality Metrics

Ekaterina Shumitskaya, Anastasia Antsiferova+1 more|arXiv (Cornell University)|Nov 1, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文首次提出针对可微分无参考（NR）图像与视频质量度量的通用扰动攻击（UAP），通过训练固定扰动以在不提升视觉质量的前提下人为提高度量分数。该方法通过率失真（RD）曲线评估度量稳定性，结果表明SPAQ、Nima和KonCept512具有鲁棒性，而PaQ-2-PiQ、Linearity、VSFA和MDTVSFA则对分数操纵高度敏感。

ABSTRACT

Universal adversarial perturbation attacks are widely used to analyze image classifiers that employ convolutional neural networks. Nowadays, some attacks can deceive image- and video-quality metrics. So sustainability analysis of these metrics is important. Indeed, if an attack can confuse the metric, an attacker can easily increase quality scores. When developers of image- and video-algorithms can boost their scores through detached processing, algorithm comparisons are no longer fair. Inspired by the idea of universal adversarial perturbation for classifiers, we suggest a new method to attack differentiable no-reference quality metrics through universal perturbation. We applied this method to seven no-reference image- and video-quality metrics (PaQ-2-PiQ, Linearity, VSFA, MDTVSFA, KonCept512, Nima and SPAQ). For each one, we trained a universal perturbation that increases the respective scores. We also propose a method for assessing metric stability and identify the metrics that are the most vulnerable and the most resistant to our attack. The existence of successful universal perturbations appears to diminish the metric's ability to provide reliable scores. We therefore recommend our proposed method as an additional verification of metric reliability to complement traditional subjective tests and benchmarks.

研究动机与目标

• 探究可微分无参考（NR）图像与视频质量度量对通用对抗扰动（UAPs）的脆弱性。
• 提出一种通过测量UAP作用下分数变化并结合率失真（RD）曲线来评估度量稳定性的方法。
• 识别出哪些NR度量易受通用扰动导致的分数膨胀影响，从而削弱其在算法比较中的可靠性。
• 提供一种补充性验证方法，以超越主观测试与基准相关性，评估NR度量的可靠性。

提出的方法

• 训练通用扰动作为固定、与图像无关的噪声模式，以最大化可微分NR度量的输出分数。
• 将UAP视为可学习参数，并采用深度学习优化技术在10,000张COCO图像上进行训练。
• 将训练好的UAP应用于全高清视频帧，在H.264压缩前施加，以模拟真实世界预处理流程。
• 提出一种基于目标度量增益与代理度量损失曲线之下方面积的稳定性评分，负值表示脆弱性。
• 利用RD曲线评估UAP对压缩视频的影响，从而实现对度量鲁棒性的比较。
• 结合所提出的稳定性评分与标准斯皮尔曼等级相关系数（SRCC）主观基准，对度量进行评估。

实验结果

研究问题

• RQ1 能否利用通用对抗扰动人为提高可微分无参考图像与视频质量度量的分数？
• RQ2 哪些NR度量对这类扰动最为脆弱，哪些表现出更强的鲁棒性？
• RQ3 基于RD曲线的稳定性评分与传统的基于SRCC的评估相比，在识别可靠度量方面表现如何？
• RQ4 UAP在多大程度上破坏了图像与视频处理中客观度量比较的公平性？

主要发现

• SPAQ、Nima和KonCept512表现出高稳定性评分（分别为2.6、-0.1和-0.3），表明其对UAP具有抗性。
• PaQ-2-PiQ、Linearity、VSFA和MDTVSFA显示出强烈脆弱性，稳定性得分为-5.3、-4.2、-3.8和-4.8。
• 尽管SRCC相关性较高（如MDTVSFA在MSU基准上为0.94），这些度量仍极易受到UAP导致的分数膨胀影响。
• 所提出的稳定性评分能有效识别出在对抗扰动下不可靠的度量，即使它们在标准基准中表现良好。
• 在视频压缩前施加UAP显著提高了度量分数，而未改善视觉质量，表明在真实世界处理流程中存在度量操纵风险。
• 本研究证实，与主观评分的高相关性并不能保证对通用扰动的鲁棒性，凸显了当前评估实践中的关键缺陷。