[论文解读] T$_k$ML-AP: Adversarial Attacks to Top-$k$ Multi-Label Learning

Shu Hu, Lipeng Ke+2 more|arXiv (Cornell University)|Jul 31, 2021

Adversarial Robustness in Machine Learning参考文献 24被引用 4

一句话总结

该论文提出了 T$_k$ML-AP，这是首个针对 top-$k$ 多标签学习（T$k$ML）系统设计的白盒对抗攻击框架，通过使用连续、凸的损失函数来操纵标签排名。该方法通过最小化扰动，将真实标签或目标标签移出或移入 top-$k$ 预测，实现了高达 100% 的攻击成功率（在 MS COCO 上），显著提升了攻击效率。

ABSTRACT

Top-$k$ multi-label learning, which returns the top-$k$ predicted labels from an input, has many practical applications such as image annotation, document analysis, and web search engine. However, the vulnerabilities of such algorithms with regards to dedicated adversarial perturbation attacks have not been extensively studied previously. In this work, we develop methods to create adversarial perturbations that can be used to attack top-$k$ multi-label learning-based image annotation systems (TkML-AP). Our methods explicitly consider the top-$k$ ranking relation and are based on novel loss functions. Experimental evaluations on large-scale benchmark datasets including PASCAL VOC and MS COCO demonstrate the effectiveness of our methods in reducing the performance of state-of-the-art top-$k$ multi-label learning methods, under both untargeted and targeted attacks.

研究动机与目标

• 为解决当前缺乏系统性对抗攻击方法针对广泛应用于图像标注与网络搜索的 top-$k$ 多标签学习（T$k$ML）系统的问题。
• 开发能够显式建模 T$k$ML 分类器 top-$k$ 排名行为的攻击策略，而非将其视为标准多分类问题。
• 设计在单个预测分数上为凸的损失函数，以实现高效优化并生成鲁棒的对抗扰动。
• 在 PASCAL VOC 和 MS COCO 等大规模基准数据集上，评估所提攻击在无目标与有目标设置下的有效性。
• 证明该方法可生成有效且幅值极低的扰动，在真实世界的 T$k$ML 应用中可靠地降低模型性能。

提出的方法

• 使用连续近似方法重构不可微的 top-$k$ 排名操作，以支持基于梯度的优化。
• 设计新型凸损失函数，直接针对排名变化——即将真实标签从 top-$k$ 中移除或把目标标签插入其中。
• 使用梯度下降法优化扰动，以最小化损失并保持输入特征的不可察觉性，确保对输入的修改尽可能小。
• 实现基于实例的攻击与通用对抗攻击变体（T$_k$ML-AP-Uv），以评估不同攻击场景下的鲁棒性。
• 通过类似 Sigmoid 的变换校准预测分数，确保输出落在 [0,1] 区间，与标准多标签学习假设保持一致。
• 将攻击框架应用于最先进的 T$k$ML 模型，并以 PASCAL VOC 2012 和 MS COCO 2014 作为基准数据集进行评估。

实验结果

研究问题

• RQ1 如何有效设计针对 top-$k$ 多标签学习系统的对抗攻击，其与标准多分类任务存在根本性差异？
• RQ2 是否可以使用凸性、可微的损失函数来建模并优化 top-$k$ 排名的改变，从而实现高效且有效的对抗扰动生成？
• RQ3 在无目标与有目标设置下，所提攻击的性能如何，特别是在目标标签与真实标签语义相距较远时？
• RQ4 在 T$k$ML 中，通用攻击与基于实例的攻击之间，攻击成功率与扰动幅值之间的权衡如何？
• RQ5 随着 $k$ 值增大，攻击性能如何变化？目标标签与真实标签之间的语义距离是否影响攻击难度？

主要发现

• 在 MS COCO 2014 数据集上，T$_k$ML-AP 在 $k=3$ 的有目标攻击下实现了 100% 的攻击成功率（ASR），优于基线方法。
• 在 PASCAL VOC 2012 上，该方法在 $k=3$ 的有目标攻击下实现了 96.6% 的 ASR，即使在具有挑战性的设置下也表现出极高有效性。
• 通用攻击变体（T$_k$ML-AP-Uv）在 MS COCO 上所有 $k$ 值下均优于 $k$-UAPs，且实现成功攻击所需的扰动幅值更低。
• 随着 $k$ 值增大，攻击成功率下降，因为需要重新定位更多标签进入 top-$k$ 集，证实了攻击难度的提升。
• 在最坏情况设置下（目标标签与真实标签语义相距甚远），T$_k$ML-AP-T 在 $k=10$ 时仍实现了 73.1% 的 ASR，显示出对语义难度的鲁棒性。
• 视觉对比结果表明，T$_k$ML-AP-Uv 成功攻击了所有 top-$k$ 标签，且扰动幅值更小、更一致，而 $k$-UAPs 在部分图像上失败。