[论文解读] Wolf in Sheep's Clothing - The Downscaling Attack Against Deep Learning Applications

Qixue Xiao, Kang Li+2 more|arXiv (Cornell University)|Dec 21, 2017

Adversarial Robustness in Machine Learning参考文献 9被引用 8

一句话总结

本文提出了一种新型的深度学习应用安全威胁——下采样攻击，攻击者通过构造带有隐蔽数据的输入图像，这些数据在标准图像缩放过程中被修改或丢弃，导致人类感知与模型输入之间出现不一致。该攻击利用Caffe、TensorFlow和Torch等框架中的默认缩放函数，使模型处理看似正常的视觉欺骗性输入，从而实现逃避检测和数据污染。

ABSTRACT

This paper considers security risks buried in the data processing pipeline in common deep learning applications. Deep learning models usually assume a fixed scale for their training and input data. To allow deep learning applications to handle a wide range of input data, popular frameworks, such as Caffe, TensorFlow, and Torch, all provide data scaling functions to resize input to the dimensions used by deep learning models. Image scaling algorithms are intended to preserve the visual features of an image after scaling. However, common image scaling algorithms are not designed to handle human crafted images. Attackers can make the scaling outputs look dramatically different from the corresponding input images. This paper presents a downscaling attack that targets the data scaling process in deep learning applications. By carefully crafting input data that mismatches with the dimension used by deep learning models, attackers can create deceiving effects. A deep learning application effectively consumes data that are not the same as those presented to users. The visual inconsistency enables practical evasion and data poisoning attacks to deep learning applications. This paper presents proof-of-concept attack samples to popular deep-learning-based image classification applications. To address the downscaling attacks, the paper also suggests multiple potential mitigation strategies.

研究动机与目标

• 揭示深度学习应用数据处理流程中此前被忽视的安全漏洞。
• 研究深度学习框架中常见图像缩放函数如何被利用以制造视觉欺骗。
• 证明攻击者可以将隐蔽数据注入输入中，这些数据在缩放过程中被丢弃，导致模型误分类。
• 在真实世界深度学习图像分类系统上展示概念验证攻击。
• 提出防御策略，以在实际部署中防范此类攻击。

提出的方法

• 构造具有特定空间模式的对抗性输入图像，使其在人类眼中保持视觉连贯性，但在缩放过程中发生显著改变。
• 使用标准深度学习框架函数（例如，Caffe的resize()、TensorFlow的tf.image.resize、Torch的nn.SpatialAveragePool）将图像缩放至固定的模型输入尺寸。
• 选择非均匀长宽比的输入图像（例如，224×672），以在双线性插值下最大化下采样过程中的失真。
• 评估模型在缩放后图像上的预测结果，确认其与人类对原始输入的感知相比出现误分类。
• 探索其他缩放算法（例如，双立方插值）以评估鲁棒性并识别更不易受攻击的选项。
• 提出基于测量原始图像与缩放后图像之间特征变化（例如，颜色直方图偏移）的检测机制。

实验结果

研究问题

• RQ1 流行深度学习框架中的图像缩放函数在多大程度上可被操纵以制造视觉欺骗？
• RQ2 默认缩放算法（如双线性插值）在下采样过程中如何影响对抗性构造输入的完整性？
• RQ3 攻击者能否通过利用缩放引起的视觉不一致成功发起逃避检测和数据污染攻击？
• RQ4 在构造视觉上可疑但仍能有效触发下采样攻击的输入时，实际权衡是什么？
• RQ5 在真实世界深度学习部署中，哪些缓解策略能有效检测或防止下采样攻击？

主要发现

• Caffe、TensorFlow和Torch中的默认图像缩放函数易受下采样攻击影响，因为它们以人类无法察觉但对模型有显著影响的方式修改输入内容。
• 攻击者可构造出在人类眼中显示为某一类别（例如，绵羊）的输入图像，但在缩放后转变为另一类别（例如，狼），导致模型误分类。
• 攻击的有效性与缩放因子和长宽比不匹配程度成正比，偏差越大，视觉操纵的潜力越高。
• 双立方插值比双线性插值更具鲁棒性，对这类攻击的敏感性更低，表明算法选择可降低风险。
• 原始图像与缩放后图像之间视觉特征（如颜色直方图）的显著变化可作为检测下采样攻击的指标。
• 基于预期输入尺寸的输入过滤与验证可缓解此类攻击，但在所有应用场景中均不可行，尤其是在接受用户上传内容的应用中。