[论文解读] The Hidden Vulnerability of Watermarking for Deep Neural Networks.

Shangwei Guo, Tianwei Zhang+4 more|arXiv (Cornell University)|Sep 18, 2020

Adversarial Robustness in Machine Learning参考文献 17被引用 11

一句话总结

本文提出了一种新颖的、无需知识的水印移除攻击方法，通过使用预处理函数隐藏水印模式，并在分布外数据上进行微调，从而绕过最先进的深度神经网络（DNN）水印方案。该攻击在不了解水印技术或训练样本的情况下，实现了高成功率的水印移除。

ABSTRACT

Watermarking has shown its effectiveness in protecting the intellectual property of Deep Neural Networks (DNNs). Existing techniques usually embed a set of carefully-crafted sample-label pairs into the target model during the training process. Then ownership verification is performed by querying a suspicious model with those watermark samples and checking the prediction results. These watermarking solutions claim to be robustness against model transformations, which is challenged by this paper. We design a novel watermark removal attack, which can defeat state-of-the-art solutions without any prior knowledge of the adopted watermarking technique and training samples. We make two contributions in the design of this attack. First, we propose a novel preprocessing function, which embeds imperceptible patterns and performs spatial-level transformations over the input. This function can make the watermark sample unrecognizable by the watermarked model, while still maintaining the correct prediction results of normal samples. Second, we introduce a fine-tuning strategy using unlabelled and out-of-distribution samples, which can improve the model usability in an efficient manner. Extensive experimental results indicate that our proposed attack can effectively bypass existing watermarking solutions with very high success rates.

研究动机与目标

• 挑战现有DNN水印技术在模型转换下声称的鲁棒性。
• 设计一种无需事先了解水印技术或训练样本的水印移除攻击。
• 在保持模型对正常输入的准确性的同时，使水印样本对水印模型无法识别。
• 通过在无标签、分布外数据上高效微调，提升水印移除后的模型可用性。

提出的方法

• 引入一种新颖的预处理函数，将不可察觉的模式嵌入输入，并施加空间级变换以掩盖水印信号。
• 该预处理函数确保对正常样本的预测正确，同时使水印样本对水印模型无法识别。
• 使用无标签、分布外样本实施微调策略，以在水印移除后恢复模型性能。
• 该攻击无需访问原始水印训练数据，也无需了解水印技术细节。
• 在多种DNN架构和水印方案上评估该方法，以证明其泛化能力。
• 攻击工作流包括：对水印输入进行预处理，通过模型适配移除水印，以及微调以维持模型实用性。

实验结果

研究问题

• RQ1 能否在不了解水印技术或训练样本的情况下设计出水印移除攻击？
• RQ2 不可察觉的预处理函数在多大程度上能隐藏水印模式，同时保持模型准确性？
• RQ3 在分布外数据上进行微调，在水印移除后对恢复模型可用性的有效性如何？
• RQ4 所提出的攻击能否在多种DNN模型上以高成功率绕过最先进的水印方案？

主要发现

• 所提出的攻击在移除最先进的DNN水印方案中的水印时，实现了极高的成功率。
• 该攻击成功绕过了水印方案，且无需了解水印技术或训练样本。
• 预处理函数使水印样本对水印模型无法识别，同时保持对正常输入的正确预测。
• 在无标签、分布外样本上进行微调，能有效恢复水印移除后的模型可用性。
• 大量实验验证了该攻击在多种DNN架构和水印技术上的有效性。
• 该攻击表现出强大的泛化能力，并对各种水印防御具有鲁棒性。