[论文解读] Robust Watermarking of Neural Network with Exponential Weighting

Ryota Namba, Jun Sakuma|arXiv (Cornell University)|Jan 18, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用 14

一句话总结

本文提出一种基于指数加权的鲁棒神经网络水印方法，通过在训练过程中结合标签更改的关键样本与指数加权，实现对模型修改（如剪枝）和查询修改（如对抗性扰动）攻击的强韧性水印嵌入。该方法在所有数据集和攻击类型下均实现完美验证（AUC = 1.0），即使在剧烈篡改下仍保持有效，同时维持模型准确率。

ABSTRACT

Deep learning has been achieving top performance in many tasks. Since training of a deep learning model requires a great deal of cost, we need to treat neural network models as valuable intellectual properties. One concern in such a situation is that some malicious user might redistribute the model or provide a prediction service using the model without permission. One promising solution is digital watermarking, to embed a mechanism into the model so that the owner of the model can verify the ownership of the model externally. In this study, we present a novel attack method against watermark, query modification, and demonstrate that all of the existing watermark methods are vulnerable to either of query modification or existing attack method (model modification). To overcome this vulnerability, we present a novel watermarking method, exponential weighting. We experimentally show that our watermarking method achieves high verification performance of watermark even under a malicious attempt of unauthorized service providers, such as model modification and query modification, without sacrificing the predictive performance of the neural network model.

研究动机与目标

• 解决现有水印方法在黑盒产权验证中对模型修改和查询修改攻击的脆弱性问题。
• 开发一种水印方案，即使未经授权的服务提供商对模型或查询进行篡改，也能保持高验证准确率。
• 确保在真实对抗性条件下水印验证依然可靠有效，且不降低模型性能。
• 提出一种对结构变化（如剪枝）和输入级操作（如对抗样本）均具有鲁棒性的方法。
• 在多种数据集和攻击场景下实现完美水印验证（AUC = 1.0），超越现有方法。

提出的方法

• 通过将对抗样本的真实标签更改为其他类别，生成关键样本作为‘水印密钥’，这些样本会被模型错误分类。
• 采用指数加权方式嵌入水印，即每个关键样本对损失函数的贡献按其在训练序列中的位置进行指数加权。
• 指数加权机制确保即使在微调或剪枝后，水印信号仍能被保留，因为早期的关键样本在最终模型参数中具有更大影响力。
• 通过向模型查询关键样本并检查预测置信度分布是否超过基于指数加权模式推导出的阈值，完成水印验证。
• 该方法在黑盒设置下运行，仅需与预测服务交互，无需访问模型参数。
• 该方法设计用于抵御查询级攻击（如基于自编码器的查询修改）和模型级攻击（如剪枝、微调）

实验结果

研究问题

• RQ1 水印方法是否能在模型修改和查询修改攻击下均保持高验证准确率？
• RQ2 与均匀或线性加权方案相比，指数加权如何提升水印鲁棒性？
• RQ3 标签更改的对抗样本生成是否能增强水印可检测性，同时保持模型准确率？
• RQ4 所提方法是否能在所有攻击类型下于多个数据集中实现完美验证（AUC = 1.0）？
• RQ5 关键样本数量如何影响水印方案的鲁棒性和验证性能？

主要发现

• 所提方法在所有数据集（包括CIFAR10、CIFAR100、GTSRB和MNIST）上，对模型修改（剪枝）和查询修改（自编码器）攻击均实现AUC = 1.0。
• 所有现有水印方法，包括（Zhang et al., 2018）、（Merrer et al., 2017）和（Rouhani et al., 2018），至少在一种攻击类型下无法实现AUC = 1.0，部分方法性能显著下降。
• 即使仅使用5个关键样本，该方法在GTSRB上的剪枝攻击下仍保持AUC不低于0.85，优于所有基线方法。
• 该方法保持了原始模型的预测准确率，任何条件下均未报告测试准确率下降。
• 当关键样本数量减少至5个时，验证性能依然稳健，表明信号具有强韧性。
• 指数加权机制在模型微调和剪枝过程中有效保留了水印信号，使其对结构篡改具有高度抗性。