[论文解读] Training DNN Model with Secret Key for Model Protection

AprilPyone MaungMaung, Hitoshi Kiya|arXiv (Cornell University)|Aug 6, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 5

一句话总结

本文提出一种基于密钥的深度神经网络（DNN）模型保护方法，该方法在训练前通过秘密密钥对输入图像进行分块像素置换作为预处理步骤。当使用正确密钥时，受保护模型的准确率接近基线水平，而使用错误密钥或原始输入时性能急剧下降，且能有效抵抗微调攻击，整个过程无需训练或推理开销。

ABSTRACT

In this paper, we propose a model protection method by using block-wise pixel shuffling with a secret key as a preprocessing technique to input images for the first time. The protected model is built by training with such preprocessed images. Experiment results show that the performance of the protected model is close to that of non-protected models when the key is correct, while the accuracy is severely dropped when an incorrect key is given, and the proposed model protection is robust against not only brute-force attacks but also fine-tuning attacks, while maintaining almost the same performance accuracy as that of using a non-protected model.

研究动机与目标

• 为解决训练好的DNN模型即使在可验证所有权的情况下仍易遭窃取和滥用的问题。
• 开发一种模型保护机制，防止被盗模型被未经授权使用，而不仅仅是识别所有权。
• 设计一种轻量级、非侵入式的方法，不改变网络架构，也不增加计算开销。
• 在使用正确密钥时保持高模型准确率的同时，对暴力破解和微调攻击具有强鲁棒性。
• 相比现有基于护照或水印的方案（需增加网络层），简化密钥管理。

提出的方法

• 在训练和推理前，使用秘密密钥对输入图像进行分块像素置换预处理。
• 在训练和推理阶段均使用同一密钥，以确保模型行为的一致性。
• 采用固定块大小（M ∈ {2, 4, 8}），对输入图像中的非重叠块进行像素置换。
• 置换操作具有确定性，仅凭正确密钥可逆，错误密钥将导致模型性能严重受损。
• 在预处理后的图像上训练DNN（ResNet-18），不修改网络架构或优化器设置。
• 该方法与标准训练技术兼容，如数据增强、混合精度训练和循环学习率。

实验结果

研究问题

• RQ1 能否通过在输入预处理阶段集成秘密密钥，实现对DNN模型的未经授权使用防护？
• RQ2 与未受保护的基线模型相比，该方法在使用正确密钥时是否仍能保持高准确率？
• RQ3 当使用错误密钥或原始图像进行测试时，该方法在多大程度上导致模型性能下降？
• RQ4 在攻击者尝试使用伪造密钥对模型进行微调的攻击下，受保护模型是否仍具有抗性？
• RQ5 与现有基于密钥或水印的模型保护方案相比，该方法在性能和开销方面表现如何？

主要发现

• 使用正确密钥时，受保护模型在CIFAR-10上的准确率达到94.70%，与基线模型的95.45%非常接近。
• 使用错误密钥测试时，M=2时准确率降至25.84%，M=4时为20.01%，M=8时为14.98%，表明模型对密钥具有强依赖性。
• 使用未经处理的原始图像测试时，性能也显著下降，证实模型必须经过正确预处理才能使用。
• 该方法对微调攻击具有强鲁棒性：即使使用训练集中的1000张图像，使用伪造密钥的最高准确率仅为45.46%，远低于正确密钥下的性能。
• 与基于护照的方案[3]相比，该方法在可用性和效率方面表现更优，在无需额外网络层或复杂密钥管理的前提下实现了相近的准确率。
• 该方法不引入任何训练或推理开销，因其不修改网络结构，仅增加轻量级预处理步骤。