[论文解读] Regulating Ownership Verification for Deep Neural Networks: Scenarios, Protocols, and Prospects

Fangqi Li, Shilin Wang+1 more|arXiv (Cornell University)|Aug 20, 2021

Adversarial Robustness in Machine Learning参考文献 23被引用 4

一句话总结

本文针对真实场景提出三种新型深度神经网络（DNN）所有权验证协议：所有权证明、联邦学习以及知识产权转移。论文识别出传统水印技术之外的新安全需求，评估了五种现有方案在这些需求下的表现，发现当前无一方案能完全满足所有协议特定要求，凸显了下一代水印设计在鲁棒性、隐蔽性和多样化部署环境适应性方面的需求。

ABSTRACT

With the broad application of deep neural networks, the necessity of protecting them as intellectual properties has become evident. Numerous watermarking schemes have been proposed to identify the owner of a deep neural network and verify the ownership. However, most of them focused on the watermark embedding rather than the protocol for provable verification. To bridge the gap between those proposals and real-world demands, we study the deep learning model intellectual property protection in three scenarios: the ownership proof, the federated learning, and the intellectual property transfer. We present three protocols respectively. These protocols raise several new requirements for the bottom-level watermarking schemes.

研究动机与目标

• 为弥合现有DNN水印方案与真实部署需求之间的差距，通过制定适用于实际所有权验证场景的协议。
• 识别并形式化由特定部署场景（如联邦学习和IP转移）引发的水印方案新安全需求。
• 基于鲁棒性、隐蔽性和效率，评估现有水印方案（Uchida’s、Rand、WF、ATGF、MTL-Sign）在这些新需求下的表现。
• 证明当前水印方案无法同时满足所有协议特定的安全属性，尤其是在水印容量与模型完整性等冲突需求下表现不足。
• 倡导未来研究应致力于设计满足现代DNN知识产权保护多重且有时相互矛盾需求的水印方案。

提出的方法

• 提出三种不同的所有权验证协议：(1) 带可信赞助方的白盒所有权证明，(2) 基于API服务的黑盒验证，(3) 联邦学习环境下的去中心化验证。
• 引入五项新安全度量以评估水印方案在协议特定约束下的表现：(A) 损毁攻击鲁棒性，(B) 水印容量，(C) 微调攻击下的鲁棒性，(D) 编码时间，(E) 对联邦学习收敛性的影响。
• 采用基于归约的安全分析方法，证明所提协议的安全性可建立在底层水印方案的安全性基础之上。
• 以ResNet-50作为主干模型，在MNIST、CIFAR10和CIFAR100数据集上基于PyTorch框架进行评估。
• 应用标准化攻击模型（如微调、剪枝和蒸馏）以评估所有方案的鲁棒性与隐蔽性。
• 采用形式化实验设置（算法1）通过攻击者区分水印模型与干净模型的能力来评估隐蔽性。

实验结果

研究问题

• RQ1 DNN水印方案需具备哪些新的安全属性，才能支持真实场景下的实际所有权验证协议？
• RQ2 现有水印方案在新协议特定需求下表现如何，特别是在鲁棒性、隐蔽性和效率方面？
• RQ3 所提所有权验证协议的安全性能否在形式上归约为底层水印方案的安全性？
• RQ4 高水印容量与高模型完整性等冲突需求在多大程度上限制了当前水印方案的适用性？
• RQ5 在去中心化环境（如联邦学习）中，不同水印方案在收敛性和模型完整性方面表现如何？

主要发现

• MTL-Sign（M-S）在抵抗损毁攻击方面表现最佳，在MNIST上仅导致0.7%的准确率下降，在CIFAR100上为8.2%，表明其对模型篡改具有高度鲁棒性。
• Uchida’s方案展现出最高水印容量，在MNIST上对模型准确率影响可忽略（0.1%），且成功攻击所需迭代次数阈值极高（≥1,000次）。
• 基于后门的方案（如Rand和WF）水印容量显著较低（分别在MNIST上为30.2%和41.3%），表明其在高容量嵌入下易受攻击。
• M-S的编码时间最长（MNIST上为750ms），而Uchida’s方案最快，表明安全性与效率之间存在权衡。
• 所有方案对联邦学习收敛性影响极小（E），其中M-S和Uchida’s在CIFAR100上分别表现为0.0%和0.0%的影响。
• 当前无一水印方案能同时满足所有协议特定需求，尤其在高水印容量与强模型完整性等冲突需求下表现不足。