[论文解读] Performance Comparison of Contemporary DNN Watermarking Techniques

Huili Chen, Bita Darvish Rouhani+3 more|arXiv (Cornell University)|Nov 8, 2018

Advanced Steganography and Watermarking Techniques参考文献 5被引用 16

一句话总结

本文在白盒和黑盒设置下，对最先进的深度神经网络（DNN）水印技术进行了全面的实证比较。基于保真度、鲁棒性、完整性、容量、效率和安全性等标准评估了多种方法，结果表明，DeepSigns框架（Rouhani等[4]）通过在激活图中使用正则化损失嵌入水印，在对抗剪枝、覆盖攻击和误报方面的鲁棒性优于其他方法，整体性能最佳。

ABSTRACT

DNNs shall be considered as the intellectual property (IP) of the model builder due to the impeding cost of designing/training a highly accurate model. Research attempts have been made to protect the authorship of the trained model and prevent IP infringement using DNN watermarking techniques. In this paper, we provide a comprehensive performance comparison of the state-of-the-art DNN watermarking methodologies according to the essential requisites for an effective watermarking technique. We identify the pros and cons of each scheme and provide insights into the underlying rationale. Empirical results corroborate that DeepSigns framework proposed in [4] has the best overall performance in terms of the evaluation metrics. Our comparison facilitates the development of pending watermarking approaches and enables the model owner to deploy the watermarking scheme that satisfying her requirements.

研究动机与目标

• 评估并比较当代DNN水印技术在有效知识产权保护关键指标上的表现。
• 识别每种水印方法在鲁棒性、保真度、完整性和效率方面的优缺点。
• 确定哪种水印框架最能满足白盒和黑盒场景下实际部署的基本需求。
• 为研究人员和从业者提供实证依据，以根据具体应用需求选择或改进水印方案。

提出的方法

• 实现了并评估了最先进的DNN水印技术，包括白盒方法（Uchida等[6]，Rouhani等[4]）和黑盒方法（Merrer等[2]，Yossi等[1]，Zhang等[7]）。
• 在DeepSigns框架中，使用正则化损失（高斯混合模型中心损失和二元交叉熵损失）在激活图中嵌入多比特水印。
• 通过比特错误率（BER）和检测率等指标，评估了在参数剪枝、微调和水印覆盖攻击下的鲁棒性。
• 通过测量从未标记模型中提取水印时的误报率和漏报率，评估了完整性。
• 采用基于内容、无关数据和噪声的水印密钥生成方法，用于黑盒水印，并在基准测试中评估了其性能。
• 在CIFAR10-WRN和ImageNet-ResNet上开展实验，以确保在不同模型规模和数据集上的泛化能力。

实验结果

研究问题

• RQ1 哪种DNN水印技术在多样化的攻击场景下，能实现保真度、鲁棒性和完整性的最佳平衡？
• RQ2 白盒和黑盒水印方法在抵抗模型压缩和水印覆盖攻击方面有何差异？
• RQ3 不同的水印密钥生成策略（基于内容、基于噪声、对抗性）在多大程度上影响检测准确率和误报率？
• RQ4 是否存在一种单一水印框架，能够在不牺牲性能的前提下，同时在白盒和黑盒环境中有效运行？
• RQ5 水印嵌入对模型准确率和计算开销有何影响，其在实际部署中的影响如何？

主要发现

• DeepSigns（Rouhani等[4]）在所有基准测试中均实现了最高的水印检测率，包括在剪枝和覆盖攻击下，其在覆盖攻击中N/M比达到4时，比特错误率（BER）为0。
• 在激活图中嵌入水印（DeepSigns）相比在权重中嵌入（Uchida等[6]），对水印覆盖攻击具有显著更强的鲁棒性，后者即使在低覆盖比例下，BER值也高于0.3。
• 黑盒方法如[2]和[1]表现出较高的误报率，其中[2]因可迁移的对抗样本导致误触发检测，违反了完整性标准。
• 在[7]中，基于噪声的密钥生成方法在抵抗参数剪枝方面优于基于内容或无关数据的方法，尽管三者在ImageNet-ResNet上剪枝时均失效。
• DeepSigns在CIFAR10-WRN和ImageNet-ResNet上均保持了接近100%的高检测率，适用于多种剪枝率，展现出强大的泛化能力。
• 仅DeepSigns以及[7]中的无关数据方法在所有基准测试中对水印覆盖攻击具有鲁棒性，且DeepSigns在所有测试的N/M比例下均表现出更优的抗性。