[论文解读] Spread-Transform Dither Modulation Watermarking of Deep Neural Network

Yue Li, Benedetta Tondi+1 more|arXiv (Cornell University)|Dec 28, 2020

Advanced Steganography and Watermarking Techniques参考文献 20被引用 4

一句话总结

本文提出一种基于扩展-变换量化调制（ST-DM）的新型深度神经网络（DNN）水印方法，通过在损失函数中引入一种基于辅助信息的、量化后的相关性机制，实现水印嵌入，从而提升水印容量并降低精度退化。实验表明，该方法在保持对剪枝和微调攻击鲁棒性的同时，相比传统扩频（SS）水印方法，实现了更高的水印容量与更低的测试误差。

ABSTRACT

DNN watermarking is receiving an increasing attention as a suitable mean to protect the Intellectual Property Rights associated to DNN models. Several methods proposed so far are inspired to the popular Spread Spectrum (SS) paradigm according to which the watermark bits are embedded into the projection of the weights of the DNN model onto a pseudorandom sequence. In this paper, we propose a new DNN watermarking algorithm that leverages on the watermarking with side information paradigm to decrease the obtrusiveness of the watermark and increase its payload. In particular, the new scheme exploits the main ideas of ST-DM (Spread Transform Dither Modulation) watermarking to improve the performance of a recently proposed algorithm based on conventional SS. The experiments we carried out by applying the proposed scheme to watermark different models, demonstrate its capability to provide a higher payload with a lower impact on network accuracy than a baseline method based on conventional SS, while retaining a satisfactory level of robustness.

研究动机与目标

• 应对商业与分布式AI系统中对深度神经网络（DNN）知识产权（IPR）保护日益增长的需求。
• 克服现有DNN中扩频（SS）水印方法存在的局限性，如精度退化严重或水印容量低。
• 利用知情水印范式——特别是ST-DM——以降低水印的显著性并提高嵌入效率。
• 在保持高水印提取可靠性的同时，提升对常见模型攻击（如参数剪枝与微调）的鲁棒性。
• 证明基于ST-DM的DNN水印方法可在水印容量、精度与鲁棒性之间实现优于以往SS方法的权衡。

提出的方法

• 在DNN训练损失函数中引入一种新型正则化项，强制网络权重与伪随机扩展序列之间的相关性，使其量化为对应水印比特（0或1）的取值。
• 通过在扩频调制前将水印投影到伪随机扩展序列上，应用ST-DM框架，确保低失真与高鲁棒性。
• 采用交错排列、等距分布的量化器来表示水印比特值（0或1），实现通过带辅助信息的知情编码进行二值水印嵌入。
• 通过为不同比特使用不同的扩展序列，实现多比特水印嵌入，从而支持可扩展的水印容量。
• 从零开始训练DNN，使用修改后的损失函数，在优化过程中直接嵌入水印，而非后处理阶段。
• 通过利用DM与ST-DM对信号扰动（包括剪枝与微调攻击）的内在鲁棒性，确保模型的鲁棒性。

实验结果

研究问题

• RQ1 与传统的扩频（SS）水印方法相比，基于ST-DM的水印方法是否能在DNN中实现更高的水印容量与更低的精度退化？
• RQ2 所提出的ST-DM方法在参数剪枝攻击下的表现如何？其鲁棒性是否与基线SS方法相当？
• RQ3 通过ST-DM实现的知情编码是否能降低水印的显著性，同时保持高水印提取可靠性？
• RQ4 在剪枝与微调攻击下，所提方法在水印容量与测试误差率之间的权衡关系如何？
• RQ5 当攻击者知晓水印方案时，该方法是否能抵抗水印覆盖攻击？

主要发现

• 所提出的基于ST-DM的水印方法相比Uchida等人基于SS的方法，实现了更高的水印容量与更低的测试误差率，表现出更高的效率。
• 在conv4层嵌入256比特水印时，W-DM-WRN在70%剪枝下仍保持误码率（BER）为0，W-WRN在70%剪枝下BER也为0，表现出相当的鲁棒性。
• 在30%剪枝下，W-DM-WRN的测试误差率（TER）为8.87%，W-WRN为8.99%，均显著低于基线模型在10%剪枝下的8.73%。
• 对于conv4层256比特水印，测试误差率超过基线前的最大剪枝比例为20%；其他层为10%，且W-DM-WRN与W-WRN表现出相似的鲁棒性。
• 在剪枝比例达60%时，两模型的BER均保持为0，表明对参数删除具有强鲁棒性。
• 在所有测试剪枝水平（最高达60%）下，BER均为0，证实该方法在结构化模型修改下具有高度可靠性与鲁棒性。