[论文解读] Open-sourced Dataset Protection via Backdoor Watermarking

Yiming Li, Ziqi Zhang+4 more|arXiv (Cornell University)|Oct 12, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 14

一句话总结

本文提出了一种后门水印方法，通过在训练样本中嵌入隐藏触发器来保护开源数据集，从而验证第三方模型是否基于受保护的数据集进行训练。该方法采用基于污染的后门攻击进行水印嵌入，并通过后验概率的假设检验检测水印存在性，在基准数据集上实现100%的检测准确率，同时对模型性能影响极小。

ABSTRACT

The rapid development of deep learning has benefited from the release of some high-quality open-sourced datasets ($e.g.$, ImageNet), which allows researchers to easily verify the effectiveness of their algorithms. Almost all existing open-sourced datasets require that they can only be adopted for academic or educational purposes rather than commercial purposes, whereas there is still no good way to protect them. In this paper, we propose a \emph{backdoor embedding based dataset watermarking} method to protect an open-sourced image-classification dataset by verifying whether it is used for training a third-party model. Specifically, the proposed method contains two main processes, including \emph{dataset watermarking} and \emph{dataset verification}. We adopt classical poisoning-based backdoor attacks ($e.g.$, BadNets) for dataset watermarking, ie, generating some poisoned samples by adding a certain trigger ($e.g.$, a local patch) onto some benign samples, labeled with a pre-defined target class. Based on the proposed backdoor-based watermarking, we use a hypothesis test guided method for dataset verification based on the posterior probability generated by the suspicious third-party model of the benign samples and their correspondingly watermarked samples ($i.e.$, images with trigger) on the target class. Experiments on some benchmark datasets are conducted, which verify the effectiveness of the proposed method.

研究动机与目标

• 解决缺乏有效方法验证第三方模型是否基于开源数据集进行训练的问题。
• 保护高质量开源数据集（通常仅限学术使用）免遭商业滥用。
• 开发一种对模型性能无害、检测有效且对攻击者具有隐蔽性的水印方案。
• 使数据集保护者无需访问训练细节即可验证是否存在商业滥用。

提出的方法

• 水印通过基于污染的后门攻击（如BadNets、Blended Attack）实现，即对少量良性图像添加触发器（如3×3白色方块或黑色线条）并重新标记为目标类别。
• 触发器设计为不可察觉，确保水印隐蔽的同时保持良性样本上的模型准确率。
• 对可疑模型应用假设检验，比较良性样本与水印样本在目标类别上的后验概率。
• 在显著性水平为0.05的条件下，使用成对T检验判断后验概率差异是否具有统计显著性，以判断水印是否存在。
• 该方法依赖于以下事实：在水印数据集上训练的模型，对水印样本在目标类别上的后验概率显著高于对良性样本的后验概率。
• 水印率（γ）和可见性参数（λ）为超参数，用于在有效性与隐蔽性之间取得平衡。

实验结果

研究问题

• RQ1 是否可以使用基于后门的水印方案，在无训练细节访问权限的情况下验证第三方模型是否基于开源数据集进行训练？
• RQ2 所提出的方法在不同基准数据集上检测水印存在的有效性如何？
• RQ3 在不同水印率和触发器可见性条件下，水印有效性（如WSR）与模型性能（如良性准确率）之间的权衡如何？
• RQ4 所提出的验证方法在确保高检测准确率的同时，其隐蔽性在多大程度上得以保持？

主要发现

• 所提出的水印方法将良性准确率保持在原始模型性能的2%以内，证明其具有极强的无害性。
• 在5%水印率下，CIFAR-10和GTSRB数据集上的水印成功率（WSR）均超过90%，证实其高效性。
• 数据集验证方法在所有测试模型和触发器上均实现了100%的成功检测比率（RSD），表明具备完美的检测能力。
• 随着水印率（γ）和可见性参数值（λ）的提高，WSR随之上升，显示出可检测性与隐蔽性之间的清晰权衡。
• 该方法在不同网络架构（ResNet和VGG）及不同触发器类型（线条与方形）下均保持稳健，证明其在各类设置下的泛化能力。