[论文解读] Preventing Unauthorized Use of Proprietary Data: Poisoning for Secure Dataset Release

Liam Fowl, Ping-yeh Chiang+5 more|arXiv (Cornell University)|Feb 16, 2021

Advanced Malware Detection Techniques被引用 12

一句话总结

本文提出了一种新颖且可扩展的数据 poisoning方法，通过细微修改公开发布的数据集，降低在这些数据集上训练的模型的泛化性能，同时保持感知质量，防止竞争对手复现专有模型。该方法采用在线、基于梯度的优化，生成最小扰动以最大化深度神经网络的测试误差，在 ImageNet 和人脸识别任务上实现了最先进性能，且对数据的修改极小。

ABSTRACT

Large organizations such as social media companies continually release data, for example user images. At the same time, these organizations leverage their massive corpora of released data to train proprietary models that give them an edge over their competitors. These two behaviors can be in conflict as an organization wants to prevent competitors from using their own data to replicate the performance of their proprietary models. We solve this problem by developing a data poisoning method by which publicly released data can be minimally modified to prevent others from train-ing models on it. Moreover, our method can be used in an online fashion so that companies can protect their data in real time as they release it.We demonstrate the success of our approach onImageNet classification and on facial recognition.

研究动机与目标

• 解决公开发布数据与保持专有模型训练竞争优势之间的冲突。
• 开发一种方法，在不损害感知质量的前提下，降低模型在公开数据上的泛化性能。
• 实现实时、在线的数据 poisoning，适用于社交媒体等动态数据发布平台。
• 在有效性和可扩展性方面超越现有对深度神经网络的无差别 poisoning 攻击。
• 为组织提供一种实用方案，可在透明发布数据的同时保护其模型训练优势。

提出的方法

• 该方法将问题建模为双层优化问题，以最大化在污染数据上训练的模型的测试误差，同时受限于由 ℓ∞ 范数界定的小扰动。
• 使用代理模型估计目标梯度，并通过最大化目标梯度与模型损失梯度之间内积的损失函数来生成扰动。
• 该算法通过在梯度计算中分离分母，实现实时、逐样本的扰动生成，支持分布式和实时应用。
• 引入正则化技术（如 ℓ2、总变差 TV 和 SSIM）以提升污染数据的视觉保真度。
• 采用带符号的 Adam 优化方法，高效计算能降低泛化性能但保持不可察觉的扰动。
• 该方法设计为在黑盒环境下有效，无需访问目标模型的架构或权重。

实验结果

研究问题

• RQ1 能否开发一种数据 poisoning 方法，有效降低在公开数据上训练的深度神经网络的泛化性能？
• RQ2 此类方法能否以在线、实时的方式应用，适用于动态数据平台？
• RQ3 该方法在现代深度神经网络（如 ResNet-18）上的性能退化效果如何，尤其在污染比例有限的情况下？
• RQ4 正则化技术在不牺牲 poisoning 效果的前提下，能在多大程度上提升视觉质量？
• RQ5 该方法能否成功应用于图像分类和人脸识别任务？

主要发现

• 当使用仅 5% 的数据进行梯度估计时，该方法在污染后的 ImageNet 数据上训练 ResNet-18 模型，验证准确率达到 44.82%，表明在极小数据量下仍具高度有效性。
• 即使仅使用 5% 的数据进行梯度估计且无正则化，该方法仍使验证误差翻倍，准确率达到 74.64%，表明对数据稀疏性具有强鲁棒性。
• 引入 SSIM 和 TV 等正则化项可降低扰动的可见性，但会提高验证准确率——例如，SSIM 正则化使准确率提升至 51.09%，相比无正则化时的 44.82%。
• 在线生成机制通过在梯度计算中分离分母，生成的扰动几乎与全批量版本相同，支持可扩展的分布式部署。
• 该方法在黑盒和实时设置下优于先前的无差别 poisoning 攻击，尤其在仅污染少量数据时仍具有效性。
• 该方法在 ImageNet 分类和人脸识别任务上均表现有效，显示出在视觉基准测试中的广泛适用性。