[论文解读] Towards Generalizable Data Protection With Transferable Unlearnable Examples

Bin Fang, Bo Li+5 more|arXiv (Cornell University)|May 18, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出了一种新颖且可泛化的数据保护方法，通过梯度匹配数据分布诱导数据坍塌，生成可迁移的不可学习样本。该方法聚焦于分布级别的鲁棒性，并使用鲁棒的替代模型，在多种模型和数据集上实现了卓越的保护效果和泛化能力，在标准训练和对抗性训练场景下均优于先前的SOTA方法。

ABSTRACT

Artificial Intelligence (AI) is making a profound impact in almost every domain. One of the crucial factors contributing to this success has been the access to an abundance of high-quality data for constructing machine learning models. Lately, as the role of data in artificial intelligence has been significantly magnified, concerns have arisen regarding the secure utilization of data, particularly in the context of unauthorized data usage. To mitigate data exploitation, data unlearning have been introduced to render data unexploitable. However, current unlearnable examples lack the generalization required for wide applicability. In this paper, we present a novel, generalizable data protection method by generating transferable unlearnable examples. To the best of our knowledge, this is the first solution that examines data privacy from the perspective of data distribution. Through extensive experimentation, we substantiate the enhanced generalizable protection capabilities of our proposed method.

研究动机与目标

• 为解决现有不可学习样本方法在对抗性训练或迁移至不同模型时泛化能力不足的问题。
• 通过将关注点从模型特定的噪声转向数据分布级别的扰动以诱导数据坍塌，从而提升数据保护效果。
• 通过使用本身对对抗性训练具有鲁棒性的替代模型，增强不可学习样本的鲁棒性。
• 开发一种在不同架构和数据集上均能保持强保护效果的方法，确保可迁移性。
• 为机器学习中的数据隐私提供可扩展且通用的解决方案，尤其适用于未经授权的模型训练场景。

提出的方法

• 该方法利用得分模型估计数据分布的梯度，实现诱导数据坍塌的定向扰动。
• 通过在特征空间中将数据点相互推近，生成不可学习样本，从而降低其判别性信息。
• 训练一个鲁棒的替代模型以生成不可学习噪声，确保即使在对抗性微调下保护效果依然持续。
• 该方法设计为与特定模型架构无关，增强了在不同神经网络间的可迁移性。
• 该方法应用难以察觉的、与数据分布相关的扰动，在使用污染样本进行训练时会降低模型在干净数据上的性能。
• 在生成阶段使用对抗性训练，以确保不可学习样本在模型微调后仍保持有效性。

实验结果

研究问题

• RQ1 不可学习样本能否在不同深度学习模型和数据集上实现更强的泛化能力？
• RQ2 通过分布级别的梯度匹配诱导数据坍塌，如何影响不可学习样本的鲁棒性和可迁移性？
• RQ3 使用鲁棒的替代模型是否能显著提升不可学习样本对对抗性训练的抗性？
• RQ4 所提方法在标准训练和对抗性训练两种范式下，与现有SOTA方法相比，其保护效果提升的幅度如何？
• RQ5 与像素级或特征级噪声注入相比，基于数据分布感知的扰动能否实现更强且更可迁移的数据保护？

主要发现

• 在对抗性训练后，该方法在CIFAR-10上的平均测试准确率为62.76%，显著低于EM（88.31%）和REM（75.01%），证明了其优越的鲁棒性。
• 在CIFAR-100上，该方法在对抗性训练后仍保持平均43.68%的准确率，优于EM（61.60%）和REM（49.97%），展现出更强的保护能力。
• 当使用不同替代模型（如VGG-16、ResNet-18等）时，该方法在平均上将模型准确率降至36%以下，表明其具备强大的泛化能力。
• 在多个数据集和模型上，该方法相比SOTA方法将模型准确率降低了5%至32%，证实了其增强的泛化能力。
• 使用鲁棒替代模型可确保不可学习样本在对抗性微调后依然有效，而像EM和REM这类非鲁棒方法则无法做到。
• 大量实验结果证实，该方法的保护效果在多种架构和数据集上均具有鲁棒性，无论在标准训练还是对抗性训练下，均表现出一致的性能下降。