[论文解读] Transferable Unlearnable Examples

Jie Ren, Xu Han+4 more|arXiv (Cornell University)|Oct 18, 2022

Data Quality and Management被引用 6

一句话总结

本文提出了一种新型不可学习样本生成方法——可迁移不可学习样本（Transferable Unlearnable Examples, TUE），该方法基于类别可分性判据（Classwise Separability Discriminant, CSD），同时增强了训练层面和数据层面的可迁移性。通过在输入空间中优化线性可分性，TUE 确保扰动在多种训练设置（如监督学习和对比学习）和数据集（如 CIFAR-10、SVHN、CIFAR-100）中均保持有效性，显著优于先前方法在不可学习性可迁移性方面的表现，同时保持了不可察觉性。

ABSTRACT

With more people publishing their personal data online, unauthorized data usage has become a serious concern. The unlearnable strategies have been introduced to prevent third parties from training on the data without permission. They add perturbations to the users' data before publishing, which aims to make the models trained on the perturbed published dataset invalidated. These perturbations have been generated for a specific training setting and a target dataset. However, their unlearnable effects significantly decrease when used in other training settings and datasets. To tackle this issue, we propose a novel unlearnable strategy based on Classwise Separability Discriminant (CSD), which aims to better transfer the unlearnable effects to other training settings and datasets by enhancing the linear separability. Extensive experiments demonstrate the transferability of the proposed unlearnable examples across training settings and datasets.

研究动机与目标

• 解决现有不可学习样本在不同训练设置和数据集间可迁移性有限的问题。
• 克服训练层面可迁移性弱的问题，即在监督学习中有效的扰动在无监督或对比学习中失效。
• 提升数据层面的可迁移性，使为某一数据集生成的扰动在其他数据集中仍保持有效性。
• 开发一种可优化、可量化的生成方法，在多种机器学习训练范式中均保持强不可学习效果。

提出的方法

• 提出类别可分性判据（CSD）作为可微目标，以在输入空间中优化扰动在各类之间的线性可分性。
• 通过优化扰动以最大化类间分离度并最小化类内差异，生成不可学习样本。
• 采用双层优化框架，生成在视觉上不可察觉的扰动，使模型误学习捷径特征而非语义内容。
• 整合类别级与样本级噪声模式，以实现在监督和无监督训练设置下的保护能力。
• 利用 t-SNE 可视化和插值实验验证输入空间中线性可分性及跨数据集的可迁移性。
• 证明 TUE 扰动在迁移至无监督对比学习及跨数据集边界时仍能保持不可学习效果。

实验结果

研究问题

• RQ1 在一种训练设置（如监督学习）下生成的不可学习样本，是否能在另一种设置（如对比学习）下保持其不可学习效果？
• RQ2 为某一数据集（如 CIFAR-10）生成的不可学习扰动，是否在应用于另一数据集（如 SVHN 或 CIFAR-100）时仍保持有效性？
• RQ3 输入空间中的线性可分性如何影响不可学习样本在训练和数据设置间的可迁移性？
• RQ4 是否存在一种统一的不可学习样本生成方法，可同时保护数据免受监督和无监督学习的影响？
• RQ5 扰动的何种结构特性（如类别级与样本级模式）可实现更广范围的可迁移性？

主要发现

• TUE 在监督和无监督训练设置中均表现出强不可学习效果，而先前方法如 EMN 和 UCL 在跨设置场景中失效。
• TUE 在输入空间中保持了类间的线性可分性，t-SNE 可视化结果清晰显示各类样本形成非重叠的簇。
• 插值实验表明，TUE 扰动在从 CIFAR-10 迁移至 SVHN 和 CIFAR-100 时仍保持线性可分性，证实了其数据层面的可迁移性。
• TUE 在保护数据免受未经授权训练方面优于 EMN 和 UCL：在 TUE 扰动数据上训练的模型在干净测试数据上无法泛化。
• TUE 中类别级与样本级噪声模式的共存实现了双重保护，对监督和无监督学习均有效。
• TUE 的扰动在各类内部保持视觉一致性，且类间差异显著，证实了其具有结构化、可学习的捷径特征，可有效误导模型。