[论文解读] Why Do Unlearnable Examples Work: A Novel Perspective of Mutual Information

Yifan Zhu, Yibo Miao+2 more|arXiv (Cornell University)|Mar 4, 2026

Adversarial Robustness in Machine Learning被引用 0

一句话总结

本文通过互信息降低分析不可学习样本，并引入 MI-UE，一种通过最小化干净特征与被污染特征之间的互信息来降低泛化能力、在多个数据集与防御下具有强实验结果的方法。

ABSTRACT

The volume of freely scraped data on the Internet has driven the tremendous success of deep learning. Along with this comes the growing concern about data privacy and security. Numerous methods for generating unlearnable examples have been proposed to prevent data from being illicitly learned by unauthorized deep models by impeding generalization. However, the existing approaches primarily rely on empirical heuristics, making it challenging to enhance unlearnable examples with solid explanations. In this paper, we analyze and improve unlearnable examples from a novel perspective: mutual information reduction. We demonstrate that effective unlearnable examples always decrease mutual information between clean features and poisoned features, and when the network gets deeper, the unlearnability goes better together with lower mutual information. Further, we prove from a covariance reduction perspective that minimizing the conditional covariance of intra-class poisoned features reduces the mutual information between distributions. Based on the theoretical results, we propose a novel unlearnable method called Mutual Information Unlearnable Examples (MI-UE) that reduces covariance by maximizing the cosine similarity among intra-class features, thus impeding the generalization effectively. Extensive experiments demonstrate that our approach significantly outperforms the previous methods, even under defense mechanisms.

研究动机与目标

• 将不可学习样本作为对未授权模型训练的数据保护的动机。
• 引入互信息（MI）作为理论视角来解释 UE 的有效性。
• 提出一个基于 MI 的实用污染方法（MI-UE），通过特征协方差下降来最小化 MI。
• 展示 MI-UE 相对于先前的 UE 在数据集、模型和防御方面的优越性。

提出的方法

• 通过干净特征与被污染特征之间的互信息降低来分析不可学习样本。
• 使用切片互信息（SMI）和多种估计量来证明在有效的 UEs 下 MI 会下降。
• 推导出一个协方差下降的视角，并证明一个将 MI 与类内特征协方差联系起来的上界（定理 5.1）。
• 通过在双层优化框架内最小化一个损失来创建MI-UE，该损失在内部循环通过对被污染数据的交叉熵学习模型参数，在外部循环优化污染扰动（delta）以最大化 MI 的下降。
• 实现 MI-UE 的双层目标，其中内部循环通过对被污染数据的交叉熵学习模型参数，外部循环优化污染扰动（delta）以最大化 MI 的降低。

实验结果

研究问题

• RQ1 有效的不可学习污染是否与干净与被污染特征之间的互信息下降相关？
• RQ2 降低被污染特征的类内协方差是否会降低分布之间的 MI？
• RQ3 MI-UE 是否能够在多样的数据集、架构和防御策略中优于现有的 UEs？
• RQ4 在对抗训练和常见数据增强下，MI-UE 的表现如何？

主要发现

• 有效的 UEs 始终在各估计量上降低干净与被污染特征之间的互信息 I(g(X), g(X'))。
• 更深的网络在使用 UEs 时表现出更强的 MI 降低和更大范围的准确率下降。
• MI-UE 相比先前的 UEs 取得更低的 MI 和协方差，从而在 CIFAR-10/100 和 ImageNet 子集上实现更强的不可学习性。
• MI-UE 在对抗训练和多种防御下仍然有效，在大多数设定下优于最先进的 UEs。
• 一种实用的 MI-UE 损失结合了相似性项（类内余弦相似性）和距离项，其中类内相似性项对不可学习性影响更大。