[论文解读] Zero-shot Knowledge Transfer via Adversarial Belief Matching

Paul Micaelli, Amos Storkey|arXiv (Cornell University)|May 23, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用 33

一句话总结

这篇论文在没有任何数据的情况下训练一个学生模仿一个教师，使用对抗生成器来创建最大化师生之间分歧的伪输入，从而实现零样本蒸馏，特别是在 CIFAR-10 和 SVHN 上。

ABSTRACT

Performing knowledge transfer from a large teacher network to a smaller student is a popular task in modern deep learning applications. However, due to growing dataset sizes and stricter privacy regulations, it is increasingly common not to have access to the data that was used to train the teacher. We propose a novel method which trains a student to match the predictions of its teacher without using any data or metadata. We achieve this by training an adversarial generator to search for images on which the student poorly matches the teacher, and then using them to train the student. Our resulting student closely approximates its teacher for simple datasets like SVHN, and on CIFAR10 we improve on the state-of-the-art for few-shot distillation (with 100 images per class), despite using no data. Finally, we also propose a metric to quantify the degree of belief matching between teacher and student in the vicinity of decision boundaries, and observe a significantly higher match between our zero-shot student and the teacher, than between a student distilled with real data and the teacher. Code available at: https://github.com/polo5/ZeroShotKnowledgeTransfer

研究动机与目标

• 激发并实现从一个大型教师到一个较小学生的知识迁移，且无法访问训练数据。
• 开发一个对抗性数据生成过程，识别教师和学生最不一致的输入。
• 在标准视觉数据集（SVHN、CIFAR-10）上展示零样本蒸馏，并与依赖数据的基线进行比较。
• 引入近决策边界的信念匹配指标，以量化教师-学生的一致性。

提出的方法

• 定义一个预训练的教师 T(x) 和一个带参数 θ 的学生 S(x;θ)，以及一个生成器 G(z;φ) 通过噪声 z~N(0,I) 产生伪输入 x_p。
• 以正向 KL 散度 D_KL(T(x_p) || S(x_p)) 作为训练学生在伪数据上的主要损失。
• 更新 G 以最大化 D_KL(T(x_p) || S(x_p))，使其找到教师和学生发散的输入。
• 迭代地训练 G(n_G 步) 然后在固定的 x_p 上训练 S(n_S 步) 以达到与教师对齐。
• 可选地在激活块跨注意力基础上加入正则化项以促进特征对齐（β 项）。
• 依赖高熵的学生输出以抵抗生成器的轻易欺骗，并促使伪样本多样且信息丰富。

实验结果

研究问题

• RQ1 神经学生在完全无法访问真实训练数据或元数据的情况下，是否能学会匹配教师？
• RQ2 对抗性生成的伪数据是否使标准数据集上的零样本蒸馏有效？
• RQ3 零样本学生在决策边界附近与教师的相似程度有多接近？如何量化？
• RQ4 辅助损失（例如基于注意力的对齐）对零样本知识迁移有何影响？

主要发现

• 零样本方法使学生在不使用真实数据的情况下，能够非常接近教师，在 CIFAR-10 和 SVHN 上取得具有竞争力的结果。
• 在 CIFAR-10 上，使用所提损失的零样本蒸馏达到 83.69% 的测试准确率，优于先前的少量样本方法，且在每类 100 张图像的微调后达到 85.91%。
• 将所提损失与注意力项结合使用，相较仅使用基础 KL 损失，在若干对教师–学生之间取得更好表现。
• 该方法对超参数变化和数据集移动保持鲁棒，在零样本设置中不需要验证数据来调优超参数。
• 与零样本竞争对手相比，在 CIFAR-10 上显示出显著的准确性优势，且模型数量相近或更小。
• 一种基于决策边界附近的过渡曲线的度量表明，零样本学生比用真实数据蒸馏的学生更贴近教师的信念。