[论文解读] Sampling to Distill: Knowledge Transfer from Open-World Data

Yuzheng Wang, Zhaoyu Chen+8 more|arXiv (Cornell University)|Jul 31, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出开放世界数据采样蒸馏（ODSD），一种无需昂贵生成模型的数据自由知识蒸馏方法。该方法通过自适应采样模块从开放世界未标注数据中采样接近原始数据分布的数据，并利用低噪声、对比性结构知识来减少域偏移并挖掘样本间关系。ODSD在性能上达到当前最先进水平，在ImageNet上相比先前方法准确率提升1.50%–9.59%。

ABSTRACT

Data-Free Knowledge Distillation (DFKD) is a novel task that aims to train high-performance student models using only the pre-trained teacher network without original training data. Most of the existing DFKD methods rely heavily on additional generation modules to synthesize the substitution data resulting in high computational costs and ignoring the massive amounts of easily accessible, low-cost, unlabeled open-world data. Meanwhile, existing methods ignore the domain shift issue between the substitution data and the original data, resulting in knowledge from teachers not always trustworthy and structured knowledge from data becoming a crucial supplement. To tackle the issue, we propose a novel Open-world Data Sampling Distillation (ODSD) method for the DFKD task without the redundant generation process. First, we try to sample open-world data close to the original data's distribution by an adaptive sampling module and introduce a low-noise representation to alleviate the domain shift issue. Then, we build structured relationships of multiple data examples to exploit data knowledge through the student model itself and the teacher's structured representation. Extensive experiments on CIFAR-10, CIFAR-100, NYUv2, and ImageNet show that our ODSD method achieves state-of-the-art performance with lower FLOPs and parameters. Especially, we improve 1.50\%-9.59\% accuracy on the ImageNet dataset and avoid training the separate generator for each class.

研究动机与目标

• 通过用高效数据采样替代生成模块，消除数据自由知识蒸馏（DFKD）中的计算开销。
• 通过采样与源数据分布相似的开放世界数据，最小化原始数据与替代数据之间的域偏移。
• 通过学习采样数据的低噪声表征，减少蒸馏过程中的标签噪声。
• 通过结构化、对比性知识蒸馏，挖掘多个数据样本之间的隐式关系。
• 在不依赖原始训练数据或生成组件的前提下，实现在CIFAR-10、CIFAR-100、NYUv2和ImageNet上的最先进性能。

提出的方法

• 提出自适应原型采样（APS）模块，基于三个得分（置信度 sc_i、异常值 so_i 和类别密度 sd_i）选择开放世界未标注数据，以确保与原始数据的分布相似性。
• 引入去噪对比关系蒸馏（DCRD）模块，通过学习低噪声表征来抑制教师模型预测中的标签噪声。
• 在教师与学生网络之间构建对比性结构关系，以建模多个数据样本之间的隐含知识。
• 采用多目标训练损失，结合知识蒸馏（L_KD）、噪声正则化（L_n）和对比关系损失（L_c），以提升学生网络性能。
• 使用预训练教师网络（如ResNet-34/ResNet-50）提取特征，并在无法访问原始训练数据的情况下指导采样与蒸馏。
• 应用t-SNE可视化，证明通过APS采样的数据特征分布相较于随机采样或基线方法更接近原始数据分布。

实验结果

研究问题

• RQ1 在不牺牲性能的前提下，数据采样能否替代数据自由知识蒸馏中的生成模型？
• RQ2 在无法访问原始数据的情况下，如何最小化采样数据与原始数据分布之间的域偏移？
• RQ3 从开放世界未标注数据中学习低噪声表征，能在多大程度上减少蒸馏过程中的标签噪声？
• RQ4 通过未标注数据之间的结构化、样本间关系，能否实现超越单样本蒸馏的知识迁移？
• RQ5 将自适应采样与对比关系蒸馏相结合，是否能在标准基准上实现最先进性能？

主要发现

• ODSD在CIFAR-10、CIFAR-100、NYUv2和ImageNet上均实现了最先进准确率，且未使用任何原始训练数据或生成模型。
• 在ImageNet上，ODSD相比现有数据自由知识蒸馏方法准确率提升1.50%至9.59%。
• 消融实验表明，若移除任意一个采样得分（sc_i、so_i、sd_i），性能均会下降，证实三者对分布对齐的独立贡献。
• 三种训练目标（L_KD、L_n、L_c）的组合取得最佳性能，分别在50k和150k采样数据设置下达到75.26%和77.90%的准确率。
• t-SNE可视化结果证实，通过APS采样的数据特征分布显著更接近原始数据分布，优于随机采样或基线方法。
• DCRD模块通过建模多个数据样本之间的结构化关系，有效降低标签噪声并提升蒸馏效果。