[论文解读] Teacher-Student Compression with Generative Adversarial Networks

Ruishan Liu, Nicolò Fusi+1 more|arXiv (Cornell University)|Dec 5, 2018

Advanced Image Processing Techniques参考文献 37被引用 13

一句话总结

本文提出 GAN-TSC，一种教师-学生压缩框架，通过使用 GAN 生成合成训练数据来增强有限或重复使用的实际数据，从而提升模型蒸馏效果。通过提升数据多样性与类别亲和性，GAN-TSC 显著提高了在大型模型（如深度神经网络和随机森林）上在表格和图像数据集上的学生模型准确率，其提出的 TSC 分数指标在评估中优于 Inception Score。

ABSTRACT

More accurate machine learning models often demand more computation and memory at test time, making them difficult to deploy on CPU- or memory-constrained devices. Teacher-student compression (TSC), also known as distillation, alleviates this burden by training a less expensive student model to mimic the expensive teacher model while maintaining most of the original accuracy. However, when fresh data is unavailable for the compression task, the teacher's training data is typically reused, leading to suboptimal compression. In this work, we propose to augment the compression dataset with synthetic data from a generative adversarial network (GAN) designed to approximate the training data distribution. Our GAN-assisted TSC (GAN-TSC) significantly improves student accuracy for expensive models such as large random forests and deep neural networks on both tabular and image datasets. Building on these results, we propose a comprehensive metric---the TSC Score---to evaluate the quality of synthetic datasets based on their induced TSC performance. The TSC Score captures both data diversity and class affinity, and we illustrate its benefits over the popular Inception Score in the context of image classification.

研究动机与目标

• 为解决在真实训练数据稀缺或重复使用时教师-学生压缩（TSC）的局限性，从而导致学生模型性能不佳的问题。
• 通过引入更能捕捉潜在数据分布的合成数据，增强压缩数据集，以提升学生模型的泛化能力和准确率。
• 开发一种全面的评估指标——TSC 分数，用于定量衡量在 TSC 背景下合成数据集的质量，综合考虑数据多样性和类别亲和性。
• 在包括表格和图像数据在内的多种数据集上，证明所提出的 GAN-TSC 框架优于基线蒸馏方法。

提出的方法

• 训练生成对抗网络（GAN），以建模教师模型训练数据的真实数据分布，生成用于压缩的合成样本。
• 将合成数据与真实数据结合，用于训练学生模型，使其能从更丰富且更具代表性的数据集中学习。
• 通过对抗训练优化 GAN，确保生成样本具有真实感并保持类别结构，从而提升学生模型的泛化能力。
• 引入 TSC 分数作为评估指标，基于其在 TSC 中引发的性能表现，综合衡量合成数据集的质量，涵盖数据多样性和类别亲和性。
• 将 TSC 分数用于与 Inception Score 等标准指标对比，验证其在预测实际蒸馏性能方面具有更优的相关性。
• 使用增强后的数据集训练大型学生模型（如深度神经网络、随机森林），并评估其相对于教师模型的准确率。

实验结果

研究问题

• RQ1 当真实数据稀缺或重复使用时，通过 GAN 生成的合成数据是否能提升教师-学生压缩中学生模型的性能？
• RQ2 TSC 分数衡量的合成数据质量，与不同模型架构和数据集下的实际蒸馏准确率之间是否存在相关性？
• RQ3 TSC 分数是否在评估知识蒸馏任务中的合成数据时，优于 Inception Score 等成熟指标？
• RQ4 GAN 增强的数据在多大程度上提升了复杂模型（如深度神经网络和大型随机森林）的学生模型准确率？
• RQ5 合成数据中的数据多样性与类别亲和性在多大程度上影响了蒸馏后学生模型的泛化能力？

主要发现

• GAN-TSC 通过生成高质量的合成数据，更准确地反映潜在数据分布，显著提升了在图像和表格数据集上学生模型的准确率。
• TSC 分数能有效捕捉合成数据集在知识蒸馏背景下的质量，其在预测实际 TSC 性能方面优于 Inception Score。
• 通过 GAN 生成的合成数据增强了数据多样性并保持了类别结构，从而提升了蒸馏模型的泛化能力和准确率。
• 该方法在大型复杂模型（包括深度神经网络和大型随机森林）上实现了显著的性能提升，即使在真实数据稀缺或重复使用的情况下亦是如此。
• TSC 分数与实际蒸馏准确率表现出强相关性，验证了其作为 TSC 中合成数据评估可靠指标的有效性。
• 实验表明，GAN 增强的压缩方法在低数据场景下显著优于仅使用真实数据的标准蒸馏方法。