[论文解读] Private Model Compression via Knowledge Distillation

Ji Wang, Weidong Bao+4 more|arXiv (Cornell University)|Nov 13, 2018

Privacy-Preserving Technologies in Data参考文献 22被引用 20

一句话总结

本文提出 Rona，一种私有模型压缩框架，通过差分隐私知识蒸馏训练紧凑高效的教师模型，从大型教师模型中提取知识，而无需暴露敏感用户数据。通过自适应地限制并扰动蒸馏知识，并采用查询高效的样本选择机制，Rona 实现了高达 20× 的模型压缩和在 SVHN 上 19× 的加速，仅损失 0.97% 的准确率，同时保证了强大的隐私保护（例如，(9.83, 10⁻⁶)-差分隐私）。

ABSTRACT

The soaring demand for intelligent mobile applications calls for deploying powerful deep neural networks (DNNs) on mobile devices. However, the outstanding performance of DNNs notoriously relies on increasingly complex models, which in turn is associated with an increase in computational expense far surpassing mobile devices' capacity. What is worse, app service providers need to collect and utilize a large volume of users' data, which contain sensitive information, to build the sophisticated DNN models. Directly deploying these models on public mobile devices presents prohibitive privacy risk. To benefit from the on-device deep learning without the capacity and privacy concerns, we design a private model compression framework RONA. Following the knowledge distillation paradigm, we jointly use hint learning, distillation learning, and self learning to train a compact and fast neural network. The knowledge distilled from the cumbersome model is adaptively bounded and carefully perturbed to enforce differential privacy. We further propose an elegant query sample selection method to reduce the number of queries and control the privacy loss. A series of empirical evaluations as well as the implementation on an Android mobile device show that RONA can not only compress cumbersome models efficiently but also provide a strong privacy guarantee. For example, on SVHN, when a meaningful $(9.83,10^{-6})$-differential privacy is guaranteed, the compact model trained by RONA can obtain 20$ imes$ compression ratio and 19$ imes$ speed-up with merely 0.97% accuracy loss.

研究动机与目标

• 解决在资源受限的移动设备上部署大型、高精度深度神经网络（DNNs）的同时保护用户数据隐私的双重挑战。
• 克服现有知识蒸馏方法的局限性，尽管使用了敏感训练数据，但并未提供正式的隐私保障。
• 开发一种框架，使用户设备上可使用在公共数据上训练的紧凑学生模型进行推理，而无需暴露教师模型或敏感用户数据。
• 通过仔细扰动蒸馏知识，实现可证明的隐私保护，同时保持高模型准确率和效率。

提出的方法

• 利用仅公开的训练数据，通过知识蒸馏将大型预训练教师模型的知识迁移到更小的学生模型。
• 引入自适应范数边界技术，动态控制蒸馏过程中的梯度大小，提升训练稳定性并加速收敛。
• 通过向蒸馏知识（如特征图或logits）中注入校准噪声，应用差分隐私，以确保(ε, δ)-差分隐私。
• 设计一种查询样本选择机制，减少对教师模型的查询次数，从而最小化隐私预算消耗。
• 在蒸馏过程中集成自学习机制，以在不增加额外查询或隐私成本的前提下提升学生模型性能。
• 结合提示学习（中间层监督）、蒸馏学习（输出软标签匹配）和自学习（伪标签）技术，增强学生模型的泛化能力。

实验结果

研究问题

• RQ1 当教师模型在敏感用户数据上进行训练时，能否使知识蒸馏在不暴露数据或模型的情况下实现私有安全？
• RQ2 如何有效将差分隐私应用于蒸馏知识（如特征图或logits）以确保可证明的隐私保障？
• RQ3 在保持高准确率和低隐私预算消耗的前提下，模型压缩能达到何种程度？
• RQ4 自适应查询选择和自学习技术能否在不降低性能的前提下减少对教师模型的查询次数？
• RQ5 在现实条件下，当某些数据类别（如数字6和9）被视为高度敏感并被排除在训练之外时，该框架的表现如何？

主要发现

• 在 SVHN 上，Rona 实现了 20× 的压缩率和 19× 的加速，仅损失 0.97% 的准确率，同时保证了 (9.83, 10⁻⁶)-差分隐私。
• 在 MNIST 上，Rona 实现了 98.64% 的准确率，隐私保护为 (7.68, 10⁻⁵)，在类似隐私约束下优于先前工作。
• 在 CIFAR-10 上，Rona 实现了 81.69% 的准确率，隐私保护为 (8.87, 10⁻⁵)，优于以往方法在相似隐私预算下仅报告的 73% 准确率。
• 自适应范数边界方法显著加速了训练过程并提升了准确率，在更少的查询周期和更低的隐私损失下实现了更高性能。
• 即使学生模型从未见过某些敏感类别（如 MNIST 上的数字6和9），在 (ε=29.8, δ=10⁻⁶) 的隐私保护下，Rona 仍将识别准确率从 0% 提升至 53.43%。
• 该框架实现了高效的设备端部署：在华为荣耀 8 上，学生模型在 MNIST 上的推理速度比教师模型快 11 倍，准确率仅下降 0.2%。