[论文解读] Rocket Launching: A unified and effecient framework for training well-behaved light net

Guorui Zhou, Ying Fan+4 more|arXiv (Cornell University)|Aug 14, 2017

Machine Learning and Data Classification被引用 2

一句话总结

本文提出了一种名为 'Rocket Launching' 的统一框架，通过在整个训练过程中利用一个复杂且预训练的 'booster net' 作为教师模型，来训练一个轻量级神经网络（light net）。通过采用优化的损失函数进行知识蒸馏，并结合梯度阻断技术，light net 在保持低推理延迟的同时，实现了与更深模型相当的性能，该方法在基准数据集和工业级 CTR 预测数据集上均得到了验证。

ABSTRACT

Models applied on real time response task, like click-through rate (CTR) prediction model, require high accuracy and rigorous response time. Therefore, top-performing deep models of high depth and complexity are not well suited for these applications with the limitations on the inference time. In order to further improve the neural networks' performance given the time and computational limitations, we propose an approach that exploits a cumbersome net to help train the lightweight net for prediction. We dub the whole process rocket launching, where the cumbersome booster net is used to guide the learning of the target light net throughout the whole training process. We analyze different loss functions aiming at pushing the light net to behave similarly to the booster net, and adopt the loss with best performance in our experiments. We use one technique called gradient block to improve the performance of the light net and booster net further. Experiments on benchmark datasets and real-life industrial advertisement data present that our light model can get performance only previously achievable with more complex models.

研究动机与目标

• 解决在严格延迟约束的实时应用中部署高精度深度神经网络的挑战。
• 在不增加模型深度或复杂度的前提下，提升轻量级神经网络的性能。
• 开发一种训练框架，使 light net 在整个训练过程中能够模仿更复杂、高性能的 'booster net' 的行为。
• 优化损失函数，使 light net 的预测结果与 booster net 的预测结果高度对齐。
• 通过一种新颖的梯度阻断技术，提升训练的稳定性和性能。

提出的方法

• 训练一个高容量的 'booster net' 作为教师模型，为其轻量级目标网络生成监督信号。
• 通过最小化损失函数实现知识蒸馏，该损失函数促使 light net 复现 booster net 的输出分布。
• 评估并选择在多个候选损失函数中效果最佳的函数，以使 light net 的行为与 booster net 对齐。
• 引入梯度阻断机制，以稳定训练并改善梯度流向 light net 的效率。
• 使用 booster net 的预测结果作为监督信号，端到端训练 light net，且在训练过程中无需额外推理。
• 将该框架应用于基于基准数据集和工业规模广告数据集的实时 CTR 预测任务。

实验结果

研究问题

• RQ1 当受到高容量 'booster net' 指导时，轻量级神经网络是否能够实现与更深、更复杂的模型相当的性能？
• RQ2 在知识蒸馏过程中，哪种损失函数最有效地对齐 light net 与 booster net 的预测结果？
• RQ3 梯度阻断技术如何改善 light net 的训练动态和最终性能？
• RQ4 所提出的框架在保持高预测精度的前提下，能在多大程度上降低推理延迟？
• RQ5 该框架是否能在基准数据集和真实世界工业级 CTR 预测工作负载中均实现良好的泛化能力？

主要发现

• 所提出的 Rocket Launching 框架使轻量级神经网络能够实现以往仅通过更深、更复杂的模型才能达到的预测性能。
• 所选的知识蒸馏损失函数显著提升了 light net 与 booster net 之间的对齐程度，从而带来了更优的泛化能力。
• 梯度阻断技术增强了训练稳定性，并对提升最终模型的准确率起到了积极作用。
• 在基准数据集上，通过 Rocket Launching 训练的 light net 在保持低推理延迟的同时，性能优于标准轻量级模型。
• 在工业规模的广告 CTR 预测任务中，该方法实现了具有竞争力的性能，同时与完整深度模型相比计算成本显著降低。