[论文解读] Ranking Distillation: Learning Compact Ranking Models With High Performance for Recommender System

Jiaxi Tang, Ke Wang|arXiv (Cornell University)|Sep 19, 2018

Recommender Systems and Techniques参考文献 41被引用 20

一句话总结

本文提出排名蒸馏（Ranking Distillation, RD），一种知识蒸馏技术，通过让小型学生模型模仿大型教师模型在排序任务（如推荐系统）中的行为，实现高效推理。该方法结合真实标签与教师模型的Top-K排序监督，使学生模型在模型参数量不足教师一半的情况下，达到接近教师的性能，显著提升推理效率而不损失有效性。

ABSTRACT

We propose a novel way to train ranking models, such as recommender systems, that are both effective and efficient. Knowledge distillation (KD) was shown to be successful in image recognition to achieve both effectiveness and efficiency. We propose a KD technique for learning to rank problems, called \emph{ranking distillation (RD)}. Specifically, we train a smaller student model to learn to rank documents/items from both the training data and the supervision of a larger teacher model. The student model achieves a similar ranking performance to that of the large teacher model, but its smaller model size makes the online inference more efficient. RD is flexible because it is orthogonal to the choices of ranking models for the teacher and student. We address the challenges of RD for ranking problems. The experiments on public data sets and state-of-the-art recommendation models showed that RD achieves its design purposes: the student model learnt with RD has a model size less than half of the teacher model while achieving a ranking performance similar to the teacher model and much better than the student model learnt without RD.

研究动机与目标

• 为解决大规模推荐系统中排序模型在有效性与推理效率之间的权衡问题。
• 将知识蒸馏（在分类任务中已被证明有效）适配至排序问题，其中目标是相对排序而非类别预测。
• 设计一种灵活、与模型架构无关的蒸馏框架，使小型学生模型能够达到大型教师模型的性能水平。
• 平衡来自真实标签与教师模型排序输出的监督信号，确保模型具备鲁棒的泛化能力。
• 在真实世界数据集上使用最先进排序模型评估该方法，验证其在模型压缩与性能保持方面的有效性。

提出的方法

• 该方法通过最小化两个损失函数来训练更小的学生模型：一个基于真实相关性标签，另一个基于大型教师模型生成的相对排序顺序。
• 教师模型为每个查询生成项目间的软性排序输出，学生模型则学习复现该输出中Top-K项目的相对排序。
• 提出一种混合加权策略，为教师模型排名靠前的项目赋予更高重要性，以提升蒸馏的保真度。
• 蒸馏损失结合了学生与教师模型排序分布之间的KL散度，重点保留Top排名项目的相对顺序。
• 该方法与模型架构无关，可应用于任意教师-学生配对的排序模型，包括深度神经网络。
• 通过损失的加权组合，动态平衡对真实标签与教师监督的信任程度，从而提升泛化性能。

实验结果

研究问题

• RQ1 知识蒸馏能否有效适配至排序问题？在排序任务中，目标是相对排序而非分类，该方法是否可行？
• RQ2 如何有意义地利用教师模型的排序输出来监督小型学生模型，以保持其排序性能？
• RQ3 针对教师模型Top-K排名的哪些加权策略能在排序任务的蒸馏中取得最佳性能？
• RQ4 在模型显著更小、推理速度更快的前提下，学生模型在多大程度上可实现与大型教师模型相当的性能？
• RQ5 与不使用蒸馏直接训练学生模型相比，该方法在模型大小与排序有效性方面表现如何？

主要发现

• 使用排名蒸馏训练的学生模型模型参数量不足教师模型的一半，同时保持了与教师模型几乎相同的排序性能。
• 在Gowalla数据集上，表现最佳的RD变体（混合加权）实现了P@10为0.0878，nDCG@10为0.1283，MAP为0.0969，显著优于未使用蒸馏训练的学生模型。
• 在Foursquare数据集上，混合加权策略将P@10从均匀加权的0.0424提升至0.0444，nDCG@10与MAP也相应提升。
• 位置重要性加权策略优于均匀加权与单模型加权策略，表明教师模型中排名靠前的项目对蒸馏更具信息量。
• 混合加权策略（结合位置重要性与排序差异）在两个数据集上均取得最佳结果，证实其在平衡监督信号方面的有效性。
• 该方法在不同排序模型与数据集上均表现出强泛化能力，证明其在真实推荐场景中的灵活性与鲁棒性。