[论文解读] Toward Understanding Privileged Features Distillation in Learning-to-Rank

Shuo Yang, Sujay Sanghavi+3 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文研究了排序学习中的特权特征蒸馏（PFD），其中教师模型利用常规特征和特权特征（如点击历史）进行训练，将知识蒸馏到仅使用常规特征的学生模型中。关键发现是性能曲线呈现非单调性：随着特权特征预测能力的增强，学生模型性能先提升后下降，原因是教师预测的方差过高。

ABSTRACT

In learning-to-rank problems, a privileged feature is one that is available during model training, but not available at test time. Such features naturally arise in merchandised recommendation systems; for instance, "user clicked this item" as a feature is predictive of "user purchased this item" in the offline data, but is clearly not available during online serving. Another source of privileged features is those that are too expensive to compute online but feasible to be added offline. Privileged features distillation (PFD) refers to a natural idea: train a "teacher" model using all features (including privileged ones) and then use it to train a "student" model that does not use the privileged features. In this paper, we first study PFD empirically on three public ranking datasets and an industrial-scale ranking problem derived from Amazon's logs. We show that PFD outperforms several baselines (no-distillation, pretraining-finetuning, self-distillation, and generalized distillation) on all these datasets. Next, we analyze why and when PFD performs well via both empirical ablation studies and theoretical analysis for linear models. Both investigations uncover an interesting non-monotone behavior: as the predictive power of a privileged feature increases, the performance of the resulting student model initially increases but then decreases. We show the reason for the later decreasing performance is that a very predictive privileged teacher produces predictions with high variance, which lead to high variance student estimates and inferior testing performance.

研究动机与目标

• 研究特权特征蒸馏（PFD）在排序学习中的有效性与局限性，特别是当测试阶段无法获取特权特征时的情况。
• 理解为何PFD在实践中优于多种基线方法，如无蒸馏、自蒸馏和广义蒸馏（GenD）。
• 揭示PFD性能背后的内在机制，尤其是教师预测方差的作用。
• 分析PFD在何种条件下会失败，即使特权特征具有强大的预测能力。

提出的方法

• 使用常规特征和特权特征联合训练教师模型，生成训练数据的软标签。
• 仅使用常规特征训练学生模型，损失函数通过加权组合方式融合真实标签与教师预测标签。
• 通过消融实验分析蒸馏损失权重（α）和标签稀疏性对性能的影响。
• 对线性模型进行理论分析，推导学生模型的估计误差并识别方差来源。
• 通过潜变量建模数据生成过程，将标签方差分解为噪声成分与由特权特征解释的部分。
• 推导在PFD下学生模型期望估计误差的闭式表达式，揭示偏差降低与方差增加之间的权衡。

实验结果

研究问题

• RQ1 为何PFD在多种排序学习数据集上均优于多个基线方法，包括自蒸馏和广义蒸馏？
• RQ2 特权特征的预测能力如何影响PFD中学生模型的性能？
• RQ3 PFD中观察到的非单调性能曲线（即最具预测力的特权特征并未带来最佳学生性能）的根本原因是什么？
• RQ4 为何广义蒸馏（GenD）——即教师仅使用特权特征——在实践中劣于PFD？
• RQ5 教师预测的方差在多大程度上影响PFD中学生模型的泛化误差？

主要发现

• PFD在三个公开排序学习数据集（Yahoo、Istella、MSLRWeb30k）和一个工业规模的Amazon搜索日志数据集上，全面优于所有基线方法——包括无蒸馏、自蒸馏、广义蒸馏和微调预训练模型。
• PFD的性能与特权特征的预测能力之间呈现非单调关系：性能先上升后下降，当特权特征更具预测力时性能反而下降。
• 当特权特征预测能力极强时性能下降的原因是教师预测方差过高，导致学生参数估计方差增大，泛化性能变差。
• 理论分析表明，PFD通过让学生学习到由特权特征解释的标签方差部分，降低了学生模型的估计方差，从而改善泛化性能。
• 广义蒸馏（GenD）表现劣于PFD，原因在于当特权特征与常规特征独立时，教师预测会退化为无信息噪声；且教师缺乏常规特征，难以提升预测质量。
• 在Amazon数据上的实证结果证实，使用最具预测力的特征（如“加入购物车”）并未带来最佳PFD性能，验证了理论与合成实验中观察到的非单调行为。