[论文解读] ReLoop: A Self-Correction Continual Learning Loop for Recommender Systems

Guohao Cai, Jieming Zhu+5 more|arXiv (Cornell University)|Apr 24, 2022

Recommender Systems and Techniques被引用 5

一句话总结

ReLoop 提出了一种用于推荐系统的自我校正持续学习框架，通过在训练过程中减少先前模型版本的预测误差，实现性能提升。通过引入一种定制化损失函数，惩罚在先前预测上表现退化的模型，ReLoop 使模型能够主动从自身错误中学习，在公共数据集和工业数据集的离线基准测试与在线 A/B 测试中均实现持续改进。

ABSTRACT

Deep learning-based recommendation has become a widely adopted technique in various online applications. Typically, a deployed model undergoes frequent re-training to capture users' dynamic behaviors from newly collected interaction logs. However, the current model training process only acquires users' feedbacks as labels, but fail to take into account the errors made in previous recommendations. Inspired by the intuition that humans usually reflect and learn from mistakes, in this paper, we attempt to build a self-correction learning loop (dubbed ReLoop) for recommender systems. In particular, a new customized loss is employed to encourage every new model version to reduce prediction errors over the previous model version during training. Our ReLoop learning framework enables a continual self-correction process in the long run and thus is expected to obtain better performance over existing training strategies. Both offline experiments and an online A/B test have been conducted to validate the effectiveness of ReLoop.

研究动机与目标

• 解决现有推荐训练循环忽略历史推荐误差的局限性。
• 使推荐模型能够主动从自身错误中学习，受人类自我反思与纠错机制的启发。
• 设计一种通用的、与模型无关的框架，通过在线训练循环中的持续自我校正提升性能。
• 在离线评估与真实世界在线部署中验证自我校正的有效性。

提出的方法

• 引入一个自我校正模块，将当前模型在相同数据样本上的预测结果与前一版本模型的预测进行比较。
• 将样本级别的预测误差定义为模型得分与真实标签（如点击/未点击）之间的绝对差值。
• 提出一种定制化损失函数，若当前模型在任一样本上的预测误差超过前一版本模型，则对该损失进行惩罚。
• 在训练过程中应用该损失，以确保每个新模型版本在误差减少方面均优于前一版本。
• 使框架与模型无关，可无缝集成到任何现有的推荐模型架构中。
• 采用离线数据集和真实工业数据进行评估，包括在信息流系统中的在线 A/B 测试。

实验结果

研究问题

• RQ1 推荐系统能否通过主动学习自身历史预测误差来提升性能？
• RQ2 如何增强持续训练循环，使其不仅基于用户点击反馈，还能整合先前模型版本的预测误差？
• RQ3 能否设计一种通用的、与模型无关的损失函数，以在连续模型更新中强制实现自我校正？
• RQ4 自我校正机制是否能在离线指标和在线业务关键绩效指标（KPI）上带来可测量的改进？

主要发现

• ReLoop 在四个公开的 CTR 预测数据集上持续优于强基线模型，AUC 和 logloss 指标均有提升。
• 该框架通过显式学习历史模型错误，而非仅模仿过去行为，优于知识蒸馏和持续学习基线方法。
• 在真实工业信息流系统中的在线 A/B 测试证实，ReLoop 显著提升了点击率和用户参与度等关键业务指标。
• 自我校正机制随时间推移显著降低了预测误差，证明了所提出损失函数的有效性。