[论文解读] Two Birds with One Stone: Unified Model Learning for Both Recall and Ranking in News Recommendation

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Apr 15, 2021

Recommender Systems and Techniques被引用 4

一句话总结

本文提出UniRec，一种统一模型，联合学习个性化新闻推荐中新闻召回与排序的用户嵌入。通过使用排序阶段的用户嵌入作为注意力查询，从M个通用用户兴趣表示的记忆库中选择并组合基础用户嵌入，UniRec在两项任务中均实现了最先进性能，同时通过模型统一减少了计算开销。

ABSTRACT

Recall and ranking are two critical steps in personalized news recommendation. Most existing news recommender systems conduct personalized news recall and ranking separately with different models. However, maintaining multiple models leads to high computational cost and poses great challenge to meeting the online latency requirement of news recommender systems. In order to handle this problem, in this paper we propose UniRec, a unified method for recall and ranking in news recommendation. In our method, we first infer user embedding for ranking from the historical news click behaviors of a user using a user encoder model. Then we derive the user embedding for recall from the obtained user embedding for ranking by using it as the attention query to select a set of basis user embeddings which encode different general user interests and synthesize them into a user embedding for recall. The extensive experiments on benchmark dataset demonstrate that our method can improve both efficiency and effectiveness for recall and ranking in news recommendation.

研究动机与目标

• 为解决大规模系统中维护独立召回与排序模型所带来的高计算与内存开销问题。
• 在不损失性能的前提下，统一学习召回与排序的用户嵌入。
• 利用排序阶段的用户兴趣表示来增强召回质量，同时过滤噪声兴趣。
• 满足实时新闻推荐系统中严格的在线延迟要求。

提出的方法

• 用户编码器模型处理历史点击新闻，使用多头自注意力和位置嵌入生成用于排序的用户嵌入。
• 将排序阶段的用户嵌入作为注意力查询，从M个通用用户兴趣表示的记忆库中选择top-k基础用户嵌入。
• 将选定的基础嵌入动态加权并组合，形成用于召回的个性化用户嵌入。
• 推理阶段仅使用注意力权重最高的前-P-个基础嵌入，以过滤掉噪声或无关的用户兴趣。
• 新闻编码器采用BERT风格架构来嵌入新闻内容，而用户编码器则使用自注意力和位置编码建模点击行为序列。
• 统一框架在召回与排序任务间共享新闻编码器和排序用户编码器，最大限度减少模型冗余。

实验结果

研究问题

• RQ1 单一统一模型能否在不降低性能的前提下，有效学习召回与排序的用户嵌入？
• RQ2 如何利用排序阶段的用户兴趣表示来提升召回质量？
• RQ3 基础用户嵌入的最优数量是多少？在召回中应选择多少个嵌入以实现性能与效率的平衡？
• RQ4 基于注意力的基础嵌入选择能否过滤噪声用户兴趣，从而提升召回的多样性与准确性？

主要发现

• UniRec在排序性能上优于NAML和NPA等强基线模型，证明了多头自注意力与位置嵌入的有效性。
• UniRec (top)，仅使用前5个基础嵌入，其召回性能优于UniRec(all)，后者使用全部基础嵌入，表明选择性注意力能有效过滤噪声。
• 基础用户嵌入的最优数量M为20，当M过小或过大时性能均下降，分别因覆盖不足或过拟合所致。
• 召回阶段最优选择的基础嵌入数量P为5，当P过小（覆盖不全）或过大（引入噪声嵌入）时性能均下降。
• 在真实世界基准数据集上的大量实验表明，UniRec通过统一模型在召回与排序任务中均实现了最先进性能。
• 案例研究显示，UniRec生成的召回结果具有多样性且准确，与多类别下推断的用户兴趣高度一致。