[论文解读] On component interactions in two-stage recommender systems

Jiri Hron, Karl Krauth+2 more|arXiv (Cornell University)|Jun 28, 2021

Advanced Bandit Algorithms Research参考文献 92被引用 11

一句话总结

本文表明，两阶段推荐系统中组件之间的交互作用对性能有关键影响，挑战了将提名器和排序器独立训练的常见做法。通过将提名器建模为具有可学习物品池分配的专家混合模型（Mixture-of-Experts），该方法显著提升了K值下的精确率与召回率，优于独立训练和随机基线方法。

ABSTRACT

Thanks to their scalability, two-stage recommenders are used by many of today's largest online platforms, including YouTube, LinkedIn, and Pinterest. These systems produce recommendations in two steps: (i) multiple nominators, tuned for low prediction latency, preselect a small subset of candidates from the whole item pool; (ii) a slower but more accurate ranker further narrows down the nominated items, and serves to the user. Despite their popularity, the literature on two-stage recommenders is relatively scarce, and the algorithms are often treated as mere sums of their parts. Such treatment presupposes that the two-stage performance is explained by the behavior of the individual components in isolation. This is not the case: using synthetic and real-world data, we demonstrate that interactions between the ranker and the nominators substantially affect the overall performance. Motivated by these findings, we derive a generalization lower bound which shows that independent nominator training can lead to performance on par with uniformly random recommendations. We find that careful design of item pools, each assigned to a different nominator, alleviates these issues. As manual search for a good pool allocation is difficult, we propose to learn one instead using a Mixture-of-Experts based approach. This significantly improves both precision and recall at K.

研究动机与目标

• 探究提名器与排序器之间的交互作用如何影响两阶段推荐系统的整体性能，而不仅限于各组件独立行为的影响。
• 识别标准独立训练提名器方法的局限性，该方法可能导致性能不优于随机推荐。
• 探究是否通过为每个提名器分配物品池的不相交子集（即专业化提名器），可提升整体系统性能。
• 开发并评估一种基于专家混合模型（MoE）架构的联合训练框架，以学习最优的物品池分配。
• 为将两阶段系统视为集成系统而非模块化组件，提供理论与实证依据。

提出的方法

• 作者推导出一个泛化下界，表明在特定条件下，独立训练提名器可能导致性能等同于随机推荐。
• 提出一种专家混合模型（MoE）框架，其中每个提名器作为针对学习到的物品池子集的专家，由门控网络决定在特定用户上下文中使用哪个提名器。
• MoE模型联合训练提名器与门控机制，使系统能够学习最优的物品池划分，而无需人工设计。
• 该方法采用可微分的训练目标，以优化K值下的精确率与召回率，并通过正则化防止在小样本数据集或高维嵌入上的过拟合。
• 在合成数据集与真实世界数据集上评估该方法，将基于MoE的训练与独立训练及均匀池分配进行对比。
• 理论分析包括一种遗憾分解，表明排序器减少遗憾的能力取决于提名器所生成候选集的质量与多样性。

实验结果

研究问题

• RQ1 提名器与排序器之间的交互作用如何影响两阶段推荐系统的整体性能？
• RQ2 独立训练提名器是否可能导致性能不优于随机推荐？若然，其发生条件为何？
• RQ3 将提名器专门化于物品池的不相交子集，是否能带来K值下精确率与召回率的可测量提升？
• RQ4 专家混合模型（MoE）架构能否学习到优于人工设计或均匀划分的物品池分配？
• RQ5 与基线训练方案相比，基于MoE的联合训练策略在多大程度上减少了累积遗憾？

主要发现

• 独立训练提名器可能导致性能与均匀随机推荐无异，该结论由一个理论泛化下界支持。
• 采用可学习物品池分配的专家混合模型（MoE）方法，在多个数据集与设置下，显著提升了K值下的精确率与召回率。
• 当物品池被划分为每个提名器专注于不同子集时，性能提升最为显著，此时候选集的多样性得到增强。
• 当训练集较小（例如每臂仅100个样本）或嵌入维度较高时，MoE模型可能表现欠佳，但可通过超参数调优与正则化缓解该问题。
• MoE框架中的门控机制能够恢复任意固定池分配，表明模型性能下降源于优化问题或过拟合，而非架构限制。
• 实证结果表明，联合MoE训练始终优于独立训练与均匀分配，尤其在每个提名器建模能力有限的场景下表现更优。