[论文解读] POSO: Personalized Cold Start Modules for Large-scale Recommender Systems

Shangfeng Dai, Hao-Bin Lin+6 more|arXiv (Cornell University)|Aug 10, 2021

Recommender Systems and Techniques参考文献 25被引用 7

一句话总结

本文提出POS0，一种用于大规模推荐系统的新型模块，通过使用用户组专用子模块和个性化门控机制，解决了用户冷启动中个性化特征被淹没的问题。通过为不同用户组分配独立的模块组合以平衡样本分布，并基于个性化特征动态路由，POS0在计算开销可忽略的情况下，将新用户观看时长提升7.75%，并有效推广至物品冷启动及非活跃用户场景。

ABSTRACT

Recommendation for new users, also called user cold start, has been a well-recognized challenge for online recommender systems. Most existing methods view the crux as the lack of initial data. However, in this paper, we argue that there are neglected problems: 1) New users' behaviour follows much different distributions from regular users. 2) Although personalized features are involved, heavily imbalanced samples prevent the model from balancing new/regular user distributions, as if the personalized features are overwhelmed. We name the problem as the "submergence" of personalization. To tackle this problem, we propose a novel module: Personalized COld Start MOdules (POSO). Considering from a model architecture perspective, POSO personalizes existing modules by introducing multiple user-group-specialized sub-modules. Then, it fuses their outputs by personalized gates, resulting in comprehensive representations. In such way, POSO projects imbalanced features to even modules. POSO can be flexibly integrated into many existing modules and effectively improves their performance with negligible computational overheads. The proposed method shows remarkable advantage in industrial scenario. It has been deployed on the large-scale recommender system of Kwai, and improves new user Watch Time by a large margin (+7.75%). Moreover, POSO can be further generalized to regular users, inactive users and returning users (+2%-3% on Watch Time), as well as item cold start (+3.8% on Watch Time). Its effectiveness has also been verified on public dataset (MovieLens 20M). We believe such practical experience can be well generalized to other scenarios.

研究动机与目标

• 为解决用户冷启动中因样本不平衡导致个性化特征被淹没的‘个性化淹没’问题。
• 通过在模型架构中强化个性化设计，提升新用户推荐性能。
• 设计一种灵活且低开销的模块，可无缝集成至MLP、MHA和MMoE等现有架构中。
• 将解决方案推广至新用户之外的场景，涵盖非活跃用户、回访用户及物品冷启动。
• 在真实世界与公开基准数据集上，验证不同个性化编码方式及模块专业化设计的有效性。

提出的方法

• POS0引入用户组专用子模块，仅针对特定用户组进行优化，确保各模块间样本分布均衡。
• 利用基于输入特征（个性化编码）生成的个性化门控机制，动态组合子模块输出，提升表征质量。
• 门控机制完全由个性化特征决定，避免其在样本不平衡数据中被掩盖。
• POS0设计为即插即用模块，兼容现有组件如多层感知机（MLP）、多头注意力（MHA）及多门控专家模型（MMoE）。
• 在MHA中，POS0通过学习到的门控向量与键（key）和值（value）矩阵进行逐元素相乘，实现个性化，同时保持计算效率。
• 通过近似与分析推导出标准模块的轻量化、高效个性化变体，计算成本极低。

实验结果

研究问题

• RQ1 在严重类别不平衡的冷启动场景下，个性化特征是否能被有效利用？
• RQ2 子模块的架构专业化是否能缓解样本不平衡数据中个性化特征的淹没问题？
• RQ3 个性化编码的选择如何影响冷启动设置下的模型性能？
• RQ4 POS0在新用户之外的场景（如非活跃用户、回访用户及物品冷启动）中，其泛化能力如何？
• RQ5 POS0能否在不引入显著计算开销的前提下，高效集成至标准深度学习模块中？

主要发现

• 在Kwai平台，POS0将新用户观看时长提升7.75%，展现出显著的工业应用价值。
• 该方法可推广至非活跃用户与回访用户，观看时长提升2%-3%。
• 在物品冷启动场景下，POS0实现观看时长3.8%的提升。
• 使用分桶化的累计观看时长（Accumulated View Count）作为个性化编码时性能最佳，优于简单指示符与嵌入表示。
• POS0中的子模块呈现专业化特征：例如，新用户主要由某一特定门控主导，而随着用户活跃度提升，另一门控逐渐接管。
• 在MHA中，最有效的POS0变体采用个性化键与值，而保持查询固定，实现了性能与效率的最优平衡。