[论文解读] OFF-Set: One-pass Factorization of Feature Sets for Online Recommendation in Persistent Cold Start Settings

Michal Aharon, Natalie Aizenberg+7 more|arXiv (Cornell University)|Aug 8, 2013

Recommender Systems and Techniques被引用 6

一句话总结

OFF-Set 是一种单次遍历、在线的矩阵分解算法，通过在潜在空间中建模用户特征及其成对交互，解决实时推荐系统中持续存在的冷启动问题。在真实广告定向数据上，其性能优于最先进基线模型——尤其是因子分解机（Factorization Machines）和梯度提升决策树（GBDT）——在 Campaign A 上达到 0.5993 的 MRR，在 Campaign B 上达到 0.6234，相较于随机基线和流行度基线具有显著的统计优势。

ABSTRACT

One of the most challenging recommendation tasks is recommending to a new, previously unseen user. This is known as the 'user cold start' problem. Assuming certain features or attributes of users are known, one approach for handling new users is to initially model them based on their features. Motivated by an ad targeting application, this paper describes an extreme online recommendation setting where the cold start problem is perpetual. Every user is encountered by the system just once, receives a recommendation, and either consumes or ignores it, registering a binary reward. We introduce One-pass Factorization of Feature Sets, OFF-Set, a novel recommendation algorithm based on Latent Factor analysis, which models users by mapping their features to a latent space. Furthermore, OFF-Set is able to model non-linear interactions between pairs of features. OFF-Set is designed for purely online recommendation, performing lightweight updates of its model per each recommendation-reward observation. We evaluate OFF-Set against several state of the art baselines, and demonstrate its superiority on real ad-targeting data.

研究动机与目标

• 解决在线推荐系统中用户仅被观察一次所导致的持续性冷启动问题。
• 实现实时、在线学习，每次用户交互仅进行轻量级更新。
• 在共享潜在空间中同时建模用户个体特征及其非线性成对交互。
• 在真实世界广告定向数据上，性能优于最先进基线模型。
• 支持在动态、高吞吐量推荐环境中可扩展、低内存的部署。

提出的方法

• OFF-Set 使用潜在因子模型将用户特征映射到低维空间，用户-物品匹配分数通过内积计算。
• 通过为特征组合学习共享潜在表示，引入成对特征交互，实现非线性建模。
• 算法对每个观测到的（用户，物品，奖励）三元组执行单次、轻量级更新，实现完全在线，适用于流式数据。
• 将学习目标表述为对数似然最大化，实现收敛，无需离线预训练或探索策略。
• 潜在空间通过特征特定向量及其成对交互项构建，支持对相关特征（如年龄范围、地理区域）进行分层平滑。
• 支持从任意数据源（在线或离线）进行训练，无需重新训练，可无缝集成至现有推荐流水线。

实验结果

研究问题

• RQ1 一种单次遍历、在线的矩阵分解算法能否有效建模用户特征及其交互，以应对持续性冷启动问题？
• RQ2 在稀疏、流式环境中，引入成对特征交互如何提升推荐性能？
• RQ3 OFF-Set 在真实世界的广告定向场景中是否优于最先进模型（如因子分解机和 GBDT）？
• RQ4 在流式环境中，该算法在极低内存和计算开销下能将性能维持到何种程度？
• RQ5 该模型能否泛化至广告定向以外的其他冷启动场景，如电商商品推荐？

主要发现

• 在真实广告定向数据中，OFF-Set 在 Campaign A 上达到 0.5993 的 MRR，在 Campaign B 上达到 0.6234，显著优于次优基线模型（FM 搭配成对特征）的 0.3038 和 0.3824。
• OFF-Set 与随机基线的性能差距在 Campaign A 上为 0.3879，在 Campaign B 上为 0.3979，均超过 95% 置信水平下的 0.055 和 0.091 显著性阈值。
• 在合成数据上，OFF-Set 的性能与 FM 搭配成对特征（0.8390 MRR）相当，优于 GBDT（0.8327 MRR）和原始 FM（0.8051 MRR）。
• 在趋势性合成数据中，OFF-Set 维持了强劲性能（0.8231 MRR），而 FM 搭配成对特征下降至 0.6803，表明其对概念漂移具有鲁棒性。
• 该算法的单次遍历、轻量级更新机制使其在高吞吐量、内存受限环境中实现高效部署，优于基于重训练的模型（如 GBDT 和 FM）在在线设置下的表现。
• 在极端点击稀疏性（非点击比点击多 2–3 个数量级）的真实场景中，OFF-Set 展现出卓越的可扩展性和适应性，尽管存在数据不平衡，仍能保持高 MRR。