[论文解读] One4all User Representation for Recommender Systems in E-commerce

Kyuyong Shin, Kwak, Hanock+5 more|arXiv (Cornell University)|May 24, 2021

Recommender Systems and Techniques参考文献 34被引用 8

一句话总结

本文提出 ShoppersBERT，一种基于 80 亿条电子商务用户行为预训练的通用用户表征模型，用于为多种下游任务生成统一嵌入。通过学习九种掩蔽任务，ShoppersBERT 的预训练嵌入在六项推荐与用户画像任务中的五项上优于特定任务的监督特征和强基线模型，展现出卓越的泛化能力与计算效率。

ABSTRACT

General-purpose representation learning through large-scale pre-training has shown promising results in the various machine learning fields. For an e-commerce domain, the objective of general-purpose, i.e., one for all, representations would be efficient applications for extensive downstream tasks such as user profiling, targeting, and recommendation tasks. In this paper, we systematically compare the generalizability of two learning strategies, i.e., transfer learning through the proposed model, ShopperBERT, vs. learning from scratch. ShopperBERT learns nine pretext tasks with 79.2M parameters from 0.8B user behaviors collected over two years to produce user embeddings. As a result, the MLPs that employ our embedding method outperform more complex models trained from scratch for five out of six tasks. Specifically, the pre-trained embeddings have superiority over the task-specific supervised features and the strong baselines, which learn the auxiliary dataset for the cold-start problem. We also show the computational efficiency and embedding visualization of the pre-trained features.

研究动机与目标

• 开发一种适用于多种电子商务下游任务（如用户画像、精准投放与推荐）的通用用户表征模型。
• 评估在大规模用户行为序列上进行预训练是否能提升模型泛化能力，相比从零开始训练。
• 探究多任务掩蔽学习在电子商务场景中学习鲁棒、可迁移用户嵌入的有效性。
• 通过可视化展示，验证所学习用户嵌入的可解释性与计算效率。
• 对比预训练嵌入与特定任务监督特征及现有冷启动基线模型的性能表现。

提出的方法

• 基于 BERT 架构构建，ShoppersBERT 在两年内从一个电子商务平台收集的 80 亿条用户行为数据上进行预训练。
• 模型同时学习九种掩蔽任务，以捕捉多样的用户行为模式与潜在用户偏好。
• 最终用户嵌入通过在下游任务微调后，从 [CLS] 标记的表示中提取。
• 预训练过程无需显式标签，依赖自监督学习目标来建模序列行为模式。
• 模型在每个下游任务上通过简单的多层感知机（MLP）头进行微调。
• 通过嵌入可视化与推理速度评估其可解释性与计算效率。

实验结果

研究问题

• RQ1 一个单一的、通用的用户表征模型能否有效服务于多种电子商务下游任务？
• RQ2 在大规模、未标注的用户行为序列上进行预训练，是否能带来优于从零开始训练的性能提升？
• RQ3 预训练嵌入与特定任务监督特征及现有冷启动基线相比，性能如何？
• RQ4 预训练嵌入在多样化推荐与用户画像任务中的泛化能力达到何种程度？
• RQ5 在真实电子商务系统中，使用预训练嵌入在计算效率与可解释性之间存在怎样的权衡？

主要发现

• ShoppersBERT 的预训练嵌入在六项下游任务中的五项上优于从零开始训练的更复杂模型。
• 预训练嵌入在性能上超越了使用辅助数据集解决冷启动问题的强基线模型。
• 仅通过简单的 MLP 头，该模型在用户画像、精准投放与推荐任务中达到当前最优性能。
• 与从零开始训练的复杂模型相比，预训练嵌入的推理速度与计算效率显著更高。
• 所学习嵌入的可视化结果揭示出有意义的聚类模式，表明模型有效捕捉了用户行为语义。
• 多任务掩蔽学习策略有效实现了用户表征在多样化电子商务应用中的泛化。