[论文解读] PTUM: Pre-training User Model from Unlabeled User Behaviors via Self-supervision

Chuhan Wu, Fangzhao Wu+4 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 14被引用 10

一句话总结

本文提出PTUM，一种用于用户建模的自监督预训练框架，通过利用大规模未标注用户行为数据来学习通用的用户表征。通过引入掩码行为预测和未来K步行为预测作为自监督任务，PTUM在多个用户建模任务中提升了下游性能，尤其在标注数据稀缺时表现更优。

ABSTRACT

User modeling is critical for many personalized web services. Many existing methods model users based on their behaviors and the labeled data of target tasks. However, these methods cannot exploit useful information in unlabeled user behavior data, and their performance may be not optimal when labeled data is scarce. Motivated by pre-trained language models which are pre-trained on large-scale unlabeled corpus to empower many downstream tasks, in this paper we propose to pre-train user models from large-scale unlabeled user behaviors data. We propose two self-supervision tasks for user model pre-training. The first one is masked behavior prediction, which can model the relatedness between historical behaviors. The second one is next $K$ behavior prediction, which can model the relatedness between past and future behaviors. The pre-trained user models are finetuned in downstream tasks to learn task-specific user representations. Experimental results on two real-world datasets validate the effectiveness of our proposed user model pre-training method.

研究动机与目标

• 解决现有用户建模方法严重依赖标注数据且未能充分利用未标注用户行为中通用模式的局限性。
• 通过将自监督预训练适配于用户行为序列，弥合预训练语言模型与用户建模之间的差距。
• 通过利用大规模未标注用户行为数据，在低资源数据环境下提升用户表征学习能力。
• 设计针对用户行为序列的自监督任务，以捕捉历史行为之间的相关性以及过去与未来行为之间的时序动态。

提出的方法

• 提出两阶段框架：先在未标注用户行为上进行预训练，再在下游任务上使用标注数据进行微调。
• 设计掩码行为预测（MBP）任务，基于剩余行为预测被随机掩码的行为，以建模序列内部相关性。
• 引入未来K步行为预测（NBP）任务，从历史行为中预测未来K个行为，以捕捉时序依赖关系。
• 通过超参数λ加权的损失函数组合MBP与NBP目标，以在预训练过程中平衡两项任务。
• 使用行为编码器（如嵌入层或CNN）对单个行为进行编码，使用用户编码器（如GRU、Transformer或自注意力机制）将行为嵌入聚合为用户表征。
• 使用标准监督学习方法在下游任务（如点击率预测和人口统计分类）上微调预训练的用户模型。

实验结果

研究问题

• RQ1 在大规模未标注用户行为上进行自监督预训练，是否能提升下游个性化推荐任务中的用户表征学习？
• RQ2 掩码行为预测和未来K步行为预测作为自监督任务，在用户模型预训练中是否有效？
• RQ3 预训练是否能缓解在标注数据有限时的性能下降问题？
• RQ4 两项自监督任务的最优平衡是什么？超参数K和λ如何影响模型性能？

主要发现

• 在多个真实数据集上，PTUM预训练的用户模型在多种用户建模方法（如HSA、BERT4Rec）中均持续优于端到端训练的基线模型。
• 当标注数据稀缺时，PTUM的性能增益最为显著，证明其在低资源环境下的有效性。
• 掩码行为预测任务通过捕捉历史行为之间的关系，提升了模型性能，显著增强了表征质量。
• 未来K步行为预测任务增强了对过去与未来行为之间时序动态的建模，有助于提升下游任务性能。
• 结合两项自监督任务可获得最佳结果，表明同时建模短期与长期行为依赖具有互补优势。
• 最优超参数为λ = 1且K = 2；当K过小（如K=1）或过大时，性能均下降，原因分别为过拟合或预测难度增加。