[论文解读] Pre-training of Context-aware Item Representation for Next Basket Recommendation

Jingxuan Yang, Jun Xu+4 more|arXiv (Cornell University)|Apr 14, 2019

Recommender Systems and Techniques参考文献 11被引用 9

一句话总结

本文提出 IERT，一种受 BERT 启发的上下文感知项目表征模型，用于下一次购物篮推荐。该模型通过交易序列预训练深度动态项目嵌入，并在线微调，实现了 SOTA 性能，在 Ta-Feng 数据集上取得 21.3% 的 F1-score@5 和 34.0% 的 NDCG@5，显著优于先前方法，其关键在于建模能够适应交易上下文的项目表征。

ABSTRACT

Next basket recommendation, which aims to predict the next a few items that a user most probably purchases given his historical transactions, plays a vital role in market basket analysis. From the viewpoint of item, an item could be purchased by different users together with different items, for different reasons. Therefore, an ideal recommender system should represent an item considering its transaction contexts. Existing state-of-the-art deep learning methods usually adopt the static item representations, which are invariant among all of the transactions and thus cannot achieve the full potentials of deep learning. Inspired by the pre-trained representations of BERT in natural language processing, we propose to conduct context-aware item representation for next basket recommendation, called Item Encoder Representations from Transformers (IERT). In the offline phase, IERT pre-trains deep item representations conditioning on their transaction contexts. In the online recommendation phase, the pre-trained model is further fine-tuned with an additional output layer. The output contextualized item embeddings are used to capture users' sequential behaviors and general tastes to conduct recommendation. Experimental results on the Ta-Feng data set show that IERT outperforms the state-of-the-art baseline methods, which demonstrated the effectiveness of IERT in next basket representation.

研究动机与目标

• 解决基于深度学习的下一次购物篮推荐系统中静态项目表征的局限性。
• 建模能够适应交易上下文的项目表征，以反映用户意图和序列行为。
• 将 NLP 中的 BERT 预训练与微调范式迁移至协同过滤与推荐任务。
• 通过上下文感知的项目嵌入，捕捉用户一般偏好与序列购买模式，提升推荐准确性。
• 证明在原始交易序列上进行预训练以实现迁移学习在项目表征学习中的有效性。

提出的方法

• IERT 采用两阶段训练流程：先在历史交易序列上进行离线预训练，随后通过特定任务的输出层进行在线微调。
• 该模型采用 Transformer 编码器，通过关注交易序列中周围项目来学习上下文感知的项目表征。
• 输入表征通过求和 token 嵌入（项目 ID）、段落嵌入（用于区分用户会话）和位置嵌入（用于编码顺序）构建。
• 在预训练阶段，模型通过掩码项目预测进行训练，即随机掩码序列中的项目，模型根据上下文预测被掩码的项目。
• 在微调阶段，预训练模型通过添加最终输出层进一步优化，以预测下一次购物篮，利用上下文感知的项目嵌入来建模用户行为。
• 该模型利用 BERT 风格的双向注意力机制，捕捉购物篮中项目之间的长距离依赖与上下文关系。

实验结果

研究问题

• RQ1 与静态项目嵌入相比，预训练上下文感知项目表征是否能提升下一次购物篮推荐性能？
• RQ2 BERT 启发的架构在从序列交易数据中学习动态、上下文敏感的项目表征方面效果如何？
• RQ3 分离预训练与微调阶段是否能增强模型泛化能力与推荐准确性？
• RQ4 上下文感知项目表征在多大程度上能同时捕捉用户一般偏好与序列购买行为？
• RQ5 在真实世界交易数据上，该模型在 F1-score 与 NDCG 指标上相对于 SOTA 方法表现如何？

主要发现

• IERT 取得了 21.3% 的 F1-score@5，显著优于次佳基线 ANAM 的 14.6%。
• IERT 取得了 34.0% 的 NDCG@5，较 ANAM 的 19.0% 提升了 78.9%。
• 消融实验表明，若移除预训练阶段（IERT w/o pre-training），性能下降至 15.0% 的 F1-score@5，证实了预训练的价值。
• 该模型表明，上下文感知项目表征在捕捉用户意图与序列模式方面优于静态嵌入。
• 结果表明，通过在交易序列上进行预训练实现的迁移学习，能同时提升表征质量与下游推荐准确性。
• IERT 在 F1-score 与 NDCG 两项指标上均优于所有 SOTA 方法，包括 FPMC、HRM、DREAM 和 ANAM。