[论文解读] Time-based Sequence Model for Personalization and Recommendation Systems

Tigran Ishkhanov, Maxim Naumov+8 more|arXiv (Cornell University)|Aug 27, 2020

Recommender Systems and Techniques参考文献 41被引用 6

一句话总结

本文提出了一种基于时间的序列模型（TBSM），通过在多个向量空间中整合类似TSL注意力机制与内积运算，增强了推荐系统中用户行为序列的建模能力，实现了对可变长度序列的高效处理。该模型在淘宝用户行为数据集上取得了最先进性能，尽管序列长度更短（τ=20），仍优于MIMN和DIEN等更复杂的模型。

ABSTRACT

In this paper we develop a novel recommendation model that explicitly incorporates time information. The model relies on an embedding layer and TSL attention-like mechanism with inner products in different vector spaces, that can be thought of as a modification of multi-headed attention. This mechanism allows the model to efficiently treat sequences of user behavior of different length. We study the properties of our state-of-the-art model on statistically designed data set. Also, we show that it outperforms more complex models with longer sequence length on the Taobao User Behavior dataset.

研究动机与目标

• 开发一种显式整合用户行为序列时间动态的推荐模型。
• 解决现有模型将时间隐式处理或依赖长序列长度的局限性。
• 设计一种轻量化但高效的注意力机制，以改善对序列用户交互的建模。
• 证明相较于先前工作中使用的长序列，更短的用户行为序列（τ=20）可实现更优性能。
• 探索基于球面距离与多向量空间内积的几何动机注意力机制。

提出的方法

• 模型使用嵌入层将用户和物品表示为共享空间中的稠密向量。
• 应用TSL（时间敏感层）注意力机制，通过在多个向量空间中的内积计算注意力权重，模拟多头注意力机制。
• 注意力机制通过基于球面距离的相似性度量，聚合历史用户交互以计算上下文向量。
• 模型将用户行为序列处理为时间有序事件，每个事件被嵌入并使用TSL机制进行注意力计算。
• 最终预测通过当前项目嵌入与注意力生成的上下文向量之间的学习交互函数φ完成。
• 该架构设计支持时间步与多个TSL的并行计算，具备可扩展性与高效性。

实验结果

研究问题

• RQ1 基于多向量空间中几何相似性的时序感知注意力机制，是否能相比标准注意力机制提升推荐性能？
• RQ2 使用更短的用户行为序列（τ=20）是否能优于先前模型所采用的长序列（τ=200）？
• RQ3 在真实世界数据上，TBSM模型与MIMN和DIEN等最先进模型相比，在AUC指标与泛化能力方面表现如何？
• RQ4 在不同向量空间中引入多个内积在多大程度上提升了对时间依赖性的建模能力？
• RQ5 是否相对简单的模型架构能够超越更复杂的模型，即使其上下文序列更长？

主要发现

• 尽管使用显著更短的序列长度（τ=20 vs. τ=200），TBSM模型在淘宝用户行为数据集上的AUC性能仍优于MIMN和DIEN。
• 在经过统计设计的合成数据集上，随着序列组件之间时间相关性的增强，模型表现出更优的统计性能。
• 基于多向量空间内积的TSL注意力机制，相比标准注意力机制，能更有效地建模序列依赖性。
• 即使上下文信息有限，模型性能依然强劲，表明其能高效学习短行为序列。
• 由于时间步与TSL的独立处理，该架构支持高度并行化，表明其具备可扩展部署的潜力。
• 该模型优于更复杂的架构，表明结合几何注意力的架构简洁性可带来更优结果。