[论文解读] SANST: A Self-Attentive Network for Next Point-of-Interest Recommendation

Qianyu Guo, Jianzhong Qi|arXiv (Cornell University)|Jan 22, 2020

Recommender Systems and Techniques参考文献 25被引用 13

一句话总结

本论文提出SANST，一种自注意力网络，通过显式建模用户签到序列中的空间与时间模式，提升下一个兴趣点（POI）推荐性能。通过基于网格的哈希方法实现空间邻近性建模，并利用字符级双向LSTM嵌入，同时通过自注意力机制中的时间感知相对位置编码来建模时间动态，SANST在真实数据集上的nDCG@10指标最高比当前最先进模型提升13.65%。

ABSTRACT

Next point-of-interest (POI) recommendation aims to offer suggestions on which POI to visit next, given a user's POI visit history. This problem has a wide application in the tourism industry, and it is gaining an increasing interest as more POI check-in data become available. The problem is often modeled as a sequential recommendation problem to take advantage of the sequential patterns of user check-ins, e.g., people tend to visit Central Park after The Metropolitan Museum of Art in New York City. Recently, self-attentive networks have been shown to be both effective and efficient in general sequential recommendation problems, e.g., to recommend products, video games, or movies. Directly adopting self-attentive networks for next POI recommendation, however, may produce sub-optimal recommendations. This is because vanilla self-attentive networks do not consider the spatial and temporal patterns of user check-ins, which are two critical features in next POI recommendation. To address this limitation, in this paper, we propose a model named SANST that incorporates spatio-temporal patterns of user check-ins into self-attentive networks. To incorporate the spatial patterns, we encode the relative positions of POIs into their embeddings before feeding the embeddings into the self-attentive network. To incorporate the temporal patterns, we discretize the time of POI check-ins and model the temporal relationship between POI check-ins by a relation-aware self-attention module. We evaluate the performance of our SANST model with three real-world datasets. The results show that SANST consistently outperforms the state-of-theart models, and the advantage in nDCG@10 is up to 13.65%.

研究动机与目标

• 为解决原始自注意力网络在下一个POI推荐任务中的局限性，即忽略签到序列中固有的空间与时间模式。
• 通过基于网格的哈希与嵌入技术，显式建模POI之间的空间邻近性，以提升推荐准确性。
• 通过编码签到之间的时间差而非仅序列顺序，实现时间动态建模，从而更好地捕捉行程级模式。
• 设计一种在保持自注意力网络效率的同时，增强其对序列POI推荐表达能力的模型。
• 通过实证验证，整合时空模式可稳定提升现有序列推荐模型的性能。

提出的方法

• 通过空间填充曲线（如Z曲线）将POI位置哈希为网格，为每个POI生成字符串表示，以编码空间模式。
• 利用双向LSTM从哈希字符串中学习字符级嵌入，生成保留邻近性的空间感知POI嵌入。
• 通过修改自注意力机制，将签到之间的时间差作为位置编码，而非仅使用相对标记位置，以建模时间模式。
• 关系感知自注意力模块基于查询-键交互计算注意力分数，其中融合了内容信息与时间感知的相对位置。
• 最终模型堆叠多个Transformer层并使用多头注意力，但消融实验表明单头注意力表现最佳，表明POI数据中的关系较为简单。
• 输入序列被截断或填充至固定长度ℓ，ℓ=100时性能最优，因长上下文导致收益递减与噪声增加。

实验结果

研究问题

• RQ1 显式建模POI之间的空间邻近性是否能超越标准序列建模，在下一个POI推荐中带来性能提升？
• RQ2 与标准相对位置编码相比，基于实际时间差的时间感知相对位置编码是否能带来更好的性能？
• RQ3 在具有不同稀疏性与序列长度的多样化真实数据集上，时空模式的整合如何影响模型性能？
• RQ4 在引入时空归纳偏置后，自注意力架构是否仍适用于POI推荐任务？
• RQ5 哪些超参数（如嵌入维度、时间窗口、序列长度）能取得最优性能，且其最优值在不同数据集上如何变化？

主要发现

• 在Gowalla、洛杉矶和新加坡三个真实数据集上，SANST在nDCG@10指标上最高比最先进模型SASRec提升13.65%。
• 模型在输入序列长度ℓ=100时达到峰值性能，ℓ=200时性能下降，原因在于填充操作与长程依赖噪声。
• 空间编码的最优字符嵌入维度为dₛ=20，在信息捕获与数据稀疏性之间取得平衡，尤其在32个字符的词汇表下表现更优。
• 在时间跨度长且签到稀疏的洛杉矶数据集中，时间上下文窗口大小k=5时性能最佳，表明稀疏时间数据需要更大的k值。
• 更深的网络（τ=3）存在过拟合现象，增加注意力头数量（h=2）亦未提升性能，表明单头注意力已足够，因POI关系本身较简单。
• SANST对超参数变化具有鲁棒性，在各数据集上均保持一致的性能增益，尤其在洛杉矶数据集表现突出，因其数据空间较小且序列较短。